什么是scws:
SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)。
这是一套基于词频词典的机械式中文分词引擎,它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位,但在书写时并不像英语会在词之间用空格分开, 所以如何准确并快速分词一直是中文分词的攻关难点。
SCWS 采用纯 C 语言开发,不依赖任何外部库函数,可直接使用动态链接库嵌入应用程序, 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块, 可在 PHP 中快速而方便地使用分词功能。
分词算法上并无太多创新成分,采用的是自己采集的词频词典,并辅以一定的专有名称,人名,地名, 数字年代等规则识别来达到基本分词,经小范围测试准确率在 90% ~ 95% 之间, 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。
下载地址(需要下载SCWS规则集文件、xdb词典文件和对应版本的php_scws.dll扩展库)
http://www.xunsearch.com/scws/
安装php扩展
将php_scws.dll的扩展库放入php目录下的ext目录中
然后再php.ini中添加以下配置,添加完成后重启
[scws]
extension = php_scws.dll
scws.default.charset = gbk
scws.default.fpath = "C:\Program Files\scws\etc"
注:extension的路径要确保能加载ext目录下的.dll扩展。
scws.default.fpath的目录是分词规则文件的绝对目录
新建一个目录(C:\Program Files\scws),将xdb文件放入。如图:
将规则集文件(规则集文件在scws的全部源代码的压缩包中可以找到)放到etc目录下,如图:
注:规则集和字典包的作用再官网里面很详细
下面就来实际操作一下:
<?php
header("Content-Type:text/html;charset=utf-8");
$sc = scws_new(); //实例分词类
$sc->set_charset('utf-8'); //设置分词时所用的编码
$sc->set_dict('C:\Program Files\scws\dict.utf8.xdb'); //设置分词所用的字典包
$sc->set_rule('C:\Program Files\scws\etc\rules.utf8.ini'); //设置分词所用的规则
$sc->set_ignore(true); //去掉标点符号后在分词
$sc->set_multi(true); //复式分割
$sc->send_text('山东,厨具。'); //分词的语句
while($tmp[] = $sc->get_result()){ //获取分词结果
}
//连接数据库
mysql_connect('localhost','root','root');
mysql_select_db('tdmalls');
mysql_query('set names utf8');
//组合sql
$sql = "select article_title from th_article where ";
$len2 = count($tmp[0]);
for($j=0;$j<$len2;$j++){
if($j == $len2-1){
$sql .= " article_title like '%".$tmp[0][$j]['word']."%'";
}else{
$sql .= " article_title like '%".$tmp[0][$j]['word']."%' and ";
}
}
$res2 = mysql_query($sql);
while($row[] = mysql_fetch_assoc($res2)){}
以上代码的分词的结果:
以上代码组合的sql(sql的组合根据自己的情况来):
以上代码搜索出来的结果:
这里关于scws的方法介绍的并不多,有需要的可以网上查找更多的使用方法
什么是phpanalysis无组件分词系统
下载地址的链接包含了这个系统的详细介绍,这个系统就是一个php的类,使用起来比较方便直接引入类文件就可以使用,但速度比scws这类组件形式的分词慢
下载地址:
http://www.phpbone.com/phpanalysis/
使用方法比较简单,将下载的文件解压放入指定目录
然后再demo中引入这个类文件就可以使用了:
header("Content-type:text/html;charset=utf-8");
require_once './phpanalysis/phpanalysis.class.php'; //引入分词类文件
$fc = new PhpAnalysis(); //实例分词类(#注:这个步骤很耗时)
$str = '打造厨具';
$fc->SetSource($str); //设置待分词的字符
//设置生成的分词结果数据类型,2为词典词汇及单个中日韩简繁字符及英文
$fc->resultType = 2;
$fc->StartAnalysis(); //开始分词
$arr = $fc->GetFinallyIndex(); //获取分词数组,键是词
$arr = implode(' ',array_keys($arr));
$arr = explode(' ',$arr);
//连接数据库
$m_db = mysql_connect('localhost','root','root');
mysql_select_db('tdmalls');
mysql_query('set names utf8');
//sql
$len = count(array_filter($arr));
$sql = "select article_title from th_article where ";
for($i=0;$i<$len;$i++){
if($i == $len-1){
$sql .= " article_title like '%".$arr[$i]."%'";
}else{
$sql .= " article_title like '%".$arr[$i]."%' and ";
}
}
$res = mysql_query($sql);
while($row[] = mysql_fetch_assoc($res)){}