Sphinx学习笔记2

因为网站搜索的需要，启动了一个搜索引擎项目，其实也算不上完整的搜索引擎，需求很简单，如下：

<?php

error_reporting(0);

$so = scws_new();

$so->set_charset('utf8');

$so->set_dict('/usr/local/scws/etc/dict.utf8.xdb');

$so->set_rule('/usr/local/scws/etc/rules.utf8.ini');

//$so->add_dict('/usr/local/scws/etc/new.txt',SCWS_XDICT_TXT);

scws_set_multi($so,2);

$so->set_ignore(true); //忽略标点符号

//$text=$_GET["text"];

$text='我是一个中国人，我爱我的祖国';

$so->send_text($text);

$scws='';

while ($tmp = $so->get_result())   // get_result()要重复调用，直到所有的分词结果都返回为止

{

for($i=0;$i<count($tmp);$i++){

$scws=$scws.' "'.$tmp[$i]["word"].'" ';

}

}

$so->close();

echo substr($scws,1);

?>

爱他美  100     100     nt

施华蔻  100.01  100.01  nt

瘦身    100.02  100.02  nt

护眼    100.03  100.03  nt

1段     100.04  100.04  nt

2段     100.04  100.04  nt

3段     100.05  100.05  nt

4段     100.06  100.06  nt

5段     100.07  100.07  nt

结构很简单，第一列是分词，第二列是tf，第三列是idf，第四列是词性，用起来很容易，如果没有这个文件，将上面的程序中的$text值修改为“爱他美”，会输出“爱”“他”“美”，如果增加了这个分词文件，并将scws0.php中的注释去掉，执行结果就变成了“爱他美”。

到此，分词问题就解决了，如果多个服务器使用也很简单，可以将这个程序对外发布。

7、做一个简单的demo

<?php

error_reporting(0);

class Pf {

public static function splitSearch($search){

$so = scws_new();

$so->set_charset('utf8');

$so->set_dict('/usr/local/scws/etc/dict.utf8.xdb');

$so->set_rule('/usr/local/scws/etc/rules.utf8.ini');

$so->add_dict('/usr/local/scws/etc/new.txt',SCWS_XDICT_TXT);

scws_set_multi($so,2);

$so->set_ignore(true);

$text=$search;

//$text='爱他美';

$so->send_text($text);

//scws_add_dict($so,'/usr/local/scws/etc/new.txt',SCWS_XDICT_TXT);

$scws='';

while ($tmp = $so->get_result())

{

for($i=0;$i<count($tmp);$i++){

$scws=$scws.' "'.$tmp[$i]["word"].'" ';

}

}

$so->close();

return substr($scws,1);

}

}

#test.php

<?php

require('./Pf.php');

$query = "爱他美";

$search =Pf::splitSearch($query);

$host = "127.0.0.1";

$port = 9306;

$pdo = new PDO("mysql:host=".$host.';port='.$port.';charset=utf-8','','');

$sql = "select id,goods_name from goods where match('".$search."') limit 1,2";

$sth=$pdo->prepare($sql);

$sth->execute();

$result = $sth->fetchAll();

echo "<pre>";

print_r($result);

echo "</pre>";

输出结果为

Array

(

    [0] => Array

        (

            [id] => 2927

            [0] => 2927

            [goods_name] => 德国原装 Aptamil爱他美 婴儿配方奶粉2段800g

            [1] => 德国原装 Aptamil爱他美 婴儿配方奶粉2段800g

        )

    [1] => Array

        (

            [id] => 3223

            [0] => 3223

            [goods_name] => 德国原装 Aptamil爱他美 婴儿配方奶粉2+段600g

            [1] => 德国原装 Aptamil爱他美 婴儿配方奶粉2+段600g

        )

)

8、词典生成导出工具