正文
sphinx索引部分源码续——过程：连接到CSphSource对应的sql数据源，通过fetch row取其中一行，然后解析出field，分词，获得wordhit，最后再加入到CSphSource的Hits里
小程序：扫一扫查出行【扫一扫了解最新限行尾号】
复制小程序
后面就是初始化一些存储结构，其中重点说下缓存出来的几个临时文件分别的作用。结尾时tmp0的存储的是被上锁的Index，有些Index正在被查询使用 故上锁。tmp1，即对应将来生成的spp文件，存储词汇的位置信息，包含该词所在的文档ID，该词所在词典对应的ID，以及该词在本文档中的位置信息。 tmp2，即对应将来生成的spa文件存储的是文档信息，包含了DocID以及DocInfo信息。tmp7对应的是多值查询，感兴趣的可以度娘，这是一 种查询方式，这里不做过多解释
|
1
2
3
4
5
6
7
|
// create temp files
CSphAutofile fdLock ( GetIndexFileName(
"tmp0"
), SPH_O_NEW, m_sLastError,
true
);
CSphAutofile fdHits ( GetIndexFileName ( m_bInplaceSettings ?
"spp"
:
"tmp1"
), SPH_O_NEW, m_sLastError, !m_bInplaceSettings );
CSphAutofile fdDocinfos ( GetIndexFileName ( m_bInplaceSettings ?
"spa"
:
"tmp2"
), SPH_O_NEW, m_sLastError, !m_bInplaceSettings );
CSphAutofile fdTmpFieldMVAs ( GetIndexFileName(
"tmp7"
), SPH_O_NEW, m_sLastError,
true
);
CSphWriter tOrdWriter;
CSphString sRawOrdinalsFile = GetIndexFileName(
"tmp4"
);
|
下面具体处理每一个Source取出的每一个文档，主要是通过这个IterateHitsNext实现的
具体到该函数可以看到，该函数主要是有两部分组成，即提取索引列(NextDocument),针对该索引列构建索引(BuildHits)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
bool
CSphSource_Document::IterateHitsNext ( CSphString & sError )
{
assert
( m_pTokenizer );
PROFILE ( src_document );
BYTE
** dFields = NextDocument ( sError );
//从数据源中提取需要构建索引的列
if
( m_tDocInfo.m_iDocID==0 )
return
true
;
if
( !dFields )
return
false
;
m_tStats.m_iTotalDocuments++;
m_dHits.Reserve ( 1024 );
m_dHits.Resize ( 0 );
BuildHits ( dFields, -1, 0 );
//针对提取出的需要索引的列构建索引
return
true
;
}
|
具体看一下NexDocument的操作，通过Sql.h中的API——sqlFetchRow，取出一条记录，验证该记录是否合法
将条记录按照Schema分成Feild部分 ，即需要构建索引的部分，以及Attribute部分，即排序需要用到的属性部分
提取出相关数据后，针对每一条需要索引的item开始构建索引，进入BuildHit函数，首先先初始化相关参数，准备分词器缓存
然后开始分词，分词的过程在这里不具体讲了，这不属于Sphinx的主要涉足领域，当我们把iField即要索引的字段放入分词器中依次解析，然后将分出的词赋值给sWord，将sWord的位置计算后赋值给ipos
将分词后的sWord去词典中查找它对应的词ID，这样我们就收集全了这个词的所有详细信息，创建一个类型为CSphWordHit类型的tHit,其中存储了该sWord所在的DocID，在词典中对应的词ID，以及在文档中词的位置信息Pos
|
1
2
3
4
5
6
7
8
9
10
11
|
SphWordID_t iWord = m_pDict->GetWordID ( sWord );
if
( iWord )
{
CSphWordHit & tHit = m_dHits.Add ();
//将tHit放入dHit中去
tHit.m_iDocID = m_tDocInfo.m_iDocID;
tHit.m_iWordID = iWord;
tHit.m_iWordPos = iPos;
}
else
{
iLastStep = m_iStopwordStep;
}
|
处 理完该词后，如果是中文的话还会进一步去判断其是否有近义词出现，。。。，最后将所有的sWord的信息tHit都放入到m_dHits中去,形成我们的词 索引spp索引.
当该iField索引字段全部都索引完成后，在dHit中添加结束标记!
摘自：http://frankiewb.blog.51cto.com/8202664/1359897
