mysql倒排索引怎么建 Mysql怎么用索引

Mysql建立索引经验

在实际开发中使用数据库时，难免会遇到一些大表数据，对这些数据进行查询时，有时候SQL会查询得特别慢，这时候，有经验的老师傅会告诉你，你看一下哪几个字段查的多，加一个索引就好了。

那么，怎么合理地建立索引呢？这里分享一下我的一些经验，如有不妥之处，欢迎批评指正。

1、不要盲目建立索引 ， 先分析再创建

索引虽然能大幅度提升我们的查询性能，但也要知道，在你进行增删改时，索引树也要同样地进行维护。所以，索引不是越多越好，而是按需建立。最好是在一整块模块开发完成后，分析一下，去针对大多数的查询，建立联合索引。

2、使用联合索引尽量覆盖多的条件

这是说在一个慢sql里假如有五个where ，一个 order by ，那么我们的联合索引尽量覆盖到这五个查询条件，如果有必要，order by 也覆盖上 。

3、小基数字段不需要索引

这个意思是，如果一张表里某个字段的值只有那么几个，那么你针对这个字段建立的索引其实没什么意义，比如说，一个性别字段就两种结果，你建了索引，排序也没什么意思（也就是索引里把男女给分开了）

所以说，索引尽量选择基数大的数据去建立，能最大化地利用索引

4、长字符串可以使用前缀索引

我们建立索引的字段尽量选择字段类型较小的，比如一个varchar(20)和varchar(256)的，我们在20的上面建立的索引和在256上就有明显的差距（字符串那么长排序也不好排呀，唉）。

当然，如果一定是要对varchar(256)建立索引,我们可以选择里面的前20个字符放在索引树里（这里的20不绝对，选择能尽量分辨数据的最小字符字段设计），类似这样KEY index(name(20),age,job) ，索引只会对name的前20个字符进行搜索，但前缀索引无法适用于order by 和 group by。

5、对排序字段设计索引的优先级低

如果一个SQL里我们出现了范围查找，后边又跟着一个排序字段，那么我们优先给范围查找的字段设置索引，而不是优先排序。

6、如果出现慢SQL，可以设计一个只针对该条SQL的联合索引。

不过慢SQL的优化，需要一步步去进行分析，可以先用explain查看SQL语句的分析结果，再针对结果去做相应的改进。explain的东西我们下次再讲。

PS：在 select 语句之前增加 explain 关键字，MySQL 会在查询上设置一个标记，执行查询会返回执行计划的信息，而不是 执行这条SQL。

MYSQL存储引擎InnoDB（二十三）：排序索引构建

InnoDB在创建或重建索引时执行批量加载，而不是一次插入一个索引记录。这种索引创建方法也称为排序索引构建。空间索引不支持排序索引构建。

索引构建分为三个阶段。在第一阶段， 扫描聚集索引，生成索引条目并添加到排序缓冲区。当排序缓冲区变满时，条目将被排序并写入临时中间文件。此过程也称为 “运行”。在第二阶段，将一个或多个运行写入临时中间文件，对文件中的所有条目执行合并排序。在第三个也是最后一个阶段，排序后的条目被插入到 B-tree中。

在引入排序索引构建之前，使用插入 API 将索引条目一次插入 B 树中的一条记录。此方法涉及打开 B 树 游标以查找插入位置，然后使用 乐观插入将条目插入 B 树页面。如果由于页面已满而导致插入失败， 则将执行悲观插入，这涉及打开 B-tree 游标并根据需要拆分和合并 B-tree 节点以找到条目空间。这种“自上而下”的弊端建立索引的方法是搜索插入位置的成本以及 B 树节点的不断拆分和合并。

排序索引构建使用“自下而上”建立索引的方法。使用这种方法，对最右侧叶页的引用保存在 B 树的所有级别。分配必要 B 树深度的最右侧叶页，并根据其排序顺序插入条目。一旦叶页已满，就会将节点指针附加到父页，并为下一次插入分配一个兄弟叶页。这个过程一直持续到所有条目都被插入，这可能导致插入到根级别。分配同级页时，释放对先前固定叶页的引用，新分配的叶页成为最右边的叶页和新的默认插入位置。

要为将来的索引增长留出空间，您可以使用innodb_fill_factor变量来保留一定百分比的 B 树页面空间。例如，设置 innodb_fill_factor为 80 会在排序索引构建期间保留 B 树页面中 20% 的空间。此设置适用于 B 树的叶子页面和非叶子页面。它不适用于用于 TEXT或 BLOB条目的外部页面。保留的空间量可能与配置不完全相同，因为innodb_fill_factor值被解释为提示而不是硬限制。

全文索引支持排序索引构建 。以前，SQL 用于将条目插入全文索引。

对于压缩表，以前的索引创建方法将条目附加到压缩页和未压缩页。当修改日志（表示压缩页面上的可用空间）变满时，将重新压缩压缩页面。如果由于空间不足而导致压缩失败，则页面将被拆分。使用排序索引构建，条目仅附加到未压缩的页面。当一个未压缩的页面变满时，它就会被压缩。自适应填充用于确保在大多数情况下压缩成功，但如果压缩失败，则会拆分页面并再次尝试压缩。这个过程一直持续到压缩成功。

在排序索引构建期间禁用重做日志记录。相反，有一个 检查点来确保索引构建可以承受意外退出或失败。检查点强制将所有脏页写入磁盘。在排序索引构建期间，页面清理线程会定期收到信号以刷新 脏页，以确保可以快速处理检查点操作。通常，当干净页面的数量低于设置的阈值时，页面清理线程会刷新脏页面。对于排序索引构建，脏页会被及时刷新以减少检查点开销并行化 I/O 和 CPU 活动。

排序索引构建可能会导致 优化器统计信息与以前的索引创建方法生成的统计信息不同。统计数据差异是由于用于填充索引的算法不同造成的。

我要对mysql中的数据建立倒排索引应该怎么

先确认自己的mysql服务进程mysqld在运行着，可以使用ps aux | grep mysql看看

Gemfile中加入gem 'mysql2'

确认mysql帐号密码正确，一般安装好的都是mysql默认都是用户名root，无密码，这样是可以直接登录的

你需要先使用mysql链接mysqld（第一步开启的服务端），之后手动创建blog_db数据库，rails是不会自动创建mysql的数据库的（里面的各个表你不需要创建，这是active_record的工作）。

看你error log应该是mysqld没运行！

一文掌握“倒排索引”创建方法

众所周知mysql倒排索引怎么建，“索引”是搜索引擎中最重要的核心技术之一，是“缩小搜索范围，以提高结果定位效率”的技术担当。

按照不同划分标准，索引有多种分类方式，仅常用类型也不止4种之多，而其中最为关键的则是“倒排索引”技术。

本文就是一篇，介绍“倒排索引创建方法”的文章。

单词—文档矩阵

表达两者包含关系的概念模型mysql倒排索引怎么建；

文档

文本形式的存储对象，包括Word、PDF、html、XML等不同格式的文件，以及短信、微博等内容；

文档集合

若干文档的集合，如海量网页、大量电子邮件等；

文档编号

搜索引擎内部的文档集合中，每个文档所被赋予的区别于其mysql倒排索引怎么建他文档的唯一的内部编号，常用DocID表示；

单词

搜索引擎的索引单位；

单词词典

文档集合中出现过的所有单词构成的字符串集合；记载着某个单词对应的倒排列表在倒排文件中的位置信息；

单词编号

搜索引擎内部的单词词典中，每个单词所被赋予的区别于其mysql倒排索引怎么建他单词的唯一内部编号；

倒排列表

记载“出现过某个单词的所有文档列表”及“文档中单词位置信息”的倒排项的集合；

倒排文件

顺序存储所有单词的倒排列表的物理文件；

倒排索引

由单词词典和倒排文件组成的，实现单词—文档矩阵的一种具体存储形式，是单词到文档映射关系的最佳实现方式（可以根据单词快速获取包含该单词的文档列表）。

比如，针对如下文档集合

建立倒排索引的步骤：

1、用分词系统将文档自动切分成单词序列，每个文档就转换为由单词序列构成的数据流；

2、对每个不同单词赋予唯一的单词编号（ID），并记录每个单词对应的文档频率（文档集合中，包含某个单词的文档数量，占文档总数量的比率）、包含该单词的对应文档编号（DocID）、该单词在各对应文档中的词频（TF）（在某个文档中出现的次数）、该单词出现在某个文档中的位置（POS）等；

3、得到的倒排索引结果如下：

含义解读：以单词“跳槽”为例，其单词编号为4，文档频率为2，代表整个文档集合中有两个文档包含这个单词，对应的倒排列表为｛（1；1；4）,（4;1;4）｝,其含义为在文档1和文档4中出现过这个单词，单词频率都为1，单词“跳槽”出现在两个文档中的位置都是4，即文档中第四个单词是“跳槽”。

单词词典

记载着某个单词对应的倒排列表在倒排文件中的位置信息，支持搜索中基于查询词的倒排列表呈现。

对于包含成千上万个单词的大文档集合来说，需要“基于高效数据结构”的词典构建和查找方式，“哈希加链表”和“树形词典”就是这类数据结构的代表。

A. 哈希加链表词典结构

哈希加链表：由“哈希表”及“冲突链表”组成，其中哈希表是主体。每个哈希表保存一个指针，指向冲突链表；每个冲突链表，由相同哈希值的单词组成；而有相同哈希值的一组单词，被称作一次冲突。

词典建立过程：首先，对解析新文档过程中出现的单词T，利用哈希函数获得哈希值；然后，根据哈希值，读取对应的哈希表中的指针，并根据指针指向找到对应的冲突链表，而对冲突链表中不存在的单词，将其作为首次出现单词做“加入冲突链表”处理。随着文档解析完毕，相应的词典便构建起来。

查询响应过程：与词典建立过程类似，区别在于，对于词典中未包含单词不做添加处理。

B. 树形词典结构

树形词典结构（又叫B树或B+树），由中间节点和最底层叶子节点构成，是一种高效的层级查询结构。

它需要字典项按照大小排序，中间节点指出一定顺序范围的词典项目存储在哪个子树中，根据词典项比较大小进行导航；最底层叶子节点存储单词地址信息，根据地址便可以提取单词字符串。

倒排列表

mysql倒排索引怎么建我们上面讲了，倒排列表是倒排索引项（“某个单词-文档”的一维矩阵）的集合，存储着所有单词，及包含每个单词的相关文档编号、词频、位置等信息。

而在实际搜索引擎中，为了便于压缩，常以文档编号差值（D-Gap）（倒排列表中相邻两个倒排索引项文档编号的差值）取代实际的文档编号，以保证倒排列表中后出现文档编号大于前者。因此，文档编号差值常是大于0的整数，比如，对应原始文档编号 187、196、199，其编号差值可能为 187、9、3。

1、两遍文档遍历法

两遍文档遍历，即为两遍文档扫描，创建过程完全依赖在内存中进行。

第一遍文档遍历

第一遍扫描旨有两个作用：首先，获取全局的统计数据（文档集合包含的文档个数N，文档集合包含的不同单词个数M、每个单词在多少个文档中出现过的信息DF、所有单词DF值相加得到的所需内存大小），据以分配存储空间；其次，建立单词对应倒排列表在内存中的位置信息（根据每个单词的DF值，将存储区划分成不同大小的片段，不同的单词通过指针对应着其所属内存片段的起始和终止位置）。

第一遍扫描之后，便为第二次扫描做好了资源准备工作。

第二遍文档遍历

第二遍文档遍历正式建立每个单词的倒排列表信息，扫描结束的同时，所分配的内存空间也正好被填满。每个单词对应的内存片段，此时已被创建成该单词的倒排列表。

两遍扫描，便可完成索引建立，并将内存的倒排列表和词典信息写入磁盘。

优缺点：完全依赖内存，要求内存空间足够大；从磁盘读取和解析文档耗时较长，速度慢。

2、排序法

一种“在索引建立过程中，始终在内存分配固定大小的空间，用来存放词典信息和索引中间结果，当分配空间被消耗殆尽，把中间结果写入磁盘，并清空内存做新一轮中间索引存储”的方法，是两遍遍历索引的改进。

中间结果内存排序

a.读入文档，赋予唯一的文档ID；

b.解析文档内容，赋予文档中出现的单词以唯一的单词ID（首次出现的单词，赋予ID后做插入处理）；

c.为每个单词建立包含“单词ID”、“文档ID”、”单词频率”信息的倒排列表项，并将其追加进中间结果存储区末尾；对所有文档依次做以上处理，直到所有文档被处理完毕。

d.随着存储中间结果的内存被逐渐占满，对三元组中间结果进行排序，将各单词对应的倒排索引项变成有序形式，并将排好序的倒排列表写入磁盘。排序原则：主键是单词ID，即先按单词ID从小到大排序；次键是文档ID, 即相同单词ID下，按文档ID从小到大排序。

e.循环以上处理过程，待所有文档被处理完毕，合并磁盘中每轮产生的中间结果文件。

中间结果文件合并

将存放中间结果的各缓冲区的有序数据，按单词ID顺序合并形成倒排列表写入最终索引，同时清空各缓冲区并进行新一轮三元组读入操作，待所有中间结果文件被读入缓冲区合并完成，最终索引文件便得以生成。

优缺点：只对中间结果做写入磁盘操作，词典信息始终在内存中维护，随着内存被不断占用，后续中间结果可用内存会越来越少。

3、归并法

归并法，是排序法的改进，每次将内存数据写入磁盘时，包括词典在内的中间结果信息也被写入磁盘，以达到清空内存并为后续处理建立定额内存的目的。

子倒排索引

对目前所处理的文档子集单独在内存中建立一整套的倒排索引；

将倒排索引写入临时文件

内存被占满时，按照“词典在前，倒排列表在后”的顺序，将已建立的一整套倒排索引写入临时文件，并清空内存。

合并部分倒排列表

合并每个单词对应的部分倒排列表，形成单词的最终倒排列表；同时，在合并过程中形成最终的词典。

MySQL索引

MySQL的Innodb存储引擎的索引分为聚集索引和非聚集索引两大类

特点：B+树叶子节点存储行数据

一个表中，必须有一个聚集索引，只能有一个聚集索引，Innodb通常把一个表的主键索引作为聚集索引，如果没有主键InnoDB会选择一个唯一索引代替。如果没有这样的索引，InnoDB会隐式的定义一个主键来作为聚集索引，这个字段为6个字节，类型为长整形。

利用主键索引查找行数据是最快的，建议使用自增主键原因是利于索引树的构建（主键自增写入时新插入的数据不会影响到原有页，插入效率高；但是如果主键是无序的或者随机的，那每次的插入可能会导致原有页频繁的分裂，影响插入效率）

特点：B+树叶子节点存储主键ID

一个表中可以有多个非聚集索引，每个非聚集索引即是一棵B+树

通过非聚集索引查找数据时，需要先在非聚集索引上找到主键ID，再从聚集索引获取行数据，这个过程就称之为回表

B树索引中的B树实际上是B+树，至于为什么使用B+树而不使用B树或者红黑树的原因在另外的文章中有提及。

特点：

特点：类似JDK中的HashMap，但无法支持范围查询

特点：使用的算法仍然是B树索引，不同的就是索引列的值必须唯一

对于普通索引来说，查找到满足条件的第一个记录后，需要查找下一个记录，直到碰到第一个不满足条件的记录。

对于唯一索引来说，由于索引定义了唯一性，查找到第一个满足条件的记录后，就会停止继续检索，提升索引性能

另外插入行时会构建该唯一索引，假如索引值重复将插入失败，适合业务上做唯一性检验

通过建立倒排索引，可以极大的提升检索效率,解决判断字段是否包含的问题，但是业务上一般都不采用这种索引，而是使用ES处理全文搜索需求

仅对某个特定字段建立的索引，如(biz_id)

对多个字段建立的索引，如(biz_id,type)

mysql倒排索引怎么建的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于Mysql怎么用索引、mysql倒排索引怎么建的信息别忘了在本站进行查找喔。