文章目录
- 1.概述
- 2.使用全文本搜索
- 2.1 启用全文本搜索支持
- 2.2 进行全文本搜索
- 2.3 使用查询拓展
- 2.4 布尔文本搜索
- 3.全文本搜索使用说明
1.概述
首先我们要知道,不是所有搜索引擎都支持全文本搜索,前边我们介绍过MySql支持多种数据类型,而其默认的是支持事物的INNODB,但是只有MyISAM而支持全文搜索,如果我们想使用全文搜索的功能,那么在创建数据表的时候,一定要指定搜索引擎为MyISAM;
前边我们学习了使用LIKE关键字结合通配符和正则表达式查找相匹配的列的值,但是这俩种方式存在几个限制:
- 性能:通配符和正则表达式查找通常要求MySql尝试匹配表中所有的行,而且这种搜索极少使用表索引,因此被搜索行数不断增加时,会十分耗时;
- 明确控制:使用通配符和正则表达式匹配很难明确的控制匹配什么和不匹配什么,例如指定一个词必须不匹配,而一个词仅在第一个词确实匹配的情况下才可以匹配或者才可以不匹配的情况;
- 智能化结果:虽然基于通配符和正则表达式的搜索提供了非常灵活的查找方式,但它们都不提供智能化的选择结果的方法。例如一个特殊词的搜索将会返回包含该词的所有行,而不区分包含单个匹配的行和包含多个匹配的行。类似的,一个特殊词的搜索将不会找出不包含该词但包含其他相关词的行。
这些类似的限制情况,我们都可以使用全文本搜索来解决。
在使用全文本搜索时,MySql不需要查找每个行,不需要分别分析和处理每个词,MySql创建指定列中各词的一个索引,查找可以针对这些词进行。这样,MySql可以快速有效的决定哪些词匹配,哪些词不匹配,匹配的频率等等;
2.使用全文本搜索
为了进行全文本搜索,必须索引被搜索的列,而且要随着数据的改动不断地重新索引。在对表列进行适当地设计之后,MySql会自动的进行所有的所有和重新索引;
在索引之后,SELECT 可以与 Match( ) 和 Against( ) 一起使用以便于执行查找任务;
2.1 启用全文本搜索支持
一般在创建表时启用全文本搜索。
CREATE TABLE 语句接受 FULLTEXT 子句,它给出被索引列的一个逗号分隔的列表;如:
CREATE TABLE productnotes
(
note_id int NOT NULL AUTO_INCREMENT comment '注释ID',
prod_id char(10) NOT NULL comment '产品ID',
note_date datetime NOT NULL comment '增加注释的日期',
note_text text NULL comment '注释文本信息',
PRIMARY KEY(note_id),
FULLTEXT(note_text)
) ENGINE=MyISAM;
MySql根据FULLTEXT的指定对note_text进行索引,这里索引了单个列,如果有需要也可以索引多个列,使用逗号分隔即可;
在定义之后,MySql自定维护该索引。在增加、更新、删除行数据时,索引随之自定更新;
当然,指定FULLTEXT可以在创建表时,也可以在创建表之后使用 ALTER 语句指定,但是在创建表之后指定时,所有已有数据必须立即被索引;
而且要注意,不要在导入数据时使用 FULLTEXT ,更新索引是需要时间的,如果正在导入数据到一个新表,此时不应该立即启用 FULLTEXT 索引,应该先导入全部数据,然后再修改表,定义 FULLTEXT 。这样可以更快的导入数据。
2.2 进行全文本搜索
在索引之后,使用俩个函数 Match( ) 和 Against( ) 执行全文本搜索,其中 Match( ) 指定被搜索的列,Against( ) 指定要使用的查找表达式,如:
输入:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('rabbit');
输出:
MATCH(note_text)表明针对指定的列进行查找,AGAINST(‘rabbit’)表明在指定的列中指定词进行查找,要注意传递给MATCH( ) 的值必须与FULLTEXT( ) 中定义的相同,如果指定了多个列,则必须列出他们而且顺序要保持一致;
在查找时,除非使用BINARY方式,默认是不区分字母大小写的;
当然上面的例子我们也可以使用LIKE关键字来实现,如:
输入:
SELECT note_text
FROM productnotes
WHERE note_text LIKE '%rabbit%';;
输出:
虽然使用LIKE关键字得到的结果与使用全文本搜索得到的结果一致,但是其返回结果的顺序不一样,俩种查询方式都没有对结果进行特殊的排序,都是按照默认排序规则进行的;
使用全文本搜索返回的结果以文本匹配的良好程度进行排序,俩行数据都包含词rabbit,但包含词rabbit作为第3个词的等级比作为第20个词的等级的行高,所以才会呈现出这样的结果;
为了更好的查看排序的结果,我们可以执行下列例子:
输入:
SELECT note_text,
MATCH(note_text) AGAINST('rabbit') AS ranks
FROM productnotes;
输出:
这里在SELECT中使用 Match( ) 和 Against( ) ,而不是WHERE子句中,所以返回所有的行, Match( ) 和 Against( ) 用来建立一个计算列-rank,此列包含全文本搜索计算出的等级值。
等级值由MySql根据行中词的数目,唯一词的数目,整个索引中词的总数以及包含该词的行的数目计算出来,像展示的查询结果一样,不包含词rabbit的行等级为0,所以不被前一个例子中的WHERE子句选择。确实包含词rabbit的俩个行,每行都有一个等级值,文本中词靠前的行的等级值比词靠后的行的等级值高;
同样的,如果指定多个搜索项,则包含多数匹配词的行要比包含少数词的行等级值高;
2.3 使用查询拓展
查询拓展用来设法放宽所返回的全文搜索结果的范围。
假如需要查找所有涉及anvils的注释,只有一个注释包含这个词,但我们想返回可能与这个词有关的所有其他行,即使他们不包含词anvils。
这也是查询拓展的一项任务。在使用查询拓展时,MySql对数据和索引进行俩遍扫描来完成搜索:
- 首先,进行一个基本的全文本搜索,找出与搜索条件匹配的所有行;
- 其次,MySql检查这些匹配行并选择所有有用的词;
- 最后,MySql再次进行全文本搜索,这次不仅使用原来的条件,而且还使用所有有用的词;
利用查询拓展,能找出可能的相关结果,即使它们并不精确包含所有查找的词,如:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('anvils');
输出:
因为只有一行数据包含 anvils ,所以只返回一行数据,但是如果使用拓展查询:
输入:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('anvils' WITH QUERY EXPANSION);
输出:
这里返回了7行数据,第一行因为包含anvils,所以其等级最高;
第二行虽然不包含anvils,但是它包含第一行中的俩个词cusyomer与recommend,所以也被查询了出来;
第三行也包含这俩个词,但是因为其在文本中的位置更靠后,且分开的更远,所以等级较低;
查询拓展极大的增加了返回的行数,但是这样也增加了查询负担,并且返回了可能不是你想要的结果;
2.4 布尔文本搜索
MySql支持的另一种方式称为布尔方式。以布尔方式查询,可以提供关于下列内容的细节:
- 要匹配的词;
- 要排斥的词(如果某行包含这个词,则不返回该行,即便它包含其他指定的词)
- 排列提示(指定某些词比其他词更重要,更重要的词等级更高)
- 表达式分组
- 其他内容
布尔方式不同于其他全文本搜素方式,即使没有定义 FULLTEXT索引也可以使用,但这是一种非常慢的操作;
下面是使用 IN BOOLEAN MODE 例子:
输入:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('heavy' IN BOOLEAN MODE);
输出:
此次全文搜素查找包含词 heavy 的所有行。其中使用了关键字 IN BOOLEAN MODE,但实际上没有指定布尔操作符,因此其结果与没有指定布尔方式相同;
为了匹配包含heavy但不包含任意以rope开始的词,可以使用下列的例子:
输入:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('heavy -rope*' IN BOOLEAN MODE);
输出:
这次查询仍然查找匹配heavy的词,但-rope明确的指示MySql排除包含rope(任何以rope开始的词,包括ropes)的行,这里我们使用了俩个布尔操作符-和*,下列是所有支持的布尔操作符:
布尔操作符 | 说明 |
---|---|
+ | 包含,词必须存在 |
- | 排除,词必须不出现 |
> | 包含,而且增加等级值 |
< | 包含,而且减少等级值 |
( ) | 把词组成子表达式(允许这些子表达式作为一个组被包含,排除,排列等) |
~ | 取消一个词的排序值 |
* | 词尾的通配符 |
" " | 定义一个短语(与单个词的列表不同,它匹配整个短语以便包含或排除这个短语) |
下面是我们针对这些操作符的示例:
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('+rabbit +bait' IN BOOLEAN MODE);
说明:查找匹配包含词rabbit与bait的行;
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('rabbit bait' IN BOOLEAN MODE);
说明:没有指定操作符,这个查找匹配包含词rabbit与bait中的至少一个词的行;
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('"rabbit bait"' IN BOOLEAN MODE);
说明:这个查找匹配短语 “rabbit bait” ,而不是匹配俩个词rabbit与bait;
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('>rabbit <bait' IN BOOLEAN MODE);
说明:匹配rabbit与bait,增加前者的等级,降低后者的等级;
SELECT note_text
FROM productnotes
WHERE MATCH(note_text) AGAINST('+safe +(<combination)' IN BOOLEAN MODE);
说明:这个查找匹配词safe 和 combination ,并且降低后者的等级;
3.全文本搜索使用说明
使用全文本搜索时,要了解这些重要的使用说明:
- 在索引全文本数据时,短词被忽略且从索引中排除。短词被定义为那些具有3个或3个以下字符的词(这个数目可以更改);
- MySql带有一个内键的非用词(stopword)列表,这些词在索引全文本数据时总是被忽略,如果需要可以覆盖这个列表;
- 许多次出现的频率很高,搜索它们并没有用处,因此MySql规定了一个50%规则,如果一个词出现在50%的行中,则将它作为一个非用词忽略,50%规则不用于IN BOOLEAN MODE;
- 如果表中的行数少于3行,则全文本搜索不返回结果
- 忽略词中的单引号,例如don`t索引为dont
- 不具有词分隔符的语言不能恰当的返回全文本搜索结果(包括汉语)
- 仅在MyISAM数据库引擎中支持全文本搜索