how2j.cn

步骤 1 : 分词器概念   
步骤 2 : IKAnalyzer6.5.0.jar   
步骤 3 : 代码演示 TestAnalyzer   

分词器指的是搜索引擎如何使用关键字进行匹配,如 入门 中的关键字:护眼带光源。 如果使用like,那么%护眼带光源%,匹配出来的结果就是要么全匹配,要不都不匹配。
而使用分词器,就会把这个关键字分为 护眼光源 3个关键字,这样就可以找到不同相关程度的结果了。
步骤 2 :

IKAnalyzer6.5.0.jar

edit edit
IKAnalyzer 这个分词器很久都没有维护了,也不支持Lucene7。 IKAnalyzer6.5.0.jar 这个是修改之后的的,可以支持Lucene7的jar, 在右上角下载(已经包含在右上角的lucene.rar中了)。
步骤 3 :

代码演示 TestAnalyzer

edit edit
如代码所示,使用IKAnalyzer 中文分词器就会把 护眼带光源 分为这么如图所示的3个小关键字进行匹配
代码演示 TestAnalyzer
package com.how2java; import java.io.IOException; import org.apache.lucene.analysis.TokenStream; import org.wltea.analyzer.lucene.IKAnalyzer; public class TestAnalyzer { public static void main(String[] args) throws IOException { IKAnalyzer analyzer = new IKAnalyzer(); TokenStream ts= analyzer.tokenStream("name", "护眼带光源"); ts.reset(); while(ts.incrementToken()){ System.out.println(ts.reflectAsString(false)); } } }
package com.how2java;

import java.io.IOException;

import org.apache.lucene.analysis.TokenStream;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class TestAnalyzer {

	public static void main(String[] args) throws IOException {
		
		IKAnalyzer analyzer = new IKAnalyzer();
		TokenStream ts= analyzer.tokenStream("name", "护眼带光源");
		ts.reset();
		while(ts.incrementToken()){
			System.out.println(ts.reflectAsString(false));
		}
	}
}


HOW2J公众号,关注后实时获知最新的教程和优惠活动,谢谢。


提问已经提交成功,正在审核。 请于 我的提问 处查看提问记录,谢谢
关于 工具和中间件-搜索引擎技术-分词器概念 的提问

尽量提供截图代码异常信息,有助于分析和解决问题。 也可进本站QQ群交流: 982790551
提问尽量提供完整的代码,环境描述,越是有利于问题的重现,您的问题越能更快得到解答。
对教程中代码有疑问,请提供是哪个步骤,哪一行有疑问,这样便于快速定位问题,提高问题得到解答的速度
在已经存在的几千个提问里,有相当大的比例,是因为使用了和站长不同版本的开发环境导致的,比如 jdk, eclpise, idea, mysql,tomcat 等等软件的版本不一致。
请使用和站长一样的版本,可以节约自己大量的学习时间。 站长把教学中用的软件版本整理了,都统一放在了这里, 方便大家下载: https://how2j.cn/k/helloworld/helloworld-version/1718.html

上传截图