paoding分词TokenStream的使用

paoding分词TokenStream的使用[code="java"]importjava.io.IOException;importjava.io.StringReader;importnet.paoding.analysis.analyzer.PaodingAnalyzer;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lu…

大家好,又见面了,我是你们的朋友全栈君。



import java.io.IOException;
import java.io.StringReader;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;

public class PaodingTokenTest
{
public static void main(String[] args)
{

String content = "中华人民共和国";
Analyzer analyzer = new PaodingAnalyzer();

TokenStream tokenStream2 = analyzer.tokenStream("", new StringReader(
content));
Token t;
try {
while ((t = tokenStream2.next()) != null) {
System.out.println(t.termText());
}
} catch (IOException e) {
e.printStackTrace();
}
}
}

result:中华 华人 人民 共和 共和国

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163128.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号