paoding分词TokenStream的使用

paoding分词TokenStream的使用[code="java"]importjava.io.IOException;importjava.io.StringReader;importnet.paoding.analysis.analyzer.PaodingAnalyzer;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lu…

大家好,又见面了,我是你们的朋友全栈君。



import java.io.IOException;
import java.io.StringReader;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;

public class PaodingTokenTest
{
public static void main(String[] args)
{

String content = "中华人民共和国";
Analyzer analyzer = new PaodingAnalyzer();

TokenStream tokenStream2 = analyzer.tokenStream("", new StringReader(
content));
Token t;
try {
while ((t = tokenStream2.next()) != null) {
System.out.println(t.termText());
}
} catch (IOException e) {
e.printStackTrace();
}
}
}

result:中华 华人 人民 共和 共和国

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163128.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • log库spdlog简介及使用[通俗易懂]

    log库spdlog简介及使用[通俗易懂]spdlog是一个开源的、快速的、仅有头文件的C++11日志库,code地址在https://github.com/gabime/spdlog,目前最新的发布版本为0.14.0。它提供了向流、标准输出、文件、系统日志、调试器等目标输出日志的能力。它支持的平台包括Windows、Linux、Mac、Android。spdlog特性:(1)、非常快,性能是它的主要目标;(2)、仅包括…

    2022年6月23日
    52
  • 数组和链表的区别和优缺点总结!

    数组和链表的区别和优缺点总结!数组和链表是两种基本的数据结构,他们在内存存储上的表现不一样,所以也有各自的特点。链表中各结点在内存中的存放位置是任意的。 链表与数组的主要区别(1)数组的元素个数是固定的,而组成链表的结点个数可按需要增减;(2)数组元素的存诸单元在数组定义时分配,链表结点的存储单元在程序执行时动态向系统申请:(3)数组中的元素顺序关系由元素在数组中的位置(即下标)确定,链表中的结点顺序关系…

    2022年6月16日
    26
  • 170406回顾-SQL Server的smalldatetime类型比较[通俗易懂]

    170406回顾-SQL Server的smalldatetime类型比较[通俗易懂]在比较SQLServer的类型为smalldatetime字段时出现下面的错误:将expression转换为数据类型smalldatetime时出现算术溢出错误正确的比较方法如下:将long型转换为时间格式的字符串,再与smalldatetime类型的字段比较SELECT*FROMtablenameWHEREEditFlag>’2017/3…

    2022年5月18日
    48
  • visual c++2010密钥

    visual c++2010密钥6VPJ7-H3CXH-HBTPT-X4T74-3YVY7

    2022年5月18日
    38
  • java中Scanner类nextLine()和next()的区别和使用方法

    java中Scanner类nextLine()和next()的区别和使用方法在实现字符窗口的输入时,扫描器Scanner非常实用,操作起来也比较简单。在今天编程的过程中,我发现用Scanner实现字符串的输入有两种方法,一种是next(),一种nextLine(),但是这两种方法究竟有什么区别呢?我查了一些资料总结了一下,希望对大家有所帮助。           在实现字符窗口的输入时,扫描器Scanner非常实用,操作起来也比较简单。

    2022年6月12日
    33
  • sqlite如何安装_安装路由器的详细步骤

    sqlite如何安装_安装路由器的详细步骤1.安装sudoapt-getinstallsqlite32.可执行程序sqlite3在/bin目录下,使用sqlite3+空格+数据库文件,可打开数据库3.使用.database查看已连接的数据库会话4.使用.tables查看数据库中的表5.执行SQL进行增删查改Linux下的SQLite数据库查看工具:SQLiteBrowser安装:sudoaptinstallsqlitebrowser-ywindows下的SQLite数据库查看工具:SQLi…

    2025年9月7日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号