【elasticsearch系列】windows安装IK分词器插件[通俗易懂]

【elasticsearch系列】windows安装IK分词器插件[通俗易懂]环境github下载:https://github.com/medcl/elasticsearch-analysis-ik/releases注意,IK分词器插件要与ES版本保持一致;有的小伙伴在GitHub上下载插件时,没有发现与ES相对应的版本,可以切换到Tags中选择分支版本;例如Branchs列表中仅可能存在主版本号;切换到右侧Tags中查找对应的版本即可;小编这里选择的7.8.0的版本;安装IK解压缩后拷贝到ElasticSearch安装目录的plugins文件夹下,默认情况该

大家好,又见面了,我是你们的朋友全栈君。

环境

github下载:https://github.com/medcl/elasticsearch-analysis-ik/releases

注意,IK分词器插件要与ES版本保持一致;
有的小伙伴在GitHub上下载插件时,没有发现与ES相对应的版本,可以切换到Tags中选择分支版本;
例如Branchs列表中仅可能存在主版本号;
在这里插入图片描述
切换到右侧Tags中查找对应的版本即可;小编这里选择的7.8.0的版本;
在这里插入图片描述

安装IK

  • 解压缩后拷贝到ElasticSearch安装目录plugins文件夹下,默认情况该文件夹中为空,不存在任何插件,将IK插件存入plugins目录并重命名ik,如图:
    在这里插入图片描述
    解压缩目录如下:
    在这里插入图片描述

  • 重启elasticsearch,观看是否加载插件
    在这里插入图片描述

  • 通过ES自带的工具查看, 命令行执行 elasticSearch-plugin list
    在这里插入图片描述
    注意,切换到bin目录下执行上面命令;

kibana实操

介绍两种分词用法和区别,主要以努力实现中国梦为例;

ik_smart

ik_smart为最少切分;
如何最少切分呢???

GET _analyze
{ 
   
  "analyzer": "ik_smart",
  "text": "努力实现中国梦"
}

分词结果:
{ 
   
  "tokens" : [
    { 
   
      "token" : "努力实现",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    { 
   
      "token" : "中国",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    },
    { 
   
      "token" : "梦",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 2
    }
  ]
}

ik_max_word

ik_max_word为最细粒度划分;

GET _analyze
{ 
   
  "analyzer": "ik_max_word",
  "text": "努力实现中国梦"
}

分词结果:
{ 
   
  "tokens" : [
    { 
   
      "token" : "努力实现",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    { 
   
      "token" : "努力",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    { 
   
      "token" : "实现",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    { 
   
      "token" : "中国",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 3
    },
    { 
   
      "token" : "梦",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 4
    }
  ]
}

自定义分词格式

比如:超级喜欢溪源博主,用上面两种分词,会把溪源,博主分别作为单个词分开,结果如下:
在这里插入图片描述
需求想把溪源博主作为两个词,因此需要我们自定义字典;

  • 修改插件配置文件ik/config/IKAnalyzer.cfg.xml,加入自定义字典;
    在这里插入图片描述
    打开配置文件夹目录,可以看到已经存在的默认词库,如下:
    在这里插入图片描述
  • 自定义xiyuan.dic文件
    将溪源、博主作为词存入文件中;
    在这里插入图片描述

加入扩展自定义文件,如下:
在这里插入图片描述

  • 重启ES服务和kibana
GET _analyze
{ 
   
  "analyzer": "ik_smart",
  "text": "超级喜欢溪源博主"
}

分词结果:
{ 
   
  "tokens" : [
    { 
   
      "token" : "超级",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    { 
   
      "token" : "喜欢",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    { 
   
      "token" : "溪源",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    { 
   
      "token" : "博主",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/150635.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 怎样优化电商网站_电商网站

    怎样优化电商网站_电商网站这是最近被问过最多的一个问题,很有必要整理成一篇文章来分享。本文讨论的是新接手一个电商网站,不是接手一个新电商网站。因此,网站默认为已运营一段时间,有历史数据可供参考。我一直主张基于数据分析的网站优化,特别是电商网站。同时,做事的时候,可以再加上一点点直觉。直觉是什么?直觉是一个人的学识再…

    2022年10月1日
    2
  • mysql8.0压缩包安装教程(zarchiver怎么安装游戏)

    首先声明,这里是Mysql8.0.27版本、64位操作系统解压版mysql的下载及安装配置及修改初始密码。如果是其他版本的mysql安装,可以自行查找其他方法,记住搜索的时候最好加上是什么版本的,因为不同版本的mysql安装的时候有些命令是不同的,例如,mysql5.7的就搜索mysql5.7安装。话不多说,接下来就是我的mysql8.0.27版本的教程了。1.下载打开下载地址:https://dev.mysql.com/downloads/mysql/,找到箭头中的文件https:/

    2022年4月14日
    194
  • linux关闭端口进程命令,linux关闭端口命令

    linux关闭端口进程命令,linux关闭端口命令在linux中我们可以通过命令来启动和关闭端口,那么具体是哪个命令呢?下面由学习啦小编为大家整理了linux关闭端口的相关命令,希望对大家有所帮助。linux关闭端口命令前提:首先你必须知道,端口不是独立存在的,它是依附于进程的。某个进程开启,那么它对应的端口就开启了,进程关闭,则该端口也就关闭了。下次若某个进程再次开启,则相应的端口也再次开启。而不要纯粹的理解为关闭掉某个端口,不过可以禁用某个端…

    2022年7月20日
    47
  • cover letter and response letter

    cover letter and response letter在此之前先区分投稿CoverLetter,修改稿CoverLetter和ResponseLetter,前两个是写给编辑或者TopicEditor,后者是写给Reviwer。一般来说在提交稿件时我们会附带一封CoverLetter主要是一些客套话跟编辑说的。修改稿CoverLetterDearProfessor***:(***指的是负责你论文的编辑,不知道名字就写Editor)    Onbehalfofmyco-authors,we

    2022年6月2日
    30
  • vuex使用步骤_vuex的原理

    vuex使用步骤_vuex的原理前言每一个Vuex应用的核心就是store(仓库)。store基本上就是一个容器,它包含着你的应用中大部分的状态(state)。Vuex和单纯的全局对象有以下两点不同:Vuex的状态存

    2022年8月7日
    2
  • 快速使用 BERT 生成词向量:bert-as-service

    快速使用 BERT 生成词向量:bert-as-serviceBERT模型是一种NLP预训练技术,本文不介绍BERT的原理,主要关注如何快速上手使用BERT模型生成词向量用于下游任务。Google已经公开了TensorFlow版本的预训练模型和代码,可以用于生成词向量,但是还有更简单的方法:直接调用封装好的库bert-as-service。使用bert-as-service生成词向量bert-as-service是腾讯…

    2022年6月1日
    85

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号