千万级敏感词过滤设计

全栈程序员-站长 • 2022年5月30日下午8:00 • 未分类 • 阅读 39

千万级敏感词过滤设计需求分析系统有千万级的禁词需要去过滤当中包含人名特殊符号组成的语句网址单字组合成的敏感词等等初步设计 1.解决千万级禁词存储及查找问题 2.解决被过滤文本内容过多问题详细设计 1.采用ES作为禁词库千万级数据检索时间在毫秒级满足需求 2.不适用分词器需要完整匹配分词后很多词都是合法的组合之后才是敏感词 3.被过滤文本内容分词不完整利用IK分词器分词结果不适合现…

大家好，又见面了，我是你们的朋友全栈君。

需求分析

系统有千万级的禁词需要去过滤
当中包含人名 特殊符号组成的语句 网址 单字组合成的敏感词 等等

初步设计

	1.解决千万级禁词存储及查找问题
	2.解决被过滤文本内容过多问题

详细设计

	1.采用ES作为禁词库 千万级数据检索时间在毫秒级满足需求
	2.不适用分词器需要完整匹配 分词后很多词都是合法的 组合之后才是敏感词
	3.被过滤文本内容分词不完整 利用IK分词器分词结果不适合现在的业务场景
		只能采用字符串分割的方式来匹配ES库
		带来的问题就是效率低下同步多线程下千字也需要将近4秒
		考虑采用异步模式来解决大数据量需要审核状态

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/138801.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

路由器的广域网和局域网_路由器广域网设置

路由器的广域网和局域网_路由器广域网设置局域网（LocalAreaNetwork，LAN）是指在某一区域内由多台计算机互联成的计算机组。一般是方圆几千米以内，将各种计算机，外部设备和数据库等互相联接起来组成的计算机通信网。它可以通过数据通信网或专用数据电路，与远方的局域网、数据库或处理中心相连接，构成一个较大范围的信息处理系统。局域网可以实现文件管理、应用软件共享、打印机共享、扫描仪共享、工作组内的日程安排、电子邮件和传真通信服务等…

全栈程序员-站长
2022年10月19日
前端模块化-总结_前端模块化规范

前端模块化-总结_前端模块化规范直接上demo。index.jsx:importReactfrom”react”;importReactDOMfrom”react-dom”;import{Button}from”antd”;importResizeableTablefrom”./ResizeableTable”;import”./styles.css”;constdata1=[{key:0,date:”2018-02-11″,amount:

全栈程序员-站长
2022年11月3日
CreatePipe、CreateProcess函数

CreatePipe、CreateProcess函数0x01.CreatePipe函数管道（Pipe）实际是用于进程间通信的一段共享内存，创建管道的进程称为管道服务器，连接到一个管道的进程为管道客户机。一个进程在向管道写入数据后，另一进程就可以从管道的另一端将其读取出来。匿名管道（AnonymousPipes）是在父进程和子进程间单向传输数据的一种未命名的管道，只能在本地计算机中使用，而不可用于网络间的通信。先详细介绍一下管道，这里以匿名管道为

全栈程序员-站长
2022年7月26日
51单片机流水灯电路以及C代码「建议收藏」

51单片机流水灯电路以及C代码「建议收藏」流水灯是51单片机的入门级实验，以下是其电路图以及C代码流水灯proteus电路图此图发光二极管采用共阳极式连接流水灯C代码#include&amp;amp;amp;amp;amp;amp;amp;lt;reg51.h&amp;amp;amp;amp;amp;amp;amp;gt;voiddelay1s(unsignedcharn);voidMovinglight(){ unsignedcharcodeMovinglightA

全栈程序员-站长
2022年5月3日
死链检测工具Xenu的操作及使用方法

死链检测工具Xenu的操作及使用方法在网站SEO优化中，免不了经常检测网站的死链(404页面)，使用死链检测工具可以起到事半功倍的效果，个人比较喜欢使用死链检测工具Xenu这款工具，具有界面简洁、操作方便等特性。死链检测工具Xenu的操作及使用方法1、下载Xenu软件并且打开Xenu程序，启动程序.exe文件名称为Xenu或者死链接检查，不同的压缩包解压出来不一致，以自己文件名称为准。双击“死链接检查”。2、点击导航栏中的“…

全栈程序员-站长
2022年7月23日
C#实现一个局域网文件传输工具

C#实现一个局域网文件传输工具工作需要，经常会在工作的台式机和笔记本之间传文件或者需要拷贝文本，两个机器都位于局域网内，传文件或者文本的方式有很多种，之前是通过共享文件夹来进行文件的拷贝，或者通过SVN进行同步。文本传递比较简单，可以通过两台机器上装QQ登两个号码，或者在共享目录下建一个TXT，或者发电子邮件等等。不过上面这些方法总觉得不直接，所以想基于P2P做一个小的局域网文件和文字传输小工具。WinForm的工程，

全栈程序员-站长
2022年6月3日

发表回复

关注全栈程序员社区公众号