Sensitive Word Versions Save

👮‍♂️The sensitive word tool for java.(敏感词/违禁词/违法词/脏词。基于 DFA 算法实现的高性能 java 敏感词过滤工具框架。请勿发布涉及政治、广告、营销、翻墙、违反国家法律法规等内容。高性能敏感词检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。)

dict_slim

4 years ago

格式统一化

  1. 将所有的大写字母统一转换为小写

  2. 将所有的全角转换为半角

  3. 移除所有【空格】【符号】(这个就是各种符号的过滤了)

  4. 繁体字统一转换为简体字

最后保证信息的去重。

移除大量的信息

  1. 移除 QQ 号的类似数字

  2. 移除所有网址（.com、cn、.org）

  3. 移除纯英文

  4. 移除乱码 �

备份相关信息。

stopword_all

4 years ago

【stopword.txt】全量的 stop word 【stopword_zh.txt】仅仅包含中文的 stop word