微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

ToolGood.Words 敏感词检测组件

程序名称:ToolGood.Words

授权协议: Apache

操作系统: 跨平台

开发语言: C#

ToolGood.Words 介绍

@H_404_1@

ToolGood.Words是一款高性能非法词(敏感词)检测组件,附带繁体简体互换,支持全角半角互换,获取拼音首字母,获取拼音字母等功能。@H_404_1@

非法词(敏感词)检测类有:StringSearch、WordsSearch、IllegalWordsSearch、IllegalWordsQuickSearch@H_404_1@

示例代码:@H_404_1@

    string s = "中国|国人|zg人";
    string test = "我是中国人";

    StringSearch iwords = new StringSearch();
    iwords.SetKeywords(s.Split('|'));

    var b = iwords.ContainsAny(test);
    Assert.AreEqual(true, b);

    var f = iwords.FindFirst(test);
    Assert.AreEqual("中国", f);

    var all = iwords.FindAll(test);
    Assert.AreEqual("中国", all[0]);
    Assert.AreEqual("国人", all[1]);
    Assert.AreEqual(2, all.Count);

    var str = iwords.Replace(test, '*');
    Assert.AreEqual("我是***", str);

@H_404_1@@H_404_1@

StringSearch.ContainsAny的效率是正则IsMatch的1.5W倍。@H_404_1@

Regex.Matches的运行方式跟IQueryable的类似,只返回MatchCollection,还没有计算。@H_404_1@

TrieFilter,FastFilter为其他网友算法,来源请看文档。@H_404_1@

自带多音词库,不带分词功能,特殊情况下会出现拼音错误。@H_404_1@

            var py = WordsHelper.GetPinYin("快乐,乐清");
            Assert.AreEqual("KuaiLe,YueQing", py);

开源地址:@H_404_1@

码云: https://git.oschina.net/toolgood/ToolGood.Words@H_404_1@

GitHub: https://github.com/toolgood/ToolGood.Words@H_404_1@

ToolGood.Words 官网

https://git.oschina.net/toolgood/ToolGood.Words

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐