Yaha 介绍
“哑哈”中文分词，更快或更准确，由你来定义。通过简单定制，让分词模块更适用于你的需求。 “Yaha” You can custom your Chinese
Word Segmentation efficiently by using Yaha
基本功能：
- 精确模式，将句子切成最合理的词。
- 全模式，所有的可能词都被切成词，不消除歧义。
- 搜索引擎模式，在精确的基础上再次驿长词进行切分，提高召回率，适合搜索引擎创建索引。
- 备选路径，可生成最好的多条切词路径，可在此基础上根据其它信息得到更精确的分词模式。
可用插件：
附加功能：
Algorithm
- 核心是基于查找句子的最大概率路径来进行分词。
- 保证效率的基础上，对分词的各个阶段进行定义，方便用户添加属于自己的分词方法(默认有正则，前缀名字与后缀地名)。
- 用户可自定义使用动态规划或Dijdstra算法得到最优的一条或多条路径，再次可根据词性(中科大ictclas的作法)等其它信息得获得最优路径。
- 使用“最大熵”算法来实现对大文本的新词发现能力，很适合使用它来创建自定义词典，或在SNS等场合进行数据挖掘的工作。
- 相比已存在的结巴分词，去掉了很消耗内存的Trie树结构，以及新词发现能力并不强的HMM模型(未来此模型可能当成一个备选插件加入到此模块)。
目前状态
以上提到的核心部分以及基础功能都已得到实现。不过一些细节正在实现当中，目前还未发布版本。
一些片段的代码可以从我的代码分享得到：http://www.oschina.net/code/list_by_user?id=1180874
Yaha 官网
https://github.com/jannson/yaha
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
