Kuromoji是一个开源的,基于java语言开发的轻量级的日文分词工具包。捐赠给了ASF之后被内置在Lucene 和 Solr中,作为默认的日文分词器(默认的中文分词器是smartcn)。但他也不依赖Lucene 或 Solr,可以单独使用。采用维特比算法(Viterbi algorithm),默认使用IPA字典。
其他有名的还有lucene-gosen :http://code.google.com/p/lucene-gosen/ 以及Google・Amazon・楽天等日本大的搜索引擎使用的Rosette :http://www.basistech.jp/base-linguistics/japanese/ 。Rosette是商业版的,能够适用于很多语言,比如:中文,日文,韩文,英文等等。
http://www.atilika.org/
版本:kuromoji-0.7.7.jar
(1)2行代码即可分词
- Tokenizer tokenizer = Tokenizer.builder().build();
- List<Token> tokens = tokenizer.tokenize(word);
分词后的Token:
- for (Token token : tokens) {
- System.out.println("==================================================");
- System.out.println("allFeatures : " + token.getAllFeatures());
- System.out.println("partOfSpeech : " + token.getPartOfSpeech());
- System.out.println("position : " + token.getPosition());
- System.out.println("reading : " + token.getReading());
- System.out.println("surfaceFrom : " + token.getSurfaceForm());
- System.out.println("allFeaturesArray : " + Arrays.asList(token.getAllFeaturesArray()));
- System.out.println("辞書にある言葉? : " + token.isKnown());
- System.out.println("未知語? : " + token.isUnknown());
- System.out.println("ユーザ定義? : " + token.isUser());
- }
(2)3中分词模式
- String word = "日本経済新聞でモバゲーの記事を読んだ。";
- Builder builder = Tokenizer.builder();
- // Normal
- Tokenizer normal = builder.build();
- List<Token> tokensNormal = normal.tokenize(word);
- disp(tokensNormal);
- // Search
- builder.mode(Mode.SEARCH);
- Tokenizer search = builder.build();
- List<Token> tokensSearch = search.tokenize(word);
- disp(tokensSearch);
- // Extends
- builder.mode(Mode.EXTENDED);
- Tokenizer extended = builder.build();
- List<Token> tokensExtended = extended.tokenize(word);
- disp(tokensExtended);
引用
日本経済新聞 | で | モバゲー | の | 記事 | を | 読ん | だ | 。 |
日本 | 経済 | 新聞 | で | モバゲー | の | 記事 | を | 読ん | だ | 。 |
日本 | 経済 | 新聞 | で | モ | バ | ゲ | ー | の | 記事 | を | 読ん | だ | 。 |
日本 | 経済 | 新聞 | で | モバゲー | の | 記事 | を | 読ん | だ | 。 |
日本 | 経済 | 新聞 | で | モ | バ | ゲ | ー | の | 記事 | を | 読ん | だ | 。 |
(3)自定义词典
- // 使用自定义字典
- InputStream is = UserDictSample.class.getClassLoader().getResourceAsStream("resources/userdict_ja.txt");
- Builder builder = Tokenizer.builder();
- builder.userDictionary(is);
- Tokenizer userTokenizer = builder.build();
- List<Token> tokens2 = userTokenizer.tokenize(word);
- StringBuilder sb2 = new StringBuilder();
- for (Token token : tokens2) {
- sb2.append(token.getSurfaceForm() + " | ");
- }
- System.out.println(sb2.toString());
引用
稀 | 勢 | の | 里 | 寛 |
稀勢の里 | 寛 |
稀勢の里 | 寛 |
resources/userdict_ja.txt:
引用
# 単語,形態素解析後の単語(単語を分ける場合は、スペースで区切る),読み,品詞
稀勢の里寛,稀勢の里 寛,キセノサト ユタカ,カスタム人名
稀勢の里寛,稀勢の里 寛,キセノサト ユタカ,カスタム人名
(4)汉字转片假名
- String word = "東京特許許可局";
- Builder builder = Tokenizer.builder();
- builder.mode(Mode.NORMAL);
- Tokenizer tokenizer = builder.build();
- List<Token> tokens = tokenizer.tokenize(word);
- StringBuilder sb = new StringBuilder();
- for (Token token : tokens) {
- sb.append(token.getReading() + " | ");
- }
- System.out.println(sb.toString());
文章出自:http://rensanning.iteye.com/blog/2008575
相关推荐
java运行依赖jar包
黑友寺 Kuromoji是一款易于使用且功能齐全的日本形态分析仪分词。 将文本分割成单词(或词素) 词性标记。 分配单词类别(名词,动词,质词,形容词等) 合法化。 获取变形动词和形容词的字典形式阅读。 提取汉字的...
前端开源库-kuromojiKuromoji,日本形态学分析仪的javascript实现
jar包,官方版本,自测可用
lucene-kuromoji.jar 的下载
jar包,官方版本,自测可用
日本形态分析器的 JavaScript 实现。 这是的纯 JavaScript 移植。 你可以在看到 kuromoji.js 是如何工作的。 目录 目录树如下: build/ kuromoji.js -- JavaScript file for browser (Browserified) demo/ -- ...
Emacs的一个程序包,它使用Kuromoji标记器和词性标记器将日语文本字体化。 安装 ,然后将jar文件放入某个目录。 如果尚未安装Java,请安装。 将其放入您的Emacs初始化文件中: (require 'kuromoji) (setq ...
弹性搜索框 一个带有kuromoji插件的用于Elasticsearch的wercker盒子。入门$ git clone https://github.com/wantedly/box-kuromoji-elasticsearch.git && cd box-kuromoji-elasticsearch$ script/bootstrap版本0.1.0 ...
jar包,官方版本,自测可用
马可夫链-kuromoji 生成由kuromoji.js驱动的markov链词安装npm install markov-chain-kuromoji字典路径process.env.KUROMOJI_DIC_PATH用法var fs = require('fs');var MarkovChain = require('markov-chain-kuromoji...
jar包,官方版本,自测可用
Kuromoji。 所需环境 码头工人 3.3.3 >= Java8 或 Java11 如何设置 克隆这个仓库 将/es/docker-entrypoint.sh的文件权限更改为可执行文件。 返回根文件夹并运行docker-compose up --build或docker-compose up 启动 ...
elasticsearch-analysis-kuromoji.zip,日语(kuromoji)分析插件将lucene kuromoji分析模块集成到elasticsearch.japanese(kuromoji)分析插件中
词根x关键字 获取词根不明的关键字。 从使用进行形态分析的单词中未知单词作为关键字。 目的 实现它是为了从一个简短的技术语句中提取似乎是关键字的内容。专业术语(例如技术术语)中的单词不在词典中,因此请使用...
前端开源库-kuromojinKuromojin,为kuromoji.js提供高级包装
lucene-analyzers-kuromoji-4.2.0.jar; lucene-analyzers-phonetic-4.2.0.jar; lucene-codecs-4.2.0.jar; lucene-core-4.2.0.jar; lucene-grouping-4.2.0.jar; lucene-highlighter-4.2.0.jar; lucene-memory-...
日语主题抽象的依存关系kuromoji
日本文 ... dicDir : '../dict/' // copy kuromoji.js's dictionary from node_modules/kuromoji/dist/dict. } var text = 'タイトル\n' + '\n' + '1 これは前段です。これは中段(2文の場合は後