形態素解析について～はじまりの体験～

2022年5月6日 05:28

どうも lingmu です。
今回は、形態素解析について書きます。
形態素解析がどのようなものかを体験できるオンラインツールの紹介もしています。

1. 形態素解析とは

　形態素解析とは、自然言語を意味のある最小の単位に分解して、品詞などを判別することをいいます。例えば、「私は猫が好きです。」という文章に対して形態素解析した結果は以下となります。
私　　ワタクシ　代名詞
は　　ハ　　　　助詞‐係助詞
猫　　ネコ　　　名詞‐普通名詞‐一般
が　　ガ　　　　助詞‐格助詞
好き　スキ　　　形状詞‐一般
です　デス　　　助動詞
。　　　　　　　補助記号‐句点

2. どんなことに使われているのか

　形態素解析がどんなことに使われているのかですが、例えば、以下のようなことに使われています。

（１）SNSのトレンド分析
（２）迷惑メールフィルタ
（３）感情（センチメント）分析

※上記以外に、AI（人工知能）の自然言語処理の過程で使われています。

3. 代表的な形態素解析ツール

　　形態素解析ツールの代表的なものを紹介します。
　
　（１）MeCab (和布蕪)
　　　京都大学情報学研究科日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです。

　（２）JUMAN
　　　京都大学で開発されている日本語の形態素解析システムです。2016年に後継の Juman++ が公開されています。

　（３）Janome
　　　Pure Python で書かれており、辞書内包の形態素解析器です。シンプルな API を備える形態素解析ライブラリを目指して開発されています。ライブラリに依存しないため、導入コストも低く、アプリケーションにも組み込みやすいという特徴があります。　　　　　　

4. 形態素解析オンラインツール

　形態素解析がどのようなものかを確認できるオンラインツールがあるのでいくつか紹介します。
（１）Web茶まめ
　　　https://chamame.ninjal.ac.jp/
（２）形態素解析ウェブアプリUniDic-MeCab（複合名詞判定，サ変動詞判定ver付き）Ver0.02
　　　http://www4414uj.sakura.ne.jp/Yasanichi1/unicheck/
（３）形態素解析ツール
　　　https://nltools.v9labo.com/tokenizer

5. 参考サイト

　■MeCab: Yet Another Part-of-Speech and Morphological Analyzer
　　https://taku910.github.io/mecab/

　■日本語形態素解析システム JUMAN
　　https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN

　■JUMAN
　　https://ja.wikipedia.org/wiki/JUMAN

　■Janome
　　https://mocobeta.github.io/janome/

6. おわり

　以上です。

形態素解析について ～ はじまりの体験 ～