見出し画像

Pythonで動かして学ぶ自然言語処理入門

画像1

Pythonで動かして学ぶ自然言語処理入門

短めにご紹介

Pythonというプログラム言語を用いて、自然言語(テキストデータ)を取得し、データベースへ保存し、Webアプリケーションとして検索できるようにするところまでの手順が記載されており、解析手法としては形態素解析、アノテーション、単語の重要度評価、文書の類似度評価、クラスタリング、同義語・上位語の取得、テキスト分類、特徴量抽出などもりだくさん!

Amazonレビューで散見されたややネガティブなコメントが、この「データベースへ保存し、Webアプリケーションとして検索できるようにする」くだりが、純粋にPythonで自然言語処理だけを学びたい人からしたら不要だということなんだと思います。これは上手くニーズと売り方(書籍名など)がマッチしていなくてもったいないですね。

想定されている作業環境

・Windows 10にUbuntuというUnix OS環境をインストールして作業環境に。

・データベースはSQLite、検索エンジンにSolr。

・Webアプリは、BottleとSQLite、Solrの組み合わせ。

掲載されている分析

・テキスト分析は、CaboCha、TF-IDF、Word2Vec

テキスト分類
・ルールベース(Python実装)
・教師あり学習(Bag-o-Words特徴量、線形SVM)
・ディープラーニングを用いる(LSTM)

評価分析
・辞書を用いた特徴量抽出
・TRIEを用いた辞書内語句マッチ

情報抽出
・関係のアノテーション
・正規表現を用いた関係抽出
・係り受け構造を用いた関係抽出

系列ラベリング

など。まだ実際に試していないので、試したら本記事をアップデートします。

画像1

Pythonで動かして学ぶ自然言語処理入門

いいなと思ったら応援しよう!