【2019年11月】文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長

文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長

文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長

2018年に「ELMo」と、その上位互換である「BERT」が論文発表され、自然言語処理分野のブレークスルーが起きている。「BERT」は更に進化を遂げ「ALBERT」となり、この手法が現在主流になっている。自然言語処理分野が「Word2Vec」で止まってると浦島太郎になります！要注意！

自然言語処理モデルをいくつか紹介します。

2013年

◆Word2Vec

単語をベクトル化して定量的に扱う事が出来るよ！

単語の意味で足し算引き算できるようになったってのが有名。

例）王様－男＋女＝女王

2014年

◆sequence to seuqence（seq2seq）

「語句の並び（A）」を入力して、別の「語句の並び（B)」を出力するよ！

（A)に英語を入力して、（B)にフランス語を出力するようにすれば「翻訳」が出来て、

（A)に質問を入力して、（B）に回答を出力するようにすれば「対話」が出来るよ。

2016年

◆fastText

Word2Vecより学習が早い！結果はまちまち、、、

◆GNMT

多分、seq2seqの上位互換。

2017年

◆Transformer

RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳。

2017年段階では最強。

2018年

◆ELMo

2018年ディープラーニング2大トピックの一つ！単語ベクトル化する手法だけどWord2Vecと違って、文脈を考慮した単語ベクトル化が出来る。「アメ」という言葉の意味がキャンディーなのか、レインなのか、文脈から判断出来るようになりました！すご！

◆BERT

2018年2大トピックのもう一つ！自然言語処理にブレークスルーを起こしたモデル。

自然言語処理タスクを教師データなしで、かつ双方向に事前学習することが出来るようになった。これにより、WEB上にある莫大な量のテキストデータが利用可能に！！

2019年

◆ALBERT

BERTをより軽量に、そして性能向上させた。ALBERT最強！

◆T5（Text-To-Text Transfer Transformer）

10月23日に発表された論文　https://arxiv.org/abs/1910.10683

10月24日段階にて世界最高水準（SOTA）であるとされている。