言語AIの進化史⑰機械翻訳の発展（SMTからトランスフォーマーまでの軌跡）

前回に紹介したGRU（Gated Recurrent Unit）を含め、これまでに再帰型ニューラルネットワーク（RNN）のモデルを数回にわたって紹介してきました。

今回は機械翻訳（Machine Translation）の発展を通して、IBMの統計的機械翻訳からGoogleのトランスフォーマーまでの軌跡を辿っていきます。さまざまな技術が段階的に翻訳精度や効率性を向上させ重要な基盤を築いてきました。

特に、トランスフォーマー前夜である2016年にGoogleが発表したGNMT（Google Neural Machine Translation）までの道のりを中心に解説します。

GNMTは、「アテンション付き多重LSTMエンコーダ・デコーダ」に基づいた機械翻訳モデルであり、トランスフォーマーが登場する直前の代表的な成果の一つです。

エンコーダ・デコーダ、アテンション機構、多重RNNなどについてはすでにこちらの記事で解説しています。LSTMベースのGNMTも、これらの仕組みを利用しています。

2017年に登場したトランスフォーマーも、もともとは機械翻訳を目的として設計されており、GNMTをはじめとするLSTMベースの機械翻訳モデルと多くの共通点を持っています。この背景を理解することで、トランスフォーマーの革新性がより明確になるでしょう。