ゼロから作るDeep Learning ❷ ―自然言語処理編を読んでみて

仕事柄生成AI関連のプロジェクトに関わる事が多く、知識強化の為購読。
最初は基礎的なニューラルネットワークの話から始まり、NNでは時系列的なデータを扱えない事からRNNの説明に入る。その後RNNの問題点である勾配消失の話が出て、LSTMの話に繋がる。
この本の前段であるゼロから作るDeep learning①から生成AIまでの歴史が非常にわかりやすく描かれている。
また最後にはアテンションという、注目して欲しい単語を示す手法に関しても説明されており、近年の生成AIと関連した内容に関しても言及されている。
またLSTMの最大のデメリットである並列処理との相性の悪さにフォーカスをあて、並列処理が可能なセルフアテンションという技術についても最後に軽く触れている。
生成AIって最近注目を集めているけどどういった技術が使われているか気になる方には是非オススメしたい本である。
ただし、トランスフォーマーの言及は無いため最新の技術が知りたい人は追加で学習が必要。