【今のAIトレンドに追いつける】世界的VC「a16z」のレポート『AI Canon』の日本語訳＋解説

本日は世界最強のVCとも言われる「a16z」が出す特定の業界の必見記事まとめCannonのAIに特化した「AI Cannon」についての解説記事になります。

2023年5月25日に公開された最新のまとめです。

 最新トレンドは抑えており、全ての論文や記事を見なくとも、見出しを一通り見るだけでも勉強になります。

目次はこちらです。

①入門編
②基礎学習
③専門的な技術
④LLM構築＋実践的ガイド
⑤市場分析
⑥特筆すべき研究成果

元の記事はこちら

また、各項目のタイトルに記事のリンクが埋め込まれています。
（下線を引いている見出しです。）

以下の文章は元の記事の日本語翻訳＋自身の見解を加えたものになります。
（引用の部分で自身の見解を記載しています。）

1.入門編

ソフトウェア2.0：

Andrej Karpathyは、新しいAIの波が本当に重要である理由を（2017年に！）明確に説明した最初の一人です。彼の主張は、AIはコンピュータをプログラムするための新しく強力な方法であるというものです。LLMが急速に改善される中、この論文は先見の明があることが証明され、AI市場がどのように進展する可能性があるのか、良いメンタルモデルを与えています。

・要はAIの波がきてるってことです
・記事は難しいのでスルーでも良いです

GPTの現状：

同じくKarpathyによる、ChatGPT/GPTモデル全般の仕組みや使い方、研究開発の方向性について、とても親しみやすい説明です。

・Microsoftが5/24に公開した40分超えの動画
・一応非常に視認性が悪い日本語字幕もあるので、しょうもないテレビ見るならこれ見ておきましょう

ChatGPTの仕組み

コンピュータ科学者であり起業家でもあるStephen Wolframが、現代のAIモデルがどのように機能するかについて、第一原理から長いながらも非常に読みやすい説明をしています。初期のニューラルネットから今日のLLMやChatGPTに至るまで、時系列で説明されています。

・現代のAIモデルが上手くいく仕組みを解説
・初期のニューラルネットから今日のLLMやChatGPTに至るまで、時系列で説明されている
・難しいけど読んだ方が良いです

トランスフォーマー

Dale Markowitzによるこの投稿は、"LLMとは何か、どのように機能するのか？"という質問に対する、より短く、より直接的な回答です。このトピックに入りやすく、技術に対する直感を養うには最適な方法です。GPT-3について書かれたものですが、新しいモデルにもまだ適用できます。

・これは知っておくべき内容
・近年のAIはこれのおかげで進化しました
・Transformerは従来モデルと比べて「精度が高く高速で汎用性が高いモデル」
・BERTやGPTなど最新モデルに活用
・ざっくりいうと並列で単語を認識できるようになった＋長期記憶もできるという優れもの

Stable Diffusionの仕組み：

これは、前回の投稿のコンピュータビジョンのアナログ版です。Chris McCormickは、Stable Diffusionがどのように機能するのか、また一般的なテキストから画像へのモデルに関する直感を養うために、素人向けの説明をしています。さらに やさしい 紹介としては 、 r/StableDiffusionのこの コミックをご覧ください。

・今話題の画像生成ツールですね
・これも見ておきましょう
・普通に面白い記事
・画像も数字で捉えているらしくて興味をそそります

---

2. 基礎学習

ニューラルネットワーク、バックプロ、エンベッディング

ディープラーニングの基礎からAIの専門家による大学レベルの講座まで、機械学習やAIの基本的な考え方を理解するためのリソースです。

ディープラーニングの概要

Nvidiaが提供するこの4部構成のシリーズは、2015年に実践されたディープラーニングの基本を解説しており、AIについて学び始めたばかりの方にとって良い資料となります。

・結構専門的な内容です
・まだ画像がある分わかりやすいかもです

コーダーのための実践的なディープラーニング

AIの基礎を実践的な例とコードで解説する総合無料講座。

・開発者向けの無料講座
・大ボリュームです
・開発者でなければスールでOK

Word2vecの説明

LLM（およびすべての言語モデル）の構成要素であるエンベッドとトークンを簡単に紹介します。

・AIがどのように言葉を認識してるかの説明
・Word Embeddingについて理解が深まる
・そこまで内容は難しくない

バックプロパゲーションの説明

ありますね：バックプロパゲーションの詳細を理解したい場合は、より詳細な記事を参照してください。 さらに詳しく知りたい 方は、スタンフォードのCS231nの講義を Youtubeで見てみてください。

この記事は難しいので、以下の日本語の記事がお勧めです。
要は間違った出力を重み付けして正しい回答結果に直していく過程を指します。