技育祭（Geek SAI）のふりかえり（Day１：松尾 豊さん）
2021/3/11にオンラインで開催されていた「技育祭」に参加し、松尾 豊さん、まつもと ゆきひろさん、藤本 真樹さんの講演を聴きました。こちらでは、松尾豊さんが話されていた内容を簡単にまとめて、振り返りたいと思います。
これからの社会のあり方と若者に求められるあり方とは
東京大学 工学系研究科 教授 松尾 豊
大きく人工知能の研究の話と、これから生きていくなかで大切な心構えのような話の二本立てでした。
人工知能とは
人間の脳は情報処理をしていると考えらえるが、その仕組みがいまだ分からない。例えば、むかし人類は鳥のように飛びたいと試行錯誤したが、原理は「揚力」をどう生み出すかという話だった。人工知能の研究は、まだその原理がわかっていない状態にある。
自然言語におけるディープラーニングのインパクト
言語処理の進展。翻訳タスクに、RNN（回帰型ニューラルネットワーク）ではなく、アテンションのみで構成されたTransformerを使うものが出てきた。
Transformerとは、マルチヘッドのセルフアテンション（自己注意機構）を多層に重ねたもの。自己教師あり学習で事前に学習する。
自己教師あり学習とは、教師なし学習のひとつで、データ自身を教師データにし、学習する。例えば「目隠し問題」を解く。BERTや、XLNet、T5、GPT-3など。
GPT-3では、データを増やし、計算能力を増やし、パラメータ（モデルの容量）を増やせば、精度が上がる。例えば以下のようなものがある。
debuild.co：英文からhtmlのコードを作成する（コードの一部を隠して学習している）
素数の生成：素数を生成しているが、たまに間違えている。計算の方法を学習しているが、十分に汎化できていない。ウェブに素数を列挙したページがあり、その目隠し問題を解くために、計算方法を学習したということ。
GPT-3の進展により、自然言語だけでなく、画像や映像などにも影響があるかもしれない。GPT-3の限界としては、「意味理解」はできていないことがある。
記号とパターンの融合
Yoshua Bengio氏は、「システム１のディープラーニングから、システム２のディープラーニングへ」と題する講演を行なった（システム１、２という言葉はダニエル カーネマン氏の『ファスト&スロー』による）。これは、いまのディープラーニングはシステム１なので、システム２の要素が必要。どのように融合するかという議論。
松尾氏の考えるモデルは、動物OS＋言語アプリ。意味を理解するとは、言語によって世界モデルを生み出すこと。条件付きの生成をすること。
特定の言語タスクが特定のアルゴリズムをもたらすと考えられる。任意のアルゴリズムを「実行できる」ことと、それが「学習できる」ことは異なる。人間は学習ベースのチューリングマシーンなので、あるアルゴリズムをインストールするには、それに対応した学習タスクが必要。人間の人間らしい能力は、ほとんどが言語タスク（なんらかのアルゴリズムを学習するための必要なタスク）によって身についている。
ハードウェアとしての人間はほとんど変わっていないが、文明は進歩した。それは教育や文化が変わったから。つまり、脳にインストールするための言語タスクが進化したから、社会的な仕組みが進化したと考えられる。
これから起こるかもしれないこと
脳の仕様が大雑把に説明できるようになると、医療や教育に変化が起こると考えられる。また、自由意志なんてないということがわかると、政治、経済にも影響があるかもしれない。
若者へのメッセージ
やり方がすべて
マリオカートみたいなもの。車の性能のことを言うのは意味がない。
自分はどういう乗り物か、どう操縦するかを考え、工夫する。
自分は弱いと認める
意思なんてものはなく、感情が先に来て、後から合理化している。
自分に言い訳しない。言い訳をすると何でもありになってしまう。
安易にパレード選択に持ち込まない。単なる決意表明になっていないか、そこに至るまでの努力をきちんとやる。
決めたことはきちんとやる。風邪や締め切りもできない理由にはならないはず。
運転手の基本戦略
インプットした努力の量と質が、成果というアウトプットになって、時間遅れで、確率的に現れる。
行動によってパラメータが変化する。
人生の絵を描こうとして、一日一日を送るかどうかで、将来大きな差になって現れる。
講演のなかで紹介されていた本
まつもと ゆきひろさん、藤本 真樹さんの講演のふりかえり↓
松尾先生の以前の講演のレポート↓
〜Fin〜