AIのために言語学に何ができるか2024
約束通り（約束はしていない）、また1年ぶりの更新となってしまったnoteです。今回はまじめな記事です（いつもまじめです）。去年にひきつづきAdvent Calendarへの参加です！
さて、早速ですが、なんでこのお題かというと、2021年の初回の言語学フェスで、「しゃべる機械を作るために言語学に何ができるか」という話をしたという経緯があります（ポスターPDFだよ）。結論としてはよくわからないという感じでした。「よくわからない」という内容を発表してもよいところが言語学フェスの良いところです。次回のフェスも発表募集中なのでおすすめです。
あれから4年弱が経ち、多少は回答イメージが湧いてきたという気がするので、今回アンサーソング（とは？）を書こうという気持ちになったのです。しかし、内容は相変わらずかなりぼやっとしてる気もします。覚悟してください。
なんでそんなことを考えているの？
「AIのために言語学に何ができるか」をなぜ考えているかというと、実際、言語学のバックグラウンドを持ちながら、AIの仕事に関わっているからです（わかりやすい）。
もちろん、別にAIのために言語学が何かする必要は一般的にはありません。言語gacktは、言語学がAIに役立つなら役立つで結構だが、特にそこに関心を持ってやっているわけではないという人のほうが多いでしょう（あるいはAIの発展は有害／脅威であるという見方もあるでしょう）（というのは言語gackt的には言うまでもないと思うんですけど、工学側では逆に工学の役に立たない言語学は無価値みたいな語り方がされ、違和感を感じるときがあります）。どっちにしても、この文章では言語学をAIに役立てたいんだということは一応前提です。私の都合です。
また、言語学がAIに役立つといっても内容はいろいろです。少数言語や古典などを対象にする場合、リソースの整備や問題の発見などで専門家のドメイン知識が生きる場面が多く、人文系とAI研究者とのポジティブな協働関係を築きやすいのではないかと思っています。あまり詳しくフォローできてはいないのですが、日本でもくずし字認識や方言対話システムなど、さまざまな研究が成果をあげていますし、他にもさまざまな取り組みがあると思います（このアドベントカレンダーでも続々そんな話題が出てくる予感がします）。
上のような例は逆に、AIが言語学に役立つとも言えると思いますが、そういう意味で言うと、少数言語や古典でなくても、さまざまな場面でAIが言語学に役立っています。いまどきのAIでなくても形態素解析などが役立ってきたのはもちろんですし、最近だとたとえば埋め込み表現で通時的な意味変化が検出できるとか、そういった研究もありますし、より一般的に、大規模言語モデルは人間の言語能力のモデルになるのか、といった議論も盛んですね。
がしかし、今回話したいのはそういった話題ではなく、今いわゆるChatGPTのようなAIサービスを日本語や英語のような大言語で開発したいときに、言語学が役立つか、ということです。
言語学が役立ちそうで役立たない！
よく知られているとおり、今流行りのAIはひたすら大量のデータを投入し、学習させることで成り立っています。いわゆる第一次・第二次のAIブームはルールベースでしたから、言語gacktが書いた文法や辞書を使うという余地が多くありました（その時代を見てませんが、そういう認識です）。しかし今流行りのAIはそういったものをほとんど使わずに実現しています。Fred Jelinekのかなり昔の有名なquoteで既に以下のように言われちゃってるように、時代を経るごとに言語学の必要性は低下してきたというのが、おおまかな認識です（このドメイン知識の価値喪失というのは言語だけのことではなく、また、言語学側から見ると工学側が一枚岩に見えるかもしれないけど、実際には、工学系の内部でも、深層学習が出現したことによって自然言語処理分野のドメイン知識の価値が下がる、というのも起こってるんですよね）。
Every time I fire a linguist, the performance of our speech recognition system goes up.
たとえば、明示的に（工学風に言うと「陽に」）統語構造を与えるというようなことは、とくに深層学習以降、あまり行われなくなりました（もちろん、陽に統語構造を扱う研究がなくなったわけではないのですが、主要なAIサービスなどでは実用上は使われていないというのが現状でしょう）。形態素解析はまだわりと使われているかと思いますが、それも役割としては日本語の分かち書きをして英語と同じ出発点に立つためだけ、くらいの感じになっている気がします。品詞情報とかも使わないのが普通かと思います。
では、AI開発の現場ではぜんぜん言語のことを考えず、ひたすら数理とプログラミングだけみたいな感じかというと、そんなことはなく、言語のことはめちゃくちゃ考えます。困るのは、めちゃくちゃ言語のことを考えるのに、言語学が役立つという感触が得られないということなんです。
たとえば、昔からある応用タスクとして感情分析 (sentiment analysis) というのがあります。一番単純には、たとえば商品のレビューをもってきて、それがポジティブかネガティブかを当てる、というようなタスクです。
ルールで当てる、ということを考えてもいいし、機械学習で当てる、ということを考えてもいいです。前者の場合は直接、ポジティブさを表すような言語表現とは何だろうか、ということを考えることになります。後者の機械学習なら何も考えなくていいかというとそうではなく、元となるデータをどのように収集すべきか、またそれに対して例えば人手でポジ／ネガのようなラベルを付けるとして、どういう基準で付ければいいのか、こういう場合は判断に迷うんだけどどうすればいいのか、といったことを考えます。めっちゃ言語のことを考えます。
LLMの時代になって、よく出てくる個別タスクの種類は変わってきたかもしれませんが、この構図は変わってません。例えばAIが問題発言をしないよう出力をフィルタしましょうとなったとします。上に挙げた感情分析の例と、やらなければいけないことはさほど変わりません。言語表現の中に、「それを言っちゃまずい」というものと、そうでないものがあり、見分ける必要があるわけです。どうするか？
そのための言語学、ないですよね。いや、あるかもという話が下にあるのですが、少なくとも私が受けてきたような言語学のカリキュラムのなかにあるどんな材料が使えるのかまるで謎でした。山盛りの言語データにめちゃくちゃ対峙してるにもかかわらず、言語学の専門知をどう生かせばいいのかさっぱりわからない。これは何だ、という苦しさがありました。
機能からの言語学でAIに立ち向かう
このあたりのスッキリしなさを言語化するのに役立ったのが、この本です。
この本はハリデーの選択体系機能言語学をベースに、言語学がAIに役立つということを積極的に押し出している本です。基本的にユーザの視点に立ってプロンプトエンジニアリングの話をしているのですが、これを読んで思ったのは、プロンプトエンジニアリングに限らず、言語学がAIに役立ちそうで役立たないという感覚を私が抱いてしまうのは、自分が記号から出発する発想しかできないからだな、と。
つまり、次のようなことです。言語学の研究はしばしば、（ソシュール的な）記号を研究テーマにしています。というのは、要するに、具体的な単語（ないし形態素なり構文なり）をテーマにしているという意味です。つまり、接尾辞の「-み」についてとか、二重目的語構文についてとか、マダガスカル語の関係節についてとかです。
ですが、この一見あたりまえの記号からの言語学にはAIの現場で出番が（あまり）ないということに気付きました。なぜかというと、特定の記号だけを取り上げて、それをどうにかしたい、という場面がないからです。AIで実現したいのはいつも機能であって、潜在的にその機能の実現にかかわるかもしれないすべての記号を扱う必要があるからです。
例えば、素朴な例を出すと、依頼は命令文でもできるし、疑問文でもできるし、コンテクストによっては目線とアゴを動かすだけでもできる。テーブルの上の醤油瓶を指すのには、醤油という名詞を使ってもいいし、代名詞でもいいかもしれないし、やっぱり目線とアゴだけでもできるかもしれない。ほしいのは、「命令文の用法はこうで、疑問文の用法はこう。一般名詞の用法はこうで、代名詞の用法はこう」というような記号ごとの記述ではなく、やりたいことのオントロジー？と、そのために利用可能な手段の記述です。
ハリデーにかぎらず、研究のターゲットとして記号ではなく機能から出発する言語学は、ないわけではないです。具体的な研究テーマの例で言えば、方向の表し方についてとか、皮肉についてとか、謝罪のストラテジーについてとかです。これはしかし、基本的にハードル高い気がします。ぼくみたいなタイプの言語gacktは記号への偏愛でできていて、関心をもっている記号が出てきたら「出た！」となりますが、機能というのは曖昧でアンテナに引っかかりません。コーパスから皮肉の箇所を検索したりもできません。選択体系機能言語学も社会学や人類学の影響が強いとされているので、たぶん基本的なところで、言語自体へのフェティシズム（？）ではなく、人間が言語を使って何をやるかに興味があるというのがあるんでしょう。
そんなこんなで、問題の所在が言語化（「今年の新語」2024大賞おめ！）（言語化言うの、この記事内で2回目だけど）できてきた気はするんですが、具体的にこれで個別の問題を解くツールが手に入ったかというと、あまりそういう感じはしません。ダメじゃん。機能の体系という茫洋としたものを頑張って書いたとして実用的なものになるのか、というと、あまりそうは信じられないというか…。えっそれ結局ダメじゃない？いや、これは単に不勉強なのかもしれません。すみません。模索は続きます…。
AIはともかく、機能からの言語学をやりたいね
AIから脱線するのですが、これは私がもともと持ってた言語観に近い話だよな（実際そんな実践ができているかは別として）、と思うところがあります。発話が生まれるときには発話が生まれるより前にまずやりたいことがあり、その目的のためになるべく使い勝手がいい記号を使い回している、という言語観です。記号の体系はその使い回しを繰り返した副作用だということです。使い勝手がいいというのは、記憶に新しくて思い出しやすいとか、発音がラクとかです。記号の意味（とは？）ももちろん関係しますが、それはそのコンテクストにおいて言いたいことが伝わる（とは？）のに十分な意味（とは？）が供給されればよいので（とは？が多すぎでしょ）、まず文字通りの意味が計算されるという話ではないし、あるいはその記号が選択されたことが解釈を反映している、という話でもない、という考え方です。ちょっと端折りすぎか。すごいツッコミどころがありそうな話ですね。こわい。こういう言語学をきちんと組み立てたいと思っているのですが…。
それと今回の話について考えていてもう一つ思ったのは、このような記号からの言語学vs.機能からの言語学という対比は、あらためて考えてみるといろいろなところにあるなと。たとえば日本語教育ではシラバスの組み立て方として、「文型シラバス」vs.「can-doシラバス」のような言い方がされていますが、これはおそらくかなり近い話ですよね。また、このような話をあるフィールド言語学者にしたところスッと通じて、記述文法を書くときにも、記号の体系ではなく機能の体系を書いたほうがいい場面があるよねという話になりました。なので、いかにも新鮮な視点ですみたいに書いてますが、あちこちに当たり前にある話なのかもしれません。
なお、「機能からの言語学」って変な言い方をしていますが、ふつうに「機能言語学」と言ってしまうと、フォーマリズムを重視しない言語学の総称みたいになっちゃってる面もあり、機能言語学でもここでいう「記号からの言語学」をやってることも多いんじゃないかと思います。なのであえて変な言い方をしています。
もうおわるよ
そんなわけで、いろいろな分野に関わると、視野が狭かったなと思うことが多いです。選択体系機能言語学だって名前自体はずっと前から知ってたんですが、まったくピンとこないままぼけっと過ごしてきてしまいました。とにかく、言語を扱う視点は多様で、「言語学」という枠組みの時点で、言語を扱う視点のうちごく特殊なものでしかないし、さらに自分がよくわかっている種類の「言語学」はその中でもさらにごく一部です。言語学徒の看板でもってAIに関わると、文系っぽいタスクが全部無茶振りされるという感じもあるんですが、むしろそれを奇貨として広く勉強していきたいです。
今回はさらっとした記事にしようとしたのに、明らかにヘビーな話題を選んでしまいました。もっとなにか別の媒体に書くといい気もするんですが、別の媒体ってなんだろう。感想いただけると、うれしいです。
選択体系機能言語学の本
おまけです。この理論は今回考えるきっかけになったものの全くの素人であり、正確に紹介できるスキルはないのですが、本としてはこれがわかりやすいなと思いました（品切れですが…）。
分厚いこの本も手元にあるのですが、ほとんど読めていません（苦）。
ではまたー。