ChatGPTの脅威に対抗する言語モデルをつくる

現在、クラウドファンディングの準備をしていて、表題の内容で起草して審査中なのですが、こちらの方にも一部転載しようかと思います。しばらくしたら一般に無料公開される内容となりますが、時は金ですし、早く読みたい方のために有料記事とします。
以下、転載です。

SNSで色々な人が職を失うと煽られているOpenAIについて脅威に感じている人も多いのではないでしょうか。私はAIではなく数学的な知見を活かした言語モデルでその脅威に対抗することを考えてます。

はじめに・ご挨拶

古今和歌集の「やまとうたは、人の心を種として、よろづの言の葉とぞなれりける。」は私の好きな句です。古代より言葉というのは私たちの思考を表す手段、思考を補助する手段、思考を伝達する手段、思考を実現する手段として成り立ってきました。言葉の語源は言の葉ですが、一人ひとりが異なる心を持っており、それを種にして多くの葉っぱを生み出す様を言の葉と表現したのでした。

私たちのあらゆる活動は言葉を通じて解釈されるので、言葉とは基底ベクトルのようなものであり、その基底ベクトルが空間を構成するため、言葉によって私たちの行動が制約を受けたり、行動が活性化したりするものであるともいえます。使う言葉が変われば思考も行動も変わります。また、言の葉という言葉が示すように、言葉がそれぞれ持つ意味合いが、人それぞれによって異なります。和色というものがありますが、和色がものに因む命名が多いように、例えば、色とりどりの贈り物や服装などがさまざまなメッセージを発して、それぞれが人によって別々のストーリーをみせてくれます。このような人によって言葉のベクトルの微妙なニュアンスの違いによりさまざまな機微を感じさまざまな世界観が生じて、文化を豊かにしてきたところがあります。ある種、そういった、人の内面のコンテキスト、人と人との間のコンテキストが、人の内面や、人間社会というものを形成し世界を形作ってきたようなところがあります。

さまざまな職人の人たちがさまざまなコンテキストで思いを込めて作ったものが、何かの部品であったり、贈り物だったり、インフラになったりして、社会に蓄積され、そして役割を終えれば消滅したり、改良されたりして、社会が発展していったところがあります。過去の属人的だった職人芸は、段々と大量生産大量消費の文脈で、より組織的になり、より個性が失われてきたようなところがあります。このように一旦は社会から個性より経済効率性優先で組織の命令に対して歯車のように働くことがよしとされた一方で、同じようにコモディティ化した市場が少しづつ縮小し悩まされている面もあります。そういった悩みを解決するために、さまざまな形にカスタマイズ可能な多様なコンポーネントをより属人的なコンテキストで再編することを２０１０年に「個人の時代」と命名したものでした。当時はより職人的な「個人の社会」を志向したものでしたが、ソーシャルでは、悪目立ち、中身より見た目、良いコンテンツよりSEO対策いう風潮が強かったように思います。余談ですが、この時に「個人の時代」のロールモデルとして紹介したASTYさんは後の和楽器バンドとなります。また、この時は、教育における革命というサブスクリプションビジネスでソフトウエアにおける革命というものをお医者さんたちと試作して総務省のオンライン医療の案件を取ろうとしていた時期でしたが、技術的な課題のみならず、法規制などさまざまな障害をどのように克服するのか、という文脈での話でもありました。

http://blog.livedoor.jp/utsuroiyuku/archives/1603349.html

2012年にABCI (ABC Inverse)という「自然言語や数式やプログラミング言語やSQLなど、それは、さまざまな言葉を使って、多くのことを実現しよう」というコンセプトで設計したアーキテクチャがあります。

https://web.archive.org/web/20150215230344/http://tea-module.com/

私の住んでいる我孫子市はABCI(ABiCoCi)、ABCをInverseすると千葉(CiBA)になりますが、この命名が表すように、私の会社の本社は、今、千葉県の我孫子市にあります。ABCIは、Context based architecture、Command based architecture、Component based architecture というコンセプトで作ったアーキテクチャで、私たちは、多くの文脈(context)を、様々なインフラ化されたコンポーネント群(component)の上で、さまざまな指令(command)を出すことで動かしていますが、それぞれが独立して稼働することを志向したアーキテクチャとなります。

ABCの語源はラテン語ですが、ラテン語にはロマンス諸語、ゲルマン語派、スラヴ語派、バルト語派、ケルト語派、ウラル語族など多数の言語への派生があります。日本語は言の葉という情緒性の強い属人的なコンテキストの強い言語体系である一方で、ABC言語圏は意味の曖昧性が低く伝達性が強い言語で、しかし文化圏ごとに言語が分化しているという、共通性と違いの特徴が興味深いと考えていました。大きな文化的な背景の違いとして、一神教と多神教の違いがあります。ある種、社会というのは現実で動くものなので、アプローチが異なっても同じようなものが違う顔をして姿をみせているようなところがあります。社会の言語や社会のルールが現実の人生を直接的に助けるものでなければ内なる言葉や自身がそれを補完しなければなりません。

ラテン語から分化した英語も伝達性の面から不便なので、より伝達性に特化して単純化したエスペラント語をつくろうという動きもありましたが、言語の伝達性を抽出して共通項を選んだエスペラント語はあまり普及しませんでした。結局、英語の方が国際標準となり、さらにいえば、国際的な交易の流通や情報の行き来を大幅に強化したのは英語よりもWebフォームやWeb上の検索性であるセマンティックの方でした。

さて、このABCIプロジェクトでは、同型写像SQL技術、プログラム言語間交換技術、プログラムコード生成技術、数値計算技術、ブラウザ技術、web 系の基盤技術、ノート機能、ソーシャル機能、オンプレミス管理技術、分散ハッシュ型ファイルノード、ディスクのタイムマシンなどさまざまな技術開発をしていました。人工知能の領域でよく知られた、神託機械(oracle machine)というものがありますが、こちらがあらゆる可能性を知る全知全能の神が答えを教えてくれるという思想性の機械だとすれば、ABCIは言語とは目的やコンテキストにより分化するものであり、また、疑問を持ち命題を決めるのは人間の方である、また、言語は絶対的な真理ではなく交換性で成り立つものである、という思想性で考えられたアーキテクチャとなります。神託機械が一神教的な文脈で英語文化圏で考えられたものだとすれば、ABCIは多神教的な文脈で日本語文化圏で考えられたものということになります。残念ながら当時の多くの資料はその後ABCIという商標が取られた関係上、公式に公開することはできませんが、現在、いくつかのプロジェクトに分化した形で開発は続いています。