混合混触危険性を大規模言語モデルで予測する：研究計画と目標
こちらの続きとなります。化学業界に身を置く人にとって避けては通れない、混合混触危険性判定という作業。入力形式が多様（例：純物質、混合物、無機物、有機物、低分子、高分子、粉体、バルク…）であり、かつ未知の組合せを多く含む化学物質の混合混触に対して、危険性を事前に予測しうる汎用的な技術はどのようなものだろうか？というお話でした。
着想ー大規模言語モデルによる物性予測
このような文脈の中、前回の最後に、東工大の畠山先生による「大規模言語モデルによる化学物性の予測」について記事を紹介いたしました。同予測手法のアルゴリズムを大まかに示すと以下のようになります。
物質名（SMILES）と物性値（ここでは融点）が紐付いたデータセットを用意する
物質の構造（Q）から物性値（A）に至る論理（R）を、GPT-4によって生成する
Q、A、Rが紐づいたデータセットを、公知の大規模言語モデル（例：llama 2-7B）に追加学習させる（LoRA）
未知の物質（Q）に対するAとRを、追加学習した大規模言語モデルに生成させる（予測）
大規模言語モデルに親しんでいない（私を含む）大半の人類にとって、聞き覚えのない単語や考え方が出てきました。これらについては後々、私の理解しうる範囲内においてかみ砕いた補足を行います。ひとまずここで注目してほしいポイントは以下の3つです。
物性を予測するのに、大規模言語モデルを使う
化学物質の入力は何でも構わない（入力先は大規模言語モデルなので）
物性予測に際して、予測の根拠を考えさせると精度が上がる
前回の記事にも紹介したとおり、一般的な機械学習モデルによる物性予測においては、目的変数yと説明変数xの関数y = f(x)を行列演算（中身は様々）によって求めます。従って、説明変数xをどのようにベクトル化するか、つまりどのような記述子を用いるかという点が一意に決まらないと、予測モデルを構築することが困難となるというお話でした。しかし、畠山先生が示した物性予測アルゴリズムにおいては、予測モデル自体が大規模言語モデルとなるために、説明変数xに求められる条件は「言語であること」のみです。
さらにもう一つの魅力は、「理由を考えさせると精度が上がる」という点です。混合混触危険性の予測においては、危険性それ自体もさることながら、いったいどうしてこれらの化学物質を混ぜたら危険なのかという機構の表示も実務上きわめて重要となります。といいますのも、前回紹介したCRWに代表される混合混触危険性の予測ツールというのは、結果をそのまま信用するという使い方ではなく、結果を「参考にして」人間が危険性を判断する（好ましくは、特にリスクの高い化学物質についてはごく小規模な実験により確認する）というのが王道であるからです。従って、危険性の予測結果だけではなく、予測に至った根拠まで提示してくれるというシステムは、混合混触危険性予測にかなり向いているのではないか、と考えました。
Metals, Elemental and Powder, Active WITH Alkynes, with Acetylenic Hydrogen:
Acetylenic compounds with replaceable acetylenic ally bound hydrogen atoms must be kept out of contact with copper, silver, magnesium, mercury, or alloys containing them, to avoid formation of explosive metal acetylides (Chemical Intermediates 1972 Catalogue, 158, Tamaqua (Pa.), Air Products and Chemicals Inc., 1972; Dangerous Substances: Guidance on Fires and Spillages, London, HMSO, 1972, Sect. 1, p. 27).
研究目標と検討項目
今回の研究における目標は「大規模言語モデルを用いた物性予測手法が混合混触危険性予測にも適用可能であることを示す」というものです。この目標をより具体的な検討項目に直すと、以下の3点を確認することと言い換えられます。
大規模言語モデル（GPT-3.5）に理由を生成させることにより、混合混触危険性の予測精度が向上することを示す
公知の大規模言語モデル（llama 2-7b）に上記のデータを追加学習させ、軽量なモデルでも混合混触危険性を予測できることを示す
生成した理由の妥当性についても検証する
なお、私は今回の研究目標を「実用レベルの混合混触危険性予測モデルを作る」という所にはおきませんでした。これには理由がありまして、畠山先生の研究結果を見る限り、物性予測において例えば95%とか99%の精度を得るには（まだ）至っていません（そもそも融点の傾向を大規模言語モデルで予測できるという時点で割とすごいことだと思っているのですが）。一方で混合混触危険性予測は安全にかかる分野である以上、何をどの程度どこまで保障したら実用レベルか、という点についてはそれこそ自動運転のレベル3にも似た沼が存在します。そこに不用意に足を踏み入れてしまうと技術論が全くできなくなってしまうので、少なくとも今回の検討においては目標から一旦※除外しておこう、という考えです。
※とはいえこれはあくまで一旦であって、私個人としては大規模言語モデルによる混合混触危険性予測ツールの開発自体を否定する気持ちは更々ございません。まどろっこしくて申し訳ないのですが、実際のところこれくらい二転三転した語り口にならざるを得ないぐらい、安全工学の分野は沼なんです。そして沼があるからこその安全でもあると私は考えています。
次回予告
研究のアプローチと目標、検討項目について紹介いたしました。次回からは、各検討項目について具体的な解析結果や検討にまつわる四方山話をしていきたいと思います。