単語埋め込み表現の語彙知識への意味適応
2023年度研究会推薦博士論文速報
［自然言語処理研究会］
水木 栄
（（株）ホットリンク マネージャ）
■キーワード
自然言語処理／単語の意味／単語埋め込み
【背景】単語の意味をコンピュータ上でどのように表現すればよいか？
【問題】単語間の関係や，同じ単語の異なる意味の使い分けを捉えたい
【貢献】コンピュータが扱いやすい単語埋め込みに，人間が編纂した辞書の情報を統合する方法を提案した
背景
本質的には数字しか扱えないコンピュータ上で単語の意味という抽象的な概念を表現することは，自然言語処理の中核的課題です．単語は文章を構成する基本要素であり，その意味や関係性を正確に捉えることは，ことばを理解する上で重要だからです．同じ単語の異なる意味を特定することはその一例です．たとえば英単語のmouseには”動物のネズミ🐭”と”電子機器のマウス🖱️”のふたつがありますから，”My mouse is broken”という文を正しく翻訳するには，文脈から「ネズミ」と「マウス」を区別する技術が必要です．
問題
近年，ニューラル言語モデルのような深層学習の発展により，大規模な言語データから単語の意味をベクトル形式で表現する「単語埋め込み」が主流となっています（上段の図）．単語埋め込みは，似た文脈で使われる単語には互いに似ているベクトルを割り当てることで，向きの近さで意味の近さを表します．この手法は何百万もの単語を網羅できますが，一方で細かな意味の違いや関連性を十分捉えきれないという課題がありました．
一方で人間は，辞書（語彙知識）を編纂することで単語の意味を定義し，「ネズミはげっ歯類の一種」というように記述することで，意味を緻密に区別し，単語間の関連性を表現しています（中段の図）．しかしながら，辞書の編纂には多大な労力を要します．さらに辞書はそれ自体がことばで書かれているため，コンピュータでうまく活用する方法は自明ではありません．
貢献
本研究では，単語埋め込みと辞書のそれぞれの長所を組み合わせ，単語の意味をより適切に表現する新しい方法を提案しています．具体的には，深層学習で獲得された単語埋め込みのベクトルの向きを，辞書に記載された定義文や単語間の関連性に従って調整・適応させる方法です（下段の図）．この調整により，ベクトル同士の距離が意味的な関連性の有無をより正確に反映するようになります．その結果，同じ単語でも用法が異なる文脈の場合は，異なる向きのベクトルが得られます．
この調整・適応された単語埋め込みを使って実験を行ったところ，従来の単語埋め込みや辞書を単独で用いた場合と比べて，より正確に単語の意味を区別することができました．つまり，深層学習で獲得されたデータと，人手で構築された知識を融合させることで，単語の意味の表現が改善することを実証できました．
本研究の成果は，コンピュータがより的確にことばを理解することに寄与します．深層学習によるAIはたくさんの用例からいわば統計的に単語の意味を獲得するため，AIが知らない・誤って理解している単語はどうしても存在します．本研究のように人間の知識を反映させる方法は，統計的な学習の限界を緩和することに寄与するものと考えています．
■Webサイト／動画／アプリなどのURL
https://s-mizuki-nlp.github.io/ （著者のWebページ）
（2024年6月1日受付）
（2024年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2024年12月
学位種別：博士（工学）
大学：東京工業大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［メディア知能情報領域］自然言語処理研究会
この研究は，単語埋め込みと呼ばれる単語の意味を空間中の点として表す方法に関するものです．単語埋め込みはこれまでことばの研究で構築されてきた単語の概念や意味の関係に関する知見が盛り込まれていないものでしたが，この研究ではその間を取りもってことばの意味の関係を整理し，より正確に扱うことを可能にしました．
研究生活 博士課程の道のりは想像した通りに困難で多大な忍耐と努力を要するものでしたが，自分なりに納得のゆく研究を行い，目標を同じくする研究者だと認めていただくことができました．それ故に，自分自身が満足していることを本当に嬉しく思います．
近年は言語を理解するAIの進歩が著しく，20年前に研究者が思い描いた理想像すらも上回る能力を見せています．こうしたAIが社会に多大な影響を及ぼすことは疑いようもなく，経済的な利害だけでなく，我々人間同士の関係性をも大きく変化させるかもしれません．この技術が社会に有益な形で普及するように私自身も尽力するとともに，これから博士課程に進む方々には，自身の研究を通じて社会に前向きな影響を与えることを目指していただきたいと願っています．