調べたのに、すっかり忘れていたｗｗｗ

これやんかー。

自然言語処理モデル「GPT-3」の紹介 | NTTデータ先端技術株式会社

「GPT-3は2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語モデルの最新版のことです。」

2021年に調べてたわ。2年も前に調べてたけど、自然言語処理っていうほど私の仕事ではやらんので、すっかり忘れてましたわーｗｗｗ　あはは。さいてーーーーｗｗｗ。　60過ぎるとボケますわｗｗｗ

これ、失礼だが、ＮＴＴ本体なら覚えてると思うんだけど、ここは最新ハイテクをやってる子会社なので、あまり知らんのです。
でも、注目企業だから、覚えておかないとだめっすな。

課題です。
理論部があまり2023年現在でも解決できてないので、ChatGPIがこの路線なので、おかしいことを言っている報告があるが、そのまま欠点は引き継いでいるようだ。
別のエンジンが追加でいると思うが・・・。
中のコードまで知らないので、わからない。

「一方、GPT-3には現時点でいくつかの課題が報告されています。本コラムでは、その中から3つの課題を紹介します。

(1) 文章生成と文章の関係性に関する課題

GPT-3で生成する文章は過去の情報を元に単語を並べ、文法的にそれらしい文章を作っていることにすぎないため、長い文章を生成すると、同じ意味の単語を繰り返したり、結論が矛盾した文章を生成してしまうことがあります。また、人間のような常識を持っていないため、社会通念上ふさわしくない文章を作り出すこともあります。さらに、2文間の関係性を比較する能力に課題があります。具体的には、2文の中で使われている単語が同義であるかどうかを比較することや2文の中で一方が他方を暗に意味するかどうかを比較することが苦手です。これは、GPT-3が前の文章にある単語との関係性をパターン学習するというところに起因しており、後ろの単語から前の単語への関係性が問われる問題を解くことが難しいとされています。しかし、この2文間の関係性を理解する能力は自然言語処理分野では難しい課題のひとつと言われています。

(2) 推論における課題

GPT-3は物理現象の推論問題に弱いのではないかという報告があります。有名な事例として「冷蔵庫にチーズを入れて溶けるか？」という質問に対して、GPT-3は正しく回答することができません※6。さらに、人間であれば「意味が分からない」と答えるようなナンセンスな質問に上手く答えられません。例えば「太陽の目はいくつありますか？」という質問に対して、「太陽の目は1つです」と答えてしまいます※7。このように、人間が持つ常識や推論に基づく自然言語理解を実現しようとする試みは、それが実現可能であるか？ということも含めて大きな議論のひとつに挙げられます。また、推論や常識を求められるタスクに対して、テキストと知識ベースを融合させ、深層学習を行うことで人間並みの自然言語理解を獲得しようとするアプローチはトレンドのひとつになっています※8。

(3) 膨大な運用コストの課題

GPT-3の運用に掛かるコストの問題があります。具体的には、GPT-3の土台とのなるインフラ整備コストや膨大なパラメータを使用した事前学習などの運用コストがあり、それらを踏まえると気軽に実運用に踏み切れないのではないかという点が指摘されています。この課題に対しては、今後の事前学習のアルゴリズムの発展により、より小さなコストでGPT-3が利用できるようになる可能性もあります。

以上のように、GPT-3は現時点で課題はあるものの、今後の技術のブレイクスルーによっては、人間並みの自然言語理解に近づき自然言語処理分野に更なる可能性が広がることが期待されます。」