見出し画像

AIを活用して海外論文を日本語要約してみた

虎の穴ラボnote

📝 PICK UP！

職種に関わらずフルリモート実施中、詳しくは下の『採用情報』からチェック✅

はじめに

こんにちは！Fantiaマーケターの3号です。

突然ですが、こんなふうに思ったことはありませんか？
「この分野について、日本語じゃなくて海外の反応も知りたいな〜！」

ニュース記事や本のレビューなど、日本語ではない文章で情報収集したいと思ったことがある方は多いのではないでしょうか？

そして「できれば要約された文章で読みたい！」という方も多いのでは？

Google翻訳やDeepLの力を借りれば文章を丸ごと翻訳してもらえますが、人間、今北産業したいというもの(あっ古い！)

ということで今回はAIの力を借りて、
外国語で書かれた文章をAIに日本語訳、そして要約してもらい、
ある程度内容が掴めるかどうかの実験をしたいと思います！


検証内容

検証①「日本語の論文の要約を作る」
検証②「海外論文の要約を作ってもらう」

なぜ論文を対象に？

論文には「抄録」と呼ばれる、いわば公式要約文があります。正解が用意されており、十分な比較対象になるため論文を対象にしました。

なお要約文については著作権の観点から伏せさせていただきます…！
（論文だし、正しい手法で引用するならよいのでは？と思うのですが、研究目的のnoteでもないので…。）

検証①「日本語の論文の要約を作る」

お借りした論文はこちら。近年のマーケティングで注目される「心理的所有感」について論じています。

マーケティングにおける心理的所有感の研究― 近年の研究のレビューを中心に ―
https://www.jstage.jst.go.jp/article/marketing/43/1/43_2023.033/_article/-char/ja/
菅野 佐織(2023)

手順

まずはChatGPTの要約の能力を見るべく、日本語の論文を要約したいと思います。

  1. 日本語の論文を探す

  2. 論文を、抄録は除いてAIに読み込ませて、要約を作る

  3. 要約から論文の内容を読み取れるか確認する

  4. 元の論文の抄録と比べて、齟齬や抜け漏れを確認する

プロンプト

論文の要約を作っていただきたいです。本文をコピペします。1000字以内に要約してください。

結果

379字の要約ができました！
論文全文を読んだうえでの私の主観ですが、論文の内容がざっくりわかる程度の仕上がりでした。

感想

プロンプトで1000文字以内と指定しましたが、400字に収めてくれました。論文に記載されている抄録も400字以内だったため、ChatGPTは指定せずとも「論文の要約は400字程度」と認識しているのかもしれません。

また今回すこし意地悪をして、謝辞や引用文献も含めてコピペしました。ちゃんとスルーしていて偉い！

ひとつ気になった部分が「ChatGPTは読み手のパーソナリティをあまり意識していない気がする」という点です。

本文との違いとして、AI要約は「そもそも心理的所有感とは何か？」がありませんでした。
「心理的所有感について〇〇の例を用いて記載してあります〜」みたいな要約ですね。
とはいえこの論文が何について書かれているか？が理解できる程度です。

これなら海外論文でも問題ないのでは！ということで検証②に移ります。

検証②「海外論文の抄録を作ってもらう」

お借りした論文はこちら。スターバックスのオーストラリア進出、撤退を例に、マーケティングのローカライズについて論じています。

How the local competition defeated a global brand: The case of Starbucks
https://www.sciencedirect.com/science/article/abs/pii/S1441358209000949
Paul G. Patterson(2009)

手順

  1. 英語の論文をすべて日本語に翻訳してもらう

  2. 翻訳してもらった文章を要約してもらう

プロンプト

手順1：以下の英文を日本語訳してください。
手順2：今まで日本語訳した内容を要約してください

結果

190字の要約になりました。
かなり粗い粒度での要約で、「どうしてそうなった？」の部分が削られています。

手順1の段階で文章を読んでいたので、こちらの要約ではちょっと不十分だな…と感じられました。というわけで追加で調べてみます！

追加

  1. 論文に書かれている抄録をChatGPTに日本語訳してもらう

  2. 論文に書かれている抄録をDeepLに日本語訳してもらう

結果

ChatGPTの日本語訳

  • 474字

  • 要約が「ですます調」になっている

  • 日本語で誤解を招きそうな表現がある

ChatGPTでの要約の一部に「スターバックスの驚くべき成長と拡大が、グローバルな規模とオーストラリア内でまとめられます。」とあります。

ですがこちらの論文は「グローバルな規模ではこれまで成長拡大してきたが、オーストラリア内ではそうではない」という内容です。

要約では、オーストラリア内でも成長拡大しているようにもとれます。

DeepLの日本語訳

  • 422字

  • だ、である調

  • 齟齬のない文章になっている

ChatGPTと比較したとき、こちらのほうが読みやすい文章になっていました。上記で見られたような齟齬もありませんでした。

感想

ただ単純に要約を依頼したことが問題点の気がしますが、文字数にかなり違いが出ました。
翻訳→要約と2回ステップを経ることで、元の文章の正確性が失われていると感じます。伝言ゲームですね。

あたりまえかもしれないですが、ものすごいスピードで日本語訳ができていて感動しました！すごい！

おわりに

実際にChatGPTに論文を要約してもらえるか？

できるできないで言えば「できる」です。

ですが粒度については原文の抄録をDeepLなど翻訳専門のツールに任せたほうが安心、との結論に至りました。

また当然ですが、こんなことをしている以上、私は英語が読めません。
翻訳、あるいは要約された内容が正しいか？というチェックができません。

意図せず何かしらの思想が含まれている可能性もあるという前提が必要と感じました。（少し前にアニメの翻訳で話題になりましたね）

一番大変だったこと

一番大変だったことは「論文を探すこと」でした。（そういえば学生時代も探し方の勉強から始めたなと思い出しました…）

海外論文はGoogleScholarで「Marketing」と検索しました。
ですが、これは本当にマーケティングについて書かれた論文なのか？を見つけるのに時間がかかり…。
マーケティングとタイトルに書かれた論文に出会っても、アクセスする方法がわからなかったり…。

この点ではブラウザごと翻訳されるGoogle翻訳等のサービスに軍配が上がると感じました。

とはいえ、趣味の範囲内でリサーチするには十分だと思います！
AIを活用して、効率的に情報収集ができればと感じました。

採用情報

とらラボは現在積極的に採用活動を行っております。カジュアル面談やオンライン説明会、エンジニア向けイベントも積極的に開催中です。

少しでも興味をもっていただけた方はぜひ採用情報をご覧ください！

この記事が参加している募集

#AIとやってみた

43,954件