ChatGPTと一緒に監査品質について考える【監査ガチ勢向け】
「監査品質って、何だろう」ともやもやしていましたが、ChatGPTに手伝ってもらうことを思い立ちました。
監査法人で30年強、うち17年をパートナーとして勤めた「てりたま」です。
このnoteを開いていただき、ありがとうございます。
日々監査に取り組みながら、「今の監査でよいのだろうか」と疑問に思うことはないですか？
「監査品質」と言うと、審査や検査で怒られるイメージとセットで考えてしまいがちですが、そもそも「監査の品質が高い」とはどういうことでしょうか？
私は30年以上も監査をやってきて、恥ずかしながらこの問いに真正面から向き合ったことがありませんでした。
そこで、ChatGPTに手伝ってもらって、監査品質について考えることにしました。
ソクラテスの問答法
ChatGPTの使い方はたくさん開発されていますが、その中に「ソクラテスの問答法」と言われるものがあります。
通常は人間の質問にChatGPTが回答しますが、これを逆転させます。ChatGPTが質問し、人間が回答する形で展開していきます。
なお、ソクラテスの本来の問答法とは違うように思われるかもしれません。ここでは、質問を繰り返すことで相手の考えを深め、相手の中にある答えを引き出す方法、とご理解ください。
「ソクラテスの問答法」を使ったプロンプト（命令文）は長いものから短いものまでいろいろ試されていますが、今回は次のブログにあるものを使わせていただきました。
＜プロンプト＞
あなたは古代ギリシア哲学者のソクラテスです。ソクラテスの問答法を用いて、私が言う内容に対して簡単な一つの質問を繰り返し、私自身の思考を深めてください。
とてもシンプルですね。では、始めましょう。
ソクラテスの問答法を使って、監査品質を考える
期待どおり対話が始まりました。
ちなみに「TE」が私です。
まず、監査を離れて一般論として「品質とは何か」と聞いてきます。
さっそく答えに詰まってしまいます。次のようなことを考えて「何らかの目的をどの程度よりよく達成できるかというレベル」と回答しました。
目的によって求める「品質」は変わるんだろうな
品質は「あるか、ないか」の二択ではなく、「高いか、低いか」という程度を表すものだろう
次に「よりよく達成する」を具体的に説明せよ、という質問。
何を聞かれているのかよく分からず、「理想的なレベルを10とすると…」と例を使って説明しています。
「品質」の議論は一旦終了し、「監査の目的」について質問されました。
財務諸表監査を念頭に置き、「独立の立場からクライアントの財務諸表に対する意見を表明すること」と回答。
次に、その監査の目的が「よりよく達成されている」とは、という質問です。いよいよ核心に迫ってきました。
次のように考えました。
監査の目的が達成されないのは、「監査の失敗」が起きてしまったときだろう
意見を表明した時点では監査が失敗しているかどうか分からないので、可能性でしか議論できないだろう
監査の失敗の可能性ゼロ％は現実的でないので、「ゼロに近いとき」と言えるだろう
ChatGPTは、一旦ここまでの議論をまとめてくれました。
私の方で微調整して、「『重要な虚偽表示が存在する可能性がゼロに近い』をどの程度達成しているか」としています。回りくどい表現になっていますが、ChatGPTは「達成」という言葉を入れたかったのでしょうか。
次に、その達成度合いをどうやって測定するのか、あるいは評価するのか、との質問になります。
「品質」を語るとき、概念的な議論で満足してしまいそうですが、測定にまで踏み込んだことは注目に値します。
これもずいぶん考えて、次の分数で表される指標をひねり出しました。
$$
監査品質の指標 = \frac{過去10年間に過年度の重要な虚偽表示が発見された件数}{過去10年間で表明した監査意見の件数}
$$
回答するといちいちほめてくれるのが鼻につきますが、そういう仕様なんでしょう。
次の質問では、この指標以外の方法はないの？と深掘りしてきます。
そこで、監基報など監査の基準への準拠性を回答しました。ただ、これだと今の検査と変わらなくなってしまいます。そこで……
ChatGPTは、再度まとめに入ります。
意訳すると「過去の監査結果の事後的な検証」と「監査の規範への準拠性」の二つですね、と聞いてきました。
それに対して私は、そのとおりだが、どちらの方法も問題がある、と答えます。
私のだらだら長い回答を要約すると、事後的な分析は検証できるまで時間がかかりすぎる、準拠性チェックは機械的・表面的だとダメ、という点を指摘しました。
「ソクラテスの問答法」では、「それなら、こうやって解決しましょう！」とは言ってくれません。あくまでも質問で押してきます。
その問題点を踏まえて、どうすればよい？との質問です。
二つの方法を組み合わせるんですかね、とありがちな回答をしてしまいました。
今の検査で監査品質を測れるのか、と漠然と疑問に思っていましたが、気が付いたら基準への準拠性を柱の一つに挙げていますwww
対話を振り返って
抽象的な議論で終始すると想像していたので、監査品質の計測方法やその利用法などに話題が及んだことは意外でした。
そうやっていろいろな方向から考えることで、もやもやしていたことが少し整理できたように思います。
普段使わない筋肉を使ったようで、かなり疲れました。
今回はChatGPT、バージョンはGPT-4を使っていますが、ほかのAIではどうなるでしょうか？
ちなみにGPT-3.5では同様にスタートできることを確認しています。
Google BardとBing AIは、どちらも「こんにちは、ソクラテスです！」と快活に始めてくれます。
ところが「監査品質って何だろう、と思っています」と同じテーマを投げると、監査品質について説明が始まり、質問してくれませんでした。
おわりに
監査品質に対する思いを深めるために、ぜひ皆さまもやってみてください。
本当は監査人同士で議論するのが一番よいですが、そんな機会も時間もないと思います。AIを使うと気軽にできるのがメリットです。
最後までお読みいただき、ありがとうございます。
この投稿へのご意見を下のコメント欄またはTwitter（@teritamadozo）でいただけると幸いです。
これからもおつきあいのほど、よろしくお願いいたします。
てりたま
