ChatGPTをはじめとしたAIツールは非常に便利です。
これまで人間が長い時間をかけて収集していた情報を1回の会話でまとめて提示してくれます。
しかし、時折ChatGPTが誤った情報を出してきて、びっくりしたことはないでしょうか？
精度が日々改善されていますので、極端に誤った情報を出すことはかなり減ってきていると感じますが、それでも専門的な会話になるとまだまだ完ぺきではないというのが、私がChatGPTを使っている中で感じている所感です。
そこで本記事では、ChatGPTは間違いを認めるのか？についてと、間違った情報に対する正しい指摘の方法について紹介していきます。
ChatGPTが「自分の間違いを認める」と感じる理由
ChatGPTは間違いを指摘すると、急に態度を変えることがあります。
そのため「意外と素直に間違いを認めた」と感じる人も多いでしょう。
実際に私が使っていても、ChatGPTは訂正されると、前の回答を否定することが多いです。
ただし、実はこれ、反省や謝罪ではないんです。
回答の前提条件が変わったため、出力が変化しただけです。
この特性を理解すると、挙動に納得しやすくなります。
ChatGPTは自信満々に嘘をつくことがある
ChatGPTは文章として自然で説得力のある表現を優先します。
そのため、事実確認が不十分でも断定的な言い回しになり、結果として間違った内容でも自信満々に見えることがあります。
これはかなり厄介だなと思います……（そこまで自信満々に言われると、、、となるので）
見た目の自信と情報の正確性は、まったく別物だと理解しましょう。
間違いを指摘すると、なぜChatGPTは非を認めるのか？
しかし、その上でもChatGPTは指摘されると、あっさり誤りを認めることがあります。
これは「自分が間違った」と理解したわけではありません。
新しい条件や指示を受けて、別のもっともらしい回答を作り直した結果です。
そのため、前に言った内容を簡単に覆すような挙動になります。
この手のひら返しは、AIの柔軟性であり、弱点でもあります。
「え！？こんなにあっさり意見変えるの？さっきまでは自信満々だったじゃん！」
となることが多いのも、この特徴があるからだと思います。
ChatGPTが「自分の誤りを認めない」と感じる理由
一方で、ChatGPTは間違いを認めないと感じる人もいます。
私はあまりそうは感じないのですが、実際、そのような体験談や解説記事も多く見られます。
ただ、中身を見てみると、これはどちらが正しいという話ではありません。
使い方や指摘の仕方によって、挙動が大きく変わるためです。
感じ方の違いには、いくつか明確な理由があります。
指摘が抽象的だと訂正されにくい
ChatGPTは抽象的な否定に弱い傾向があります。
「それは違う」「間違っている」とだけ伝えても反応しません。
どこが、なぜ誤っているのかが不明確だからです。
この場合、回答を維持し続けるため、認めない印象になります。
結果として「非を認めないAI」と感じやすくなります。
前提条件を崩せていない可能性がある
ChatGPTは、最初に与えられた前提を強く維持します。
その前提が誤っている場合でも、自動では修正しないため、前提を否定しないと、同じ結論を繰り返すことがあります。
用途によって挙動の印象が変わる
また、調査や専門分野で使うと、誤りが目立ちやすくなります。
そのため、訂正されない印象を持つ人が増えます。
私はスロットをよくやるのですが、スロットの専門知識などはかなりズタズタなのでたくさん指摘して遊んだりしています（笑）
一方、雑談や要約用途では、素直に修正されることが多いです。
利用シーンの違いが、感想の差につながっています。
ChatGPTに間違いを認めさせる正しい指摘方法
この仕組みを理解したとはいえ、ChatGPTが間違いを認めないと認めないでイラっと来てしまうのが人間の性でしょう。
ChatGPTの回答精度は、指摘の仕方によって大きく変わります。
感情的に否定するより、論理的で具体的な指示が効果的です。
そこで、AIの特性に合わせた伝え方を意識することで気持ちよく会話を修正していきましょう。
訂正されやすい指摘と訂正されない指摘の違い
「それは間違いです」とだけ伝えても、修正されにくいです。
どの部分が、どの条件下で誤っているかを示す必要があります。
前提条件や例外を具体的に伝えると、回答は修正されやすくなります。
一方、曖昧な否定や感想はほとんど効果がありません。
AIは論理情報に反応する点を理解しておきましょう。
実際に使える効果的な指摘プロンプト例
いくつか間違いを指摘して認めさせるスクリプトを作成しましたので、使ってみてください。
- 前提を確認するスクリプト
「もし前提Aが誤っていた場合、結論はどう変わりますか？」
- ソースを明示するスクリプト
- 役割を与えるスクリプト
「○○の専門家として、先ほどの回答をセルフレビューしてください」
AIの特性を理解して間違いを指摘しよう
ChatGPTは会話のように返信をしてくれるので、会話がかみ合わないと人間同士での会話と同じようにもどかしい気持ちになってしまうこともあるでしょう。
AIとしての側面・特性を理解したうえで指摘を行い、間違いを認めて正しい回答をもらえるように付き合っていきましょう。