もっともらしい嘘「ハルシネーション」

生成AIは、あたかも事実であるかのように、もっともらしい嘘を出力することがあります。この現象を「ハルシネーション（幻覚）」と呼びます。

AIは言葉を理解して考えているのではなく、統計的に次に繋がる確率の高い、もっともらしい文字を並べて文章を作っています。そのため、学習データにない事柄や、あいまいな質問に対して、事実とは異なる情報を「いかにも本物らしく」作り出してしまう性質があるのです。

この嘘を信じて実務でそのまま使ってしまうと、大きなトラブルに発展します。実際に海外の航空会社（エア・カナダ）の顧客対応チャットボットが、割引制度について誤った案内をした結果、裁判で「過失による不実表示」と認定され、ユーザーへ補償金の支払いを命じられる判決が下されました。

取引先への回答や社外向け資料にAIの出力をそのまま使うことは、企業の信用を失う大きなリスクになります。AIの出した回答は「必ず間違っているかもしれない」という前提に立ち、人間が必ず一次情報と照らし合わせてファクトチェックを行う体制（Human-in-the-Loop）を徹底することが重要です。