生成AIの「ハルシネーション」とは？業務で使うときの確認のしかた

「AI事業者ガイドライン」の別添は、ハルシネーションを、生成AIが事実と異なることをもっともらしく回答する現象として説明しています。IPAの解説書も、対話型のAIが架空の情報をあたかも事実のように作り、利用者に示すことがあるとしています。

米国国立標準技術研究所が2024年7月に公表した生成AIのリスク管理の文書（AI 600-1）は、この現象を「confabulation」と呼び、自信をもって示される誤った内容や虚偽の内容と説明しています。俗に「ハルシネーション」とも呼ばれるとしたうえで、指示や入力した内容からずれた出力や、同じやり取りの中で前の回答と矛盾する出力も含むとしています。

同じ文書によると、confabulation は生成AIの作られ方から自然に生じるものです。生成AIは、学習したデータの統計的な傾向に近い出力を作るように設計されています。たとえば大規模言語モデルは、文の次に来る単語を予測して文章を作ります。この仕組みは正確な文章も生み出しますが、事実と異なる文章や、前後で矛盾する文章を生み出すこともあります。長い回答を求める自由な質問や、専門的な知識が必要な分野では、特に注意が必要だとしています。

個人情報保護委員会の注意喚起（2023年6月）も、生成AIの応答は確率的な相関関係にもとづいて作られるため、不正確な内容の個人情報が含まれるリスクがあるとしています。

IPAの解説書は、生成AIを業務で使うとき、生成された情報の正確性を確かめずに使った結果、思わぬトラブルが起きるリスクがあるとしています。答えが手軽に得られるため、頼りすぎて誤った結果をそのまま信じてしまうことも考えられるとし、利用者が生成結果を精査することを求めています。

解説書では、2025年1月に米国テキサス州の裁判所で、弁護士が前年に提出した意見書に実在しない判例が引用されていたことが取り上げられ、生成AIで作成していたことが明らかになった事例が紹介されています。その弁護士は、ハルシネーションが起こりうることを知らなかったといいます。米国国立標準技術研究所の文書も、人が自動化されたシステムに過度に従ってしまう「自動化バイアス」が、confabulation のリスクを大きくしうると指摘しています。

1. 用途を分ける：アイデア出しや下書きのように人が手を入れる前提の用途と、社外に出す文書や判断の材料にする用途を分け、後者は確認を必須にします。AI事業者ガイドラインも、AIの出力の精度とリスクの程度を理解し、リスク要因を確かめたうえで使うことを挙げています。
2. 参照する資料を指定する：社内規程や公的資料など、信頼できる資料を検索・参照させて答えさせる方法（検索拡張生成、RAG）について、ガイドラインの別添は、ハルシネーションの抑制や参照元の明示が期待されると説明しています。ただし、参照する資料が最新で信頼できるものかにも注意が必要です。
3. 出典を原文で確かめる：AIが示した法令・判例・統計・URLは、元のページや資料を開いて、実在するか、内容が合っているかを確かめます。米国国立標準技術研究所の文書も、出力に含まれる出典や引用を確認・検証することを、リスク管理の取り組みの一つに挙げています。
4. 数字・固有名詞・日付を照らし合わせる：元の資料と1つずつ照らし合わせ、合計や割合は自分で計算し直します。
5. 人が最終確認する：ガイドラインの別添は、出力によって重大な影響や被害が生じうる場合には、人間の判断を介在させる仕組みにもとづいて判断することを挙げています。確認した人と日付を残しておくと、後から見直すときに役立ちます。

• 契約書や法的な文書：AIの文章はたたき台にとどめ、条文や判例は原文で確かめます。最終的な判断は、法務担当者や専門家が行います。
• 数値・金額：元のデータから計算し直し、どの資料にもとづく数字かを記録します。
• 人の評価にかかわる内容：AI事業者ガイドラインは、AIの出力を特定の個人や集団の評価の参考にする場合、AIを使っていることを評価の対象者に知らせ、自動化バイアスも考えて人間が合理的に判断し、求めに応じて説明することを挙げています。
• 個人情報を含む出力：応答に不正確な個人情報が含まれることがあります。個人情報を入力するときの注意点は、生成AIに個人情報を入力してもよい？で解説しています。

IPAの解説書は、AI利用の教育として、AIが指示を正確に反映した結果を出すとは限らないこと、ハルシネーションがあることを理解し、AIに頼りすぎないよう注意することを挙げています。確認の手順は、使ってよいサービスや入力してはいけない情報とあわせて社内ルールにしておくと、担当者によって確認の深さがばらつきにくくなります（生成AIを社内で使う前に決めたい情報管理のルール）。

「自然な文章だから正しい」とは限らないのは、攻撃者が作る文章も同じです。IPAは、AIの翻訳能力が上がったことで、攻撃者がフィッシングの文面を相手の母国語で違和感なく書けるようになっているとしています。対策はAIを悪用したサイバー攻撃と社内でできる対策で解説しています。

PCの入替計画や機器の一覧づくりに生成AIを使う場合も、台数やシリアル番号は社内の台帳と照らし合わせてから使いましょう。当社のデータ消去も、機器の一覧をお客様に確認していただいてから始めます。

• 消去の前に機器リストを確認：受け取った機器はすぐに全数を検品・入庫登録し、機器リストをご承認いただいてから消去を始めます。
• 1台ずつ記録：消去は1台ずつ記録し、進み具合はオンラインで確認できます（法人向けPCデータ消去）。
• 1台から買取：法人のPC・サーバー・ネットワーク機器を1台から買い取り、古い機器や故障品もまとめて査定します（法人PC買取）。買取する機器のデータ消去は無料、消去証明書（PDF）の発行は有料（お見積り）です。
• 回収：関東圏はご指定の場所へ訪問回収、関東圏以外は事前のお見積りのうえ宅配便で受け付けます（法人向けPC回収・対応エリア）。

入替で使わなくなったPCの扱いに迷ったら、無料お見積りからお気軽にご相談ください。