状況
設計資料に「この挙動は仕様で決まっている」と書きたい。AI アシスタントは出典として規格の番号と URL を示した。URL を開くと 404 だった。
この出典の扱いとして適切なのは?
正答
- 404 は一時的なものなので、AI が示した番号と URL をそのまま資料に載せる
- AI が番号と URL まで具体的に示したので、出典は実在するとみなしてよい
- 別の AI にも同じことを聞き、同じ番号が返ってくれば資料に載せてよい
- 公式の発行元で原文を探し、その内容が書かれていると確かめてから載せる
解説
AI は実在しない文書番号や URL、実在する文書に書かれていない内容を、出典らしい形で示すことがある。番号や URL が具体的でも実在の証明にはならない。規格なら発行元の公式サイトで番号を引き、原文に該当の記述があるかを自分の目で確かめる。確かめられなければ資料の根拠にしない。404 のまま載せると、読んだ人が確かめられない資料になる。別の AI が同じ答えを返しても、同じ誤りを学習しているだけかもしれず、原文を読む代わりにはならない。
参考: genai.owasp.org
この問題を含む AI の出力チェック のテストを制限時間つきで解く
AI の出力チェッククイズへ