AIの回答が変わったら？更新後の確認と社内手順の見直し方

毎月同じ手順で報告書を作っていたのに、今月は必要な項目が抜けている。文章は読みやすくなったものの、数字の根拠が書かれなくなった。こうした変化があれば、以前の手順のまま提出できるかを確かめる必要があります。

最初に指示を書き直すと、何が原因だったのかを追いにくくなります。変更前の入力と出力を残し、条件をそろえて比べるところから始めます。

回答の違いと、仕事に支障がある変化を分ける

例えば、月次報告をAIで作る想定例で考えます。「売上は前年より増加しました」が「売上は前年を上回りました」に変わっても、元の数字と意味が合っていれば、その言い換えだけで仕事を止める理由にはなりません。

一方、金額が違う、対象月が抜けている、根拠のない理由が加わるといった変化は、報告書の内容に関わります。見た目が整っていても、そのまま提出できません。

OpenAIのAPI向け公式ガイドは、生成結果が毎回同じになるとは限らず、モデルの版や系統によっても挙動が変わると説明しています。同じ文章が再び出ることだけを合格条件にすると、業務上は問題のない言い換えまで不合格になります。OpenAI：モデル出力の改善

比べる対象は、普段その報告書に求めている条件です。元資料と数字が一致する、必要な項目がそろう、事実と推測を分けている、といった条件を使います。条件自体が曖昧なら、AIの成果物の合格条件を決める記事のように、成果物から確かめられる形にしておきます。

指示を直す前に、変更前の資料と出力を残す

「同じように頼んだつもり」でも、参照した資料が別の版だったり、追加の会話で指示が変わっていたりすれば、比べている条件が違います。モデルの更新を疑う前に、比較に使う記録をそろえます。

残すものは、使用した資料の版、指示文、必要な会話の履歴、出力、実行日です。利用したサービスやモデル名、設定が分かる場合は、それも添えます。画面に表示されない内部の版を、推測で埋める必要はありません。

記録には社内資料が含まれるため、保存先と閲覧できる人は、その資料の既存の扱いに合わせます。比較のためという理由で、別の個人アカウントや未承認のサービスへ資料を移さないようにします。

保存後は、指示・資料・設定を一度に全部変えず、変えた箇所を記録して試します。新しい指示で直った場合も、何が原因だったかまで判明したとは限りません。「この条件で改善した」という結果と、原因についての推測を分けて残します。

図：回答が変わったときの比較と、利用を続ける範囲の決め方

普段の案件と、判断が難しい案件で比べる

更新後に一度うまくできただけでは、ほかの案件も同じように処理できるかは分かりません。比較用の資料には、普段使う形式に加え、項目が欠けているものや、表記が揃っていないものも含めます。

報告書の例なら、数字と説明が揃った資料だけでなく、前年の数字がない資料でも試します。比較できない項目を「不明」として扱えるか、書かれていない理由を作ってしまわないかが確認対象になります。

変更前の出力も無条件の正解にはしません。以前は見逃していた誤りがあれば、元資料と完成条件に照らして、変更前と変更後の両方を判定し直します。表現が好みかどうかと、内容が正しいかどうかは別の欄に残すと、修正の理由を説明しやすくなります。

確認・修正の手間も比較します。必要な項目は揃っていても、担当者が毎回全文を書き直しているなら、以前より負担が増えている可能性があります。確認する上司の手間まで含めると、担当者から別の人へ作業が移っただけかどうかも分かります。

すべての業務を同じ判定にする必要はありません。社内の下書きとしては使えても、取引先へ出す報告書には使わない、といった区別ができます。利用を続ける場合は、合格した仕事と、人の確認が必要な箇所を具体的に記録します。

戻せるかどうかも、運用の手順に含める

問題が出たときに旧版を選べるかは、利用しているサービスと提供条件によります。以前と同じモデルを指定できても、参照資料や接続先まで元に戻ったとは限りません。戻した後も、実際の仕事の完成条件で確かめる必要があります。

旧版を選べない場合や、利用が終了する場合には、人の確認を増やす、対象業務を絞る、手作業へ切り替えるといった方法が必要です。OpenAIはAPIモデルの提供終了と移行先を公式ページで案内し、移行前に置き換え先で動作を試すための期間を設けています。個別のモデルや終了日は、利用している環境に合わせて確認します。OpenAI：提供終了の案内

NISTのAIリスク管理の枠組みでも、運用後の監視には、利用者からの情報、問題への対応、復旧、変更管理を含めるとしています。導入時に一度合格したことだけで、その後の利用を判断し続ける考え方ではありません。NIST AI RMF 1.0：MANAGE 4.1

社内では、変更の連絡を受ける人、試行結果を確認する人、利用範囲を決める人を明記します。停止や手作業への切り替えは、AIが止まった場合の代替手順とも合わせておくと、担当者ごとに違う対応をするのを避けられます。

最初に、普段使っている資料から比較用の一組を選び、資料の版・指示・出力を同じ場所へ保存しておきます。次の更新では、その記録を使って何が変わったかを比べ、変更した手順と利用を認めた範囲を追記します。