AIの成果物はどこまで自動採用できる？仕事ごとの合格条件の決め方

文章が自然であることだけでは、項目の漏れや数字の誤りを見つけられません。形式、内容、取り扱いを分けて検査し、仕事ごとの完成条件を確かめます。品質検査の合格は、外部公開や契約の実行権限を与えるものではありません。

文章が自然でも合格とは限らない

想定例として、商品資料から比較表を作る業務を考えます。表が見やすく、説明が自然でも、対象商品の取り違えや条件の抜けがあれば、そのまま次の担当者へ渡せません。

反対に、社内の仮整理に使う短いメモまで、公開記事と同じ水準で文章を磨く必要はないでしょう。同じAIを使っていても、完成条件は用途ごとに変えます。

NISTのAI RMFでは、試験データや評価指標を記録し、導入時に近い条件で性能を確かめることが扱われています。NIST：AI RMF Core・MEASURE 2

これを日々の仕事に当てはめるなら、「AI全般の精度」ではなく、「この入力から、この成果物を作るときの合格条件」を用意します。以下は、完成条件を具体化するための提案です。

合格条件を三つに分ける

検査を「形」「内容」「扱い」の三つに分けます。一つの採点結果ですべてを判断するより、不合格の理由を具体的に示せるからです。

• 種類：形の確認。比較表を作る想定例：必須列がある、対象商品の行がそろう、重複がない
• 種類：内容の確認。比較表を作る想定例：数値と条件が元資料に対応し、不明な情報を推測で補っていない
• 種類：扱いの確認。比較表を作る想定例：社外に出せない情報が混じらず、保存先が適切である

列の有無や重複などは、機械的な処理で確かめる候補です。元資料との対応も、参照箇所を持たせるなど、検査しやすい形にします。自動検査で判断できない箇所を人へ戻す設計を目指します。

ただし、検査項目を用意しただけで正しく判定できるとは限りません。わざと条件を欠いた試験データを使い、検査側が不合格として扱えるかも試します。作る仕組みだけでなく、見逃さない仕組みを確認します。

見つからない情報を埋めさせない

業務の成果物では、すべての欄が埋まっていることより、分からない情報を区別できることが必要な場合があります。

先ほどの比較表で、ある商品だけ対象条件が見つからなかったとします。この場合は、AIに推測させて表を完成させるのではなく、「資料に記載なし」として、確認すべき箇所を残す方が扱いやすいでしょう。

何をもって記載なしとするかも決めます。参照資料の範囲を明示し、資料を取得できなかった状態と、取得した資料に情報がなかった状態を分けます。前者を後者として扱えば、検査が正常に終わっていないことを見落とします。

人へ渡すときは、成果物全体を最初から見直してもらうのではなく、どの項目で、何が足りず、どの資料まで確認したかを添えます。その方が、判断に必要な作業へ集中できます。

正常な例だけで試験しない

うまくいった出力だけを集めても、困る入力への対応は分かりません。本番で起きそうな不都合を先に試します。

資料が古い、同じ商品の別版が混在する、必要なページを読めない、数字の単位が違う。こうした想定例について、期待する結果を決めます。安全に止まることが正解のケースも含めます。

また、AIの出力をそのまま試験の正解にせず、元資料や業務担当者の確認によって、基準となる内容を別に用意します。出力自体を正解として照合しても、内容の正しさは確かめられません。

試験した条件の外まで合格を広げないことも必要です。短い商品資料で通ったから、長い契約書も同じように扱える、とは判断しません。使う範囲を広げる際に、入力と検査条件を追加します。

AIによる監査も役割を絞る

別のAIに検査させる方法は、確認作業を組む選択肢の一つです。ただし、「別のAIがOKと言ったから正しい」という扱いにはしません。

作成側とは別に元資料と合格条件を渡し、条件ごとに根拠を示す形にします。数値の一致など機械的に検査できるものまで、すべて文章の評価に任せる必要はありません。

AIの監査で不明点が出たら、まず制作側で調査します。公式資料を探せば分かることを、そのまま上司や依頼者への質問に変えないためです。それでも確認できない情報は、確認した資料と不足している項目を添えて担当者へ渡します。社内の方針や許容範囲については、判断する権限を持つ人へ戻します。

検査が動かなかった場合も、問題なしとは区別します。資料の取得失敗や処理の中断なら、再実行や停止の対象です。検査済みの印を付ける前に、何を最後まで調べられたかを確認します。

修正後は影響する範囲を確かめる

表の一箇所を直すたびに、無関係な部分まで毎回最初から確認する。これでは自動化しても待ち時間が増えます。

変更前後の差分と、その値を使う箇所が追えるなら、修正箇所と依存する部分を中心に再検査する設計ができます。商品価格を変えたなら、該当セルだけでなく、合計や価格を説明する本文も対象です。

一方、参照資料そのものを入れ替えたり、生成方法を変えたりした場合は、影響が広くなります。差分の範囲が分からないまま検査を省かず、必要に応じて全体を確認します。

記録には、どの版を、何の基準で、どこまで検査したかを残します。修正前の合格判定を、修正後にそのまま引き継がないためです。担当者が本文を直したら、自動処理が別の表現へ戻してしまわないよう、確定した変更の扱いも決めます。

人が読む量ではなく完成条件を整える

最初から自動採用の範囲を大きくする必要はありません。影響が限定的で、合格条件を確かめやすい作業から始めます。止まった原因や修正内容を見て、検査方法を直していきます。

要は、人が全部を見るか、AIを全部信じるかの二択にしないことです。機械で確かめられるものは検査し、調査できるものは調べ、それでも残る判断だけを人へ渡します。

作成と確認を一つの作業手順にまとめ、成果物を次の工程へ渡すまでを設計します。AIに作らせる時間だけでなく、確認や修正にかかる時間も含めて短縮を目指します。

まとめ

成果物の合格条件は、形式、内容、取り扱いを分けて具体化します。正常な例だけでなく問題のある入力も試し、修正後は変更の影響範囲を再確認します。