AIの導入効果はどう測る？確認・修正まで含めた時間の比べ方

報告書の場合は、担当者が資料を集め始めてから、使える報告書を保存するまでを測定対象にします。

完了までの時間だけでは、人が作業した時間と、AIの処理を待った時間を区別できません。

先に「仕事が終わった状態」をそろえる

月次報告なら、文章が生成されたところで終わりにはできません。対象月の数字が合い、必要な項目がそろい、担当者が使える場所へ保存されて初めて、次の仕事へ渡せます。

手作業では上司へ提出できるところまで測り、AIでは最初の文章が出たところまで測れば、比べている仕事が違います。測定前に、何をもって完成とするかを決めておく必要があります。

例えば「対象月の売上と件数が元資料に一致する」「所定の項目がそろう」「部署の共有フォルダに保存されている」のように、成果物から確かめられる条件を書きます。合格条件の作り方は、AIの成果物を自動採用する条件の記事でも説明しています。

途中で完成条件を増やした場合は、変更前の記録と分けます。AIの出力を見て初めて必要だと気づいた確認項目でも、手作業の場合にも必要なら、その確認時間を含めて比較し直します。

人の作業時間と、完成までの時間は別に記録する

次は、報告書を一つ作る場合の仮の計算例です。実際の導入実績や、削減できる時間の目安を示す数字ではありません。各工程を順番に進め、途中の中断はないものとします。

この例では、作成の工程は25分から7分になっていますが、完成までに減ったのは5分です。確認と修正に、導入前より時間がかかっているためです。

一方、AIの処理中に別の仕事ができるなら、この報告書のために人が作業した時間は28分です。手作業の40分と比べると、12分減った計算になります。

図：報告書の完成までの時間と、人が作業する時間の比較（仮の計算例）

画面を見ながら途中の質問へ答える必要があれば、その時間は担当者の作業です。処理に7分かかったという理由だけで、7分すべてを手が空いた時間として数えることはできません。担当者の負担を減らしたいのか、提出までを速くしたいのかによって、判断に使う数字も変わります。

複数人で進める仕事では、確認する上司の時間も含めます。担当者の作業が短くなっていても、その後の修正を上司が引き受けていれば、部署全体では別の結果になるためです。引き継いだ後に手直しが発生したら、元の作業記録へ追加します。

同じ条件で比べ、うまくいかなかった分も残す

比較には、同じ種類・同程度の分量の資料を使います。手作業では複雑な案件、AIでは項目がそろった簡単な案件を選ぶと、方法の違いだけを比べられません。

最初は同じ資料で試すと違いが分かりやすいですが、二度目は内容を覚えている分だけ速くなる可能性もあります。続けて評価するときは、条件の近い別の資料でも試し、対象期間や資料の量を記録しておきます。

通常の案件に加え、資料が欠けた場合や、形式が違う場合も試します。そのときに処理を止めて担当者へ戻す運用なら、差し戻すまでの作業やAIの処理に加え、差し戻しの確認から手作業での完了までを含めて記録します。うまく処理できた案件だけを集めて平均を出すと、残る手間を見落とします。

NISTのAIリスク管理の枠組みでは、実際の利用に近い条件で性能や基準を評価し、結果を記録することが示されています。NIST AI RMF：MEASURE 2.3

OpenAIの評価ガイドも、評価目的、使用するデータ、判定基準を定めて比較する流れを説明しています。ここで提案する時間の記録は、それらを業務の試行に当てはめた方法です。公式に定められた時間測定の様式ではありません。OpenAI：評価の進め方

初回の設定や操作に慣れる時間は、日々の作業とは分けて残します。使い慣れれば短くなる可能性はありますが、まだ測っていない短縮分を効果に含めることはできません。導入に必要な教育や設定の手間も、利用を広げるか判断する材料になります。

確認に時間がかかる理由で、直す場所が変わる

確認時間が長いという結果だけでは、対処を選べません。どの作業に時間がかかったかを短く添えると、改善する箇所を絞れます。

数字の照合が多いなら、元資料の該当箇所を出力に添えたり、計算を決まった処理へ分けたりする方法があります。文章が毎回違う形式で出るなら、必要項目と完成例を渡す方が、後から全体を書き直すより取り組みやすいでしょう。

古い資料を参照したために修正が増えたなら、モデルを替える前に、参照する資料をそろえる必要があります。「確認に12分」とだけ記録するより、「新旧の資料を見分けるのに時間がかかった」と分かる方が、次に試す変更を決めやすくなります。

改善を試すときは、参照資料、指示、出力形式などを一度に全部変えず、一つずつ試します。条件を記録しておけば、どの変更の後に確認や修正が減ったかを追えます。ただし、案件の難しさも違えば、その変化を変更の効果と断定はできません。

確認を省いて時間を短くする場合も、完成条件を満たすことが前提です。請求額や送信先など、間違えたときの影響が大きい項目は、時間がかかるという理由だけで確認対象から外せません。

次に試す変更と、もう一度測る条件を決める

試行の結果には、処理した案件数、完成した案件数、人の作業時間、完成までの時間、修正の理由を残します。平均だけでなく、特に時間がかかった案件を一つ取り出すと、時間が延びた原因を具体的に検討できます。

作成は速くなったものの、保存のたびに別のシステムへ転記しているなら、その転記も次の改善候補です。作成で減った時間と、転記にかかる時間を分けて記録します。

この段階で導入を広げるか迷うなら、未解決の問題と、次の試行で確かめることを絞ります。実証実験の終了基準の記事では、本導入・延長・中止を判断する条件を扱っています。

例えば「参照する資料を最新版の一つに絞り、同程度の案件で数字の確認と修正にかかる時間を測り直す」。このように次の試行内容を決め、変更前の記録と並べて残します。