Applied AI・評価設計
AIに任せる範囲を、評価から考える。
一致率だけでなく、実際の業務判断に影響する誤りに着目したAIレビューの検証。
背景
AIのスコアは、業務上の意味を理解して初めて役立ちます。
課題
一致率が高くても、判断の境界をまたぐ誤りは隠れてしまいます。
アプローチ
- 入力・評価基準・プロンプト条件をそろえてモデルを比較する。
- カテゴリ別の誤りを検証し、最終判断は人に残す。
スコアだけでなく、判断を評価する
全体の一致率だけでは足りない。小さなスコアの差でも、判定の境界をまたげば、業務への影響は大きく変わります。
人とAIの境界を明確にする
システムが書き戻すのは、スコアとその理由まで。最終判定や通知は自動化していません。
変化・成果
評価ロジックをスプレッドシート起点の業務フローで動かし、スコアと理由を確認できるようにしました。
3比較したモデルファミリー取り組みの規模
成果の範囲と、これから
レビュー工数50%削減は目標であり、達成実績ではありません。実際のレビュー時間は未計測です。