生成AIの運用監視。実行・品質・成果を確かめる点検手順

業務で動いている生成AIを、何で確かめるか

生成AIで要約や資料作成を動かし始めたあと、担当者として次に確かめたいのは、出力が届いているか、中身を使えるか、確認の負担まで含めて作業が変わったかです。導入後の運用監視には、この3つを別々に記録する方法を提案します。動いたという記録に、内容の照合結果や業務の比較結果を重ねて、継続するか、直すかを判断するためです。

AWSの本番監視資料にあるシステム、業務、モデル品質の区別をもとに、業務担当者が点検する欄を実行・品質・成果に整理しました。確認票は著者による運用設計案です。次のメール要約は架空の例として、担当と対応条件を記入しています。

対象は、すでに業務で使っている生成AIです。本番前に使う人や業務の置き場所を整理する段階は、生成AIのPoCが本番に進まない理由で扱っています。導入後の点検では、現在の対象作業、担当者、期待する成果物を確認票に置き、次の道筋で記録をたどります。

実行の記録を開く受け取った入力、開始・終了、失敗理由と保存された成果物を対応させる
出力を原文と照合する必須項目・形式と、日付・数量・依頼内容の根拠を確かめる
業務の負担を比べる利用の有無、確認・修正・待ち時間を含め、同じ作業範囲で比較する
次の対応を記録する続行・改善・一時停止の判断、担当者、再確認条件を残す

確認時点は、出力を使う締切から決める

最初に、出力を業務で使う時点と、失敗した場合に手作業で戻せる時間を置きます。その間に点検と連絡を終えられるよう、確認担当者と通知先を決めます。実行の失敗は処理ごとに記録し、出力を利用する前の確認と、蓄積した時間や修正理由を振り返る確認を分けます。

問い合わせメールの要約を返信準備に使う例では、担当者が返信文を作る前に原文との照合を終えます。要約が出ないまま返信準備の時点を迎えたら、待ち続けず原文を読んで処理します。金額や依頼日を誤ると相手への回答に影響するため、この例では各メールを利用前に照合する設計にします。頻度は一律の日数からではなく、使う時点と誤りの影響から選びます。

メール要約の記入済み確認票

欄	運用ルールの記入例
対象と保存先	問い合わせメールの依頼内容・日付・金額を要約。入力メールのIDと要約を、窓口担当者だけが閲覧できる業務記録で対応させる
担当と確認時点	窓口担当者が、各メールの返信文を作る前に保存先と原文を開く。不在時は窓口責任者へ引き継ぐ
通知条件と宛先	返信準備の時点で要約がない、入力との対応が違う、原文と日付・金額・依頼内容が合わない場合、窓口責任者とシステム運用担当へ社内の問い合わせ管理票で連絡する
通知に残す情報	入力ID、成果物の場所、失敗理由または差異、確認時点を記録。本文全体は通知に転記せず、権限のある担当者が保存先で読む
異常時と手作業への戻し方	当該要約の利用を保留し、窓口担当者が原文から依頼内容を整理する。再実行前に既存の要約の有無を確認し、同じメールを二重登録しない
再開条件と判断者	運用担当が原因と修正内容を記録し、問題が出た入力と定型・情報不足の入力を再確認。保存先との対応と原文照合を確認後、窓口責任者が対象範囲を決めて利用を再開する
成果の振り返り	窓口責任者が業務の振り返り時に、原文を受け取って返信準備を終えるまでの待ち・照合・修正を含めて比較する。比較できる記録が揃うまでは削減効果を未評価とする

これは異常が起きた際のルールを埋めた確認票です。実際の点検では、入力IDごとに確認結果、対応者、次の確認を追記します。成果の振り返りは利用前の照合を代替せず、手作業への戻し方が実行できるかも引き継ぎ時に確かめます。

「完了」の記録と、保存先の成果物を照合する

実行の確認で見るのは、処理の記録と、所定の保存先や業務画面にある成果物の両方です。Anthropicはエージェント評価の説明で、会話・操作の記録と、最終的な環境の状態を区別しています。完了と発言したことだけでは、期待した最終状態を確認したことにはなりません。この区別を、導入後の確認にも応用します。

確認票に残す項目は、対象の入力、開始・終了時刻、結果、失敗理由、成果物の場所です。予定された入力を受けたかと、その入力に対応する出力が保存されたかを照合します。出力が見つからないときは、起動・登録、権限、使用量や資源、連携先を次の確認対象にします。内容を読む品質確認とは、調べる先を分けます。

確認票のメール要約では、入力メールのIDと保存された要約の対応を確かめます。要約があっても別のメールの出力なら実行は未確認です。再実行前にも保存先を開き、既存の出力を重複して登録しないことを確認します。

結果の欄には、確認できたところと未確認のところを分けて残します。「成功か失敗か」だけで閉じない形です。終了時刻は分かるが保存先を確認していないなら、成果物の確認は未完了と記録します。失敗理由が不明なら推測で原因を埋めず、次に確認する担当者を添えます。記録を読む人が替わっても、同じ入力と成果物をたどれる形を目指します。

AWSは監視の構成要素として、記録の収集、通知、対応を示し、何をどの頻度で記録し、どこに保管してどう閲覧するかを決めるよう説明しています。確認票を作る際も、担当者が開く場所を決めておきます。記録対象とアクセス権は業務に合わせ、メール本文や個人情報を無制限に保存する前提にはしません。

品質は何を機械で見て、何を人が読むか

品質の確認は、必須項目や形式の検査と、元資料との内容照合に分けます。Anthropicは、コード、モデル、人による判定を挙げ、それぞれの得意・不得意を説明しています。その区別を使い、決まった条件を機械で検査し、文脈や根拠の確認を人が担う形を提案します。

確認するもの	照合の方法の例	判断できない場合
必須項目と出力形式	項目が存在するか、指定した形式かを機械で検査する	欠けた項目と検査結果を、修正担当者へ渡す
固有名詞・数量・日付	出力と元資料の対応箇所を人が開いて読む	根拠を確認できない内容は、確認先を記録する
依頼内容と曖昧な表現	元の依頼と出力を並べ、読み替えが適切か確かめる	原文だけで決められなければ、判断を担当者へ戻す

このメール要約では、日付、金額、依頼内容を原文と照合することを確認項目にします。表の欄が埋まっているかと、その中身が原文に合っているかは、別々に記録します。金額の項目が存在するだけで品質を合格とせず、どの記述に対応するかを照合します。

別のAIによる評価を加える場合も、人の確認との照合を残します。Anthropicは、モデルによる評価が非決定的であり、人の評価との校正が必要だと説明しています。そのため「別のAIが合格にした」を最終判断と同一にせず、同じ出力について人とAIの判断が食い違った箇所を、評価条件を見直す材料にする。

処理時間は、確認と修正まで含めて比べる

成果の点検では、生成にかかった時間だけを比べず、現場で出力を使ったか、確認・修正・待ち時間を含めて作業負担がどう変わったかを記録します。出力数と業務の効果を別の欄にし、従来の同じ作業範囲と比較します。比較対象がない場合、削減効果は未知のまま残します。

このメール要約では、比較の終点を、担当者が内容を確認・修正して処理を終えたところに置きます。AI利用時と従来作業で同じ範囲を対象にし、要約を待つ時間、原文との照合、修正までを含めます。原文を確認する部分をAI利用時だけ比較から外さず、どの作業を含めたかも記録します。

比較結果に添えるのは、対象の作業と、計測に含めた範囲です。従来作業の記録が同じ範囲で取れていなければ、その時点では比較未完了とし、AI利用時の処理時間だけを残します。比較の数字を埋めるために、従来の負担を推測することは避けます。

時間の比較と合わせて、出力が使われなかった理由や、手直しが必要だった箇所も残します。要約が保存されているのに利用されていない場合は、実行の再確認だけでなく、利用しない理由を確かめます。修正の負担が増えた場合は、どの内容の照合や修正に時間を使ったかを、品質の欄と対応させます。

異常があったら、何を直して再確認するか

異常への対応は、実行・品質・成果のどの欄で問題が見つかったかを起点に、担当者と次の確認を分けます。続行、改善、一時停止の判断には、判断した人、再確認の条件、手作業へ戻す方法を添えます。予算や許容するリスクを含む判断は、業務の責任者が決める前提です。

確認票に残った状態	次の確認・対応の例	再確認するもの
対応する成果物が見つからない	起動・登録、権限、使用量や資源、連携先を確認する	入力と保存された成果物の対応
出力が元資料と合わない	差異を記録し、確認担当者へ戻す	形式の検査結果と、元資料との照合結果
確認・修正の負担が減らない	利用されない理由と、手直しが増える場所を確かめる	同じ作業範囲で比較した負担

修正後の確認には、定型の入力に加え、曖昧な依頼や情報が欠けた入力を用意し、同じ条件で確かめ直す方法を提案します。Anthropicの評価資料は、明確な成功条件と参照解を置くこと、資源不足などの環境の問題をエージェントの性能と区別することを説明しています。運用でも、再確認の条件を記録し、何を直した結果かを照合する材料にできます。

元資料との対応が確認できない、判断を戻す先が決まっていない、といった状態では、自動処理の対象を広げず、対象部分を手作業へ戻す選択肢を確認票に置きます。停止そのものを失敗と数えるかではなく、どの問題を確認してから再開するかを記録します。

運用担当者が次に開く記録を具体化するなら、対象業務の確認票に、成果物の場所、照合する元資料、比較する作業範囲、異常時の連絡先、再確認条件を揃えるところが出発点です。導入から運用への引き継ぎで扱う範囲は、生成AI導入支援のページに記載しています。