九十九パーセント正しいモデルが、故障を見逃す

架空事例：青葉機材が機材の故障予兆を分類し、保守担当の判断を支援する。学習データ、故障率、評価結果、モデル選定は説明用の仮定であり、実在の装置・製品に対する学習、測定、運用実績ではない。

正答率は九十九パーセントだった

青葉機材は、返却された機材の状態を予測するAIを試した。評価結果の正解率は99%。その数字を見た担当者は、点検の一部を自動化できると考えた。

ところが、詳しく調べると、対象一万件のうち故障は百件しかなかった。すべてを「正常」と判定するだけでも、九千九百件が正しくなる。正解率は99%だが、故障を一件も検出できない。

正しく答えた件数が多いことと、見逃してはいけない事象を捉えたことは違う。

故障を検出するための仕組みが、故障しない機材の多さを学習しただけなら、実際の目的へ役立たない。ここで問うべきなのは、機械学習という名前でも、学習に使うアルゴリズムでもない。どんな誤りを減らしたいのか、である。

GoogleのMachine Learning Crash Courseも、不均衡データや誤分類のコストに応じ、Accuracy以外の指標を選ぶ必要を説明している。2 試験では正解率の式だけでなく、何を正例としたかを読むことが重要になる。

正例と負例を、業務の意味で定める

故障があるものを正例（Positive）、正常なものを負例（Negative）とする。「故障」と正しく判定できたものがTP、故障を見逃したものがFN、正常なのに故障と判定したものがFP、正常と正しく判定したものがTNである。

仮に一万件のうち百件が故障し、モデルがその八十件を検出したとする。故障二十件を見逃し、正常な九千九百件から九十九件を誤って故障と判断した場合、混同行列は次のようになる。

実際の状態	「故障」と判定	「正常」と判定
故障：100件	TP = 80	FN = 20
正常：9,900件	FP = 99	TN = 9,801

このとき、再現率（Recall）は 80 ÷ (80＋20)＝80%。適合率（Precision）は 80 ÷ (80＋99)≒44.7%。正解率（Accuracy）は (80＋9,801) ÷ 10,000＝98.81% である。

高い正解率に比べて、故障として検出された179件のうち実際の故障は80件しかない。誤警報が点検費用を押し上げる一方、二十件の故障は見逃されている。

この計算は評価用データの内訳を与えた例であり、実機運用時の確率を保証するものではない。正例の出現率が変われば、同じ感度と偽陽性率でも適合率が変わる可能性がある。

何を最適化すれば、仕事がよくなるのか

青葉機材は「故障を見逃すと危険なので、再現率を上げたい」と判断した。判定を故障寄りにすれば、見逃しを減らせる可能性がある。しかし、正常な機材にも故障警報が増えるなら、点検員の仕事が膨らむ。

判定のしきい値を変えると、適合率と再現率の間でトレードオフが生じる場合がある。F1値は適合率と再現率の調和平均だが、誤検知と見逃しの業務損失が等しいという保証はない。機材の種類や危険性に応じ、何を優先するかは変わる。2

点検を強制停止に結び付けるのか、担当者への注意喚起にとどめるのかでも求める品質が違う。自動的に停止させるなら、誤警報の影響が大きくなる。一方、警告が大量に出て誰も見なくなれば、再現率が高くても業務上の効果がなくなる。

モデルだけを評価するのでなく、「警報→担当者が確認→再点検→出庫の判断」という作業全体を測る。AIの出力が改善しても、担当者が使わなければ目的を達成しない。

学習データと試験データが、同じ仕事を見ている

モデルの性能を測るため、記録を訓練データとテストデータへ無作為に分けた。ところが、同じ機材の連続した測定記録が両側に入っていた。モデルは機材固有の状態を覚え、未知の機材を評価するより容易な条件で試験された可能性がある。

訓練（Training）はモデルのパラメータを学ぶため、検証（Validation）は選択や調整のため、テスト（Test）は最終的な汎化性能の評価のために使う。Googleの公式教材も、テストを訓練や調整から分離し、同一例の重複を避け、実際の利用場面を代表するデータを用いる必要を示している。3

何を「未知」とみなすかは目的次第である。既存機材の翌月を予測するなら、時系列の前後関係が重要になる。新しい型式の機材への適用が目的なら、同一型式の別記録だけでは十分でない可能性がある。

分割比率を決めるより前に、学習時点では知り得なかった情報を使っていないかを確かめる。故障後に確定した修理区分を、故障前の予測入力へ混ぜれば、実運用で再現できない高精度が得られてしまう。これはデータリークの一例である。

過去に正しかったモデルが、今も正しいとは限らない

導入直後には高い再現率を示した。しかし、新しい機材が増え、センサの仕様が変わり、点検手順も変わった。モデルが学習した条件と、現場の条件が離れ始めた。

データの分布が変わることと、入力と故障の関係が変わることは同一ではない。単に平均温度が変わっただけか、同じ温度で故障しやすい機材が登場したのか。監視する観点は違う。

モデルの出力分布、現場の後追い評価、誤警報と見逃し、対象機材の構成を継続して調べる。故障の正解ラベルは後から判明することもあり、リアルタイムに真の再現率を測定できるとは限らない。

NISTのAI RMF 1.0は、AIのリスク管理をGovern、Map、Measure、Manageの四機能で整理する。これは機械学習モデルの一回の精度測定ではなく、導入前後の継続的な評価を含む枠組みである。4

したがって、「モデルを本番へ配備した」という出来事は、精度評価の終了を意味しない。業務で使う以上、更新、問題発見、停止、代替手段、責任者を決めておく。

生成AIに資料を渡しても、根拠が保証されるわけではない

青葉機材は、機材の取扱説明書を検索できる生成AIの補助窓口を追加した。利用者が「点検を省略してよいか」と質問すると、自然な日本語で答える。しかし、文章が読みやすいことと、根拠が正しいことは同じではない。

外部文書を検索して必要な部分をモデルへ渡すRAG（Retrieval-Augmented Generation）は、関連情報を利用する設計方法の一つである。検索結果を与えたことは、回答がその文書だけに基づくことの証明にはならない。 検索対象に必要な記述がない場合や、誤った文書を取得した場合もある。

NIST AI 600-1は生成AI固有のリスクとして、根拠のない内容の生成（Confabulation）などを扱う。5 そのため、重要な安全判断で出典の確認ができない場合は、断定せず担当者へ照会させる運用が考えられる。もっとも、この方針は架空の業務の選択であり、同資料が全システムへ同じUIやエスカレーション方法を義務付けるわけではない。

RAGの改善には、検索対象の鮮度と権限、チャンクの範囲、取得結果の妥当性、回答と参照資料の対応などがある。参照された文書が最新版でも、その文書が当該機材に適用される版かどうかも確かめる必要がある。

モデルが出した答えと、誰が責任を持つか

AIが「この機材は利用可能」と判定した。しかし、安全に出庫できるという最終判断をモデルへそのまま委ねるなら、誤判断時の責任が曖昧になる。

青葉機材では、予兆検知は点検を優先する支援情報とし、安全上の出庫可否は、合意した業務規則と必要な確認に基づいて判断する案を選ぶ。これはAIの技術的能力が低いという断定ではなく、当該用途に求められる保証と検証が異なるという設計上の判断である。

判断に用いたモデル版、入力データの時点、表示した根拠、担当者による操作を必要な範囲で記録する。ただし記録に個人情報や企業秘密が含まれるなら、その保存範囲やアクセス制御も設計しなければならない。

説明可能性を高める手法があっても、モデル内部の数値的説明が真の因果関係を証明するとは限らない。採用した理由を説明する責任は、AIの出力だけでは置き換えられない。

速い答えより、戻れる判断

生成AIが一秒で答えても、誤った指示が現場で実行された後では取り消せないことがある。したがって、AIをどの業務へ置くかを決める際は、誤りが検出できるか、修正可能か、取り返しがつかない結果へ結び付くかを先に考える。

試験用データの正解率、実際の利用者の判断、安全性への影響、導入後の監視は異なる評価対象だ。モデルの比較表を作ることと、業務への適合を証明することを混同しない。

システムアーキテクトは、AIを採用すべき場面と、従来のルールベース処理の方が適する場面を比較する。例えば点検済みフラグが真なら表示を変えるだけの規則に、機械学習は必要ない場合がある。

「学習する技術だから優れている」ではなく、正しくない場合の扱いまで設計できる技術を選ぶ。それが専門分野としてのAIを、午後の設計問題へ結び付ける考え方である。

知識を答案へ戻す

午前Ⅱ。 混同行列、Accuracy・Precision・Recall・F1、教師あり学習と強化学習、訓練・検証・テストの違いを整理する。出題条件の正例と分母を確かめる。

午後Ⅰ。 目的と誤分類の影響、データ分割の条件、運用時に正解を確認できるかを問題文から読み取る。モデルの評価値を業務全体の品質と同一視しない。

午後Ⅱ。 学習データの範囲、導入方式、評価指標、失敗時の代替手段と継続監視を、なぜその方式を選んだかという判断で説明する。

立ち止まって考える：故障率1%の機材を、すべて正常と予測した。正解率99%なら故障検知の目的を達成したか

達成していない。故障百件のうち検出した件数はゼロなので再現率は0%。どの誤りを減らすかと、それによる業務影響を先に定める必要がある。

出典と照合範囲

[1] コンプリートテキスト第5・10・14・25・27・28章、IPA SAシラバスVer.5.2：AI、評価、統計、方式選定の知識を起点にした。機材の故障率や混同行列は架空の数値。公式シラバス

[2] Google Machine Learning Crash Course, Classification Metrics：Accuracy、Precision、Recall、F1の分母と用途、しきい値による変化を照合した。公式解説

[3] Google Machine Learning Crash Course, Dividing Datasets：訓練・検証・テストの役割、重複の回避、実運用の代表性を照合した。公式解説

[4] NIST AI RMF 1.0（2023）：Govern、Map、Measure、Manageの四機能を参照した。本文のAI適用方針は独自の例。公式概要

[5] NIST AI 600-1（2024）, Generative AI Profile：Confabulationを含む生成AIのリスクと管理を参照した。RAGの実装や性能を検証した資料として扱っていない。NIST刊行情報