再現率の計算は混同行列のどこを分母にするか
ITパスポート試験 令和5年度 問76 ／ 基礎理論 › 情報に関する理論
過去問にチャレンジ
品質管理担当者が行っている検査を自動化することを考えた。10,000枚の製品画像と，それに対する品質管理担当者による不良品かどうかの判定結果を学習データとして与えることによって，製品が不良品かどうかを判定する機械学習モデルを構築した。100枚の製品画像に対してテストを行った結果は表のとおりである。品質管理担当者が不良品と判定した製品画像数に占める，機械学習モデルの判定が不良品と判定した製品画像数の割合を再現率としたとき，このテストにおける再現率は幾らか。
- ア
0.05
- イ
0.25
- ウ
0.50
- エ
0.80
会話形式の解説
講師今回は、機械学習モデルのテスト結果をまとめた表から再現率を求める問題です。このような表は混同行列と呼ばれます。正解とモデルの判定を縦横に並べた集計表のことです。大事なのは、問題文で再現率が何を分母にした割合として定義されているかを先に確かめることです。
受験者10,000枚という数字が出てきたので、それも計算に使うのかと思いました。でも、表には100枚分しか載っていませんね。
講師10,000枚は学習に使った画像の数なので、計算には関係しません。使うのはテストした100枚の表の値だけです。では、問題文の定義では分母は何になっていますか。
受験者「品質管理担当者が不良品と判定した製品画像数」です。表では、担当者の判定が不良品の行なので、5と5を足して10枚だと思います。
講師そのとおりです。分子は、そのうちモデルも不良品と判定した画像数なので5枚です。5÷10で0.50になり、これが再現率です。
受験者表の縦と横のどちらが担当者で、どちらがモデルかを取り違えると、答えが変わってしまいそうです。
講師まさにそこが引っかけです。たとえば0.25は、モデルが不良品と判定した列の合計20枚（5＋15）を分母にした5÷20の値です。モデルが不良品とした画像のうち、実際に不良品だった割合なので、適合率と呼ばれる別の指標になります。
受験者では0.05は、両方が不良品と判定した5枚を全体の100枚で割った値ですか。
講師はい。全数を分母にしても再現率にはなりません。残る0.80は、担当者とモデルの判定が一致した不良品5枚と良品75枚を合わせて、100枚で割った値です。全体のうち正しく判定できた割合で、正解率といいます。
受験者整理すると、再現率は「本当の不良品のうち、モデルが見つけられた割合」、適合率は「モデルが不良品と言ったもののうち、本当に不良品だった割合」、正解率は「全体のうち当たった割合」ということですね。
講師よくまとまっています。用語で書くと、再現率＝真陽性÷(真陽性＋偽陰性)です。真陽性は「本当に不良品で、モデルも不良品と判定したもの」、偽陰性は「本当は不良品なのに、モデルが良品と判定したもの」です。
受験者検査の自動化では、不良品の見逃しが問題になりそうなので、再現率が大事になるのですね。
講師そうです。不良品の見逃しを減らしたい検査では、一般に再現率が重視されます。この種の問題では、選択肢に全数を分母にした値や適合率、正解率が並ぶことが多いです。まず表のどちらが正解の判定かを確かめ、定義どおりに分母を選ぶ習慣をつけておきましょう。
まとめ
この問題は、機械学習モデルのテスト結果の表（混同行列）から再現率を求めるものです。再現率の分母は品質管理担当者が不良品と判定した10枚で、分子はそのうちモデルも不良品と判定した5枚なので、5÷10＝0.50になります。学習データの10,000枚は計算には使いません。0.25はモデルが不良品と判定した数を分母にした適合率、0.80は全体のうち判定が一致した割合である正解率、0.05は全数を分母にした値で、どれも再現率ではありません。表を読むときは、まずどちらが正解の判定かを確かめることが大切です。
解答・解説
正解はウです
この問題のテーマ
機械学習モデルのテスト結果を表した表（混同行列）から、問題文で定義された再現率を計算する問題です。
解き方の考え方
まず問題文の定義から、再現率の分母と分子が何かを確かめます。分母は「品質管理担当者が不良品と判定した画像数」で、表では担当者の判定が不良品の行の合計（5＋5＝10枚）です。分子はそのうちモデルも不良品と判定した画像数で、5枚です。したがって再現率は5÷10＝0.50となります。学習に使った10,000枚は計算に関係せず、テストの表の値だけを使います。
選択肢ごとの解説
- ×ア 0.050.05は、担当者とモデルがどちらも不良品と判定した5枚を全画像数の100枚で割った値です。再現率の分母は担当者が不良品と判定した10枚であり、全数の100枚ではありません。
- ×イ 0.250.25は、モデルが不良品と判定した20枚（5＋15）を分母にした5÷20の値です。これはモデルが不良品とした画像のうち実際に不良品だった割合で、適合率に当たります。再現率とは分母が異なります。
- ○ウ 0.50担当者が不良品と判定した10枚（5＋5）を分母とし、そのうちモデルも不良品と判定した5枚を分子にすると、5÷10＝0.50になります。これは問題文が示す再現率の定義と一致します。
- ×エ 0.800.80は、担当者とモデルの判定が一致した画像（不良品5枚と良品75枚）を全100枚で割った(5＋75)÷100の値です。全体のうち正しく判定できた割合を表す正解率であり、再現率ではありません。
補足
選択肢には、全画像数を分母にした値や、適合率、正解率の値が並んでいます。再現率では、担当者が不良品と判定した画像数を分母にします。不良品の見逃しを減らしたい検査では、再現率が重視されることが一般的です。
POINT
- 再現率は、実際の不良品（正解が陽性のもの）のうち、モデルが不良品と判定できた割合です。
- 式で表すと、再現率＝真陽性÷(真陽性＋偽陰性)です。
- 適合率は、モデルが不良品と判定したもののうち、実際に不良品だった割合です。
- 正解率は、(真陽性＋真陰性)÷総数で求める、全体のうち正しく判定できた割合です。
- 表を読むときは、どちらが正解ラベル（ここでは担当者の判定）で、どちらがモデルの判定かを最初に確かめます。