第5回の教材 (2) AIシステムの性能評価
機械学習・深層学習も万能ではないので
前回、機械学習・深層学習も万能ではない、というお話をしました。
ですから、AI システムには性能評価が必要です。
AI システムの性能評価指標
たとえば、AIシステムに 真/偽 を判定させる場合
- 正解率 ... 判定の何%が正解であったか
- 再現率 ... 本当は真であるケースの、何%を真と判定できたか
- 適合率（= 精度）... 真と判定した中で、何%が正解であったか
といった指標で性能を評価します。例えば $100$ 件の事例があって
| 本当は真 | 本当は偽 |
| AI が真と判定 | $34$ 件 | $23$ 件 |
| AI が偽と判定 | $5$ 件 | $38$ 件 |
であったとすると
- 正解率 $=\displaystyle{\frac{34+38}{100}} = 72\%$
- 再現率 $=\displaystyle{\frac{34}{34+5}}=87.2\%$
- 適合率 $=\displaystyle{\frac{34}{34+23}}=59.6\%$
ということになります。
例えばコロナ診断 AI システムがあったとして
- 再現率は高いが適合率が低い
⇒ 陽性者を高確率で発見できるが、陰性者も陽性と判定しまう確率が高い
- 再現率は低いが適合率が高い
⇒ 陰性者を陽性と誤判定することは少ないが、陽性の人を見逃す確率が高い
再現率も適合率も高いのが理想ですが、なかなかそうはいきません。状況によって、重視すべき指標を考える必要があります。