3. 分類問題における正解・不正解のパターン

分類問題における実測値と予測値の関係性は以下のマトリクスで表現できます。

正（実測）

負（実測）

正（予測）

TP

FP

負（予測）

FN

TN

モデルが正しく予測したパターン→頭にT(True)がつく

  • TP(True Positive)：実測値と予測値の両方が正であったもの

  • TN(Ture Negative)：実測値と予測値の両方が負であったもの

モデルが間違って予測したパターン→頭にF(False)がつく

  • FP(False Positive)：実測値が負なのに、誤って正と予測値したもの（誤検知、偽陽性）

  • FN(False Negative)：実測値が正なのに、誤って負と予測値したもの（偽陰性）

この内どの数値を用いるかが評価指標を見るときのポイントになります。

Accuracy(正解率)
読んで字のごとく、全体のうちどれだけ正解があるかだ。 「予測がどれだけ正しかったか」を見る指標

(TP + TN) / (TP + TN + FP + FN)
=>  予測が正しかった数 / 予測したデータ数

Precision(適合率）
無駄打ちをなくすのが目標
Precisionは「正と予測したものが、どれだけ正しかったか」を見る指標

英語でPreciseは精密な、という意味があることからも精度のように厳密に予測の性能を図ることができる。
再現率とはトレードオフの関係にある。

TP / (TP + FP)
=>  正と予測した中で実際に正であったものの数 / 正と予測したものの数

Recall(再現率) 機会損失をなくすのが目標
Recallは「実際に正であったもののうち、どれだけ正と予測できたか」を見る指標

TP / (TP + FN)
=> 実際に正であったものの中で正と予測できた数 / 実際に正であったものの数

F値(F-measure/F1スコア) F値はPrecisionとRecallの調和平均
Recall(再現率)とPrecision(適合率)はトレードオフの関係にあることから、これらの調和平均をとって性能指標とすることが多い。 これをF値(F-measure/F1スコア)と呼ぶ。

F1score = (2 x (適合率 x 再現率)) / (適合率 + 再現率)

参考