头像

Cyan

四川成都

深度强化学习炼丹师

机器学习 — 性能度量

机器学习 — 性能度量

2021-02-06 · 84次阅读 · 原创 · 人工智能

属性说明

预测值
实际值 1 0
1 TP FN
0 FP TN

上表中,1 代表正例,0 代表反例。

TP:正确预测为正例

TN:正确预测为反例

FP:错误预测为正例

FN:错误预测为反例

TP+FN=PTN+FP=NTP + FN = P \\ TN + FP = N


1. 准(正)确率(Accuracy)

反映分类器或者模型对整体样本判断正确的能力,即能将阳性(正)样本positive判定为positive和阴性(负)样本negative判定为negative的正确分类能力。值越大,性能performance越好。

ACC=TP+TNTP+FN+FP+TN=TP+TNP+NACC = \frac{TP+TN}{TP+FN+FP+TN} = \frac{TP + TN}{P + N}


2. 精确率、查准率(Precision)

反映分类器或者模型正确预测正样本精度的能力,即预测的正样本中有多少是真实的正样本。值越大,性能performance越好。

precision=TPTP+FPprecision = \frac{TP}{TP+FP}


3. 召回率、查全率(Recall)

反映分类器或者模型正确预测正样本全度的能力,增加将正样本预测为正样本,即正样本被预测为正样本占总的正样本的比例。值越大,性能performance越好。

recall=TPTP+FN=TPPrecall = \frac{TP}{TP+FN}=\frac{TP}{P}


4. 虚警率,误报率,误检率(False alarm rate)

反映分类器或者模型正确预测正样本纯度的能力,减少将负样本预测为正样本,即负样本被预测为正样本占总的负样本的比例。值越小,性能performance越好。

FAR=FPFP+TN=FPNFAR = \frac{FP}{FP+TN}=\frac{FP}{N}


5. 漏检率(Miss rate)

反映分类器或者模型正确预测负样本纯度的能力,减少将正样本预测为负样本,即正样本被预测为负样本占总的正样本的比例。值越小,性能performance越好。

MR=FNTP+FN=FNPMR = \frac{FN}{TP + FN} = \frac{FN}{P}


6. F1 系数

  • 综合查准率查全率

F1=2PRP+R=2TR样例总数+TPTNF1 = \frac{2*P*R}{P+R}=\frac{2*TR}{\text{样例总数}+TP-TN}

  • 更一般形式

Fβ=(1+β2)PR(β2P)+RF_\beta=\frac{(1+\beta ^2) *P*R}{(\beta^2*P)+R}

其中 β\beta 为正数,度量了查全率对准确率的相对重要性

  1. β=1\beta = 1:标准的 F1 系数
  2. β>1\beta > 1:查全率的影响较大
  3. β<1\beta < 1:查准率有更大影响

本文参照:https://blog.csdn.net/liveshow021_jxb/article/details/111727883


标题: 机器学习 — 性能度量
链接: https://www.fightingok.cn/detail/44
更新: 2022-09-18 22:33:57
版权: 本文采用 CC BY-NC-SA 3.0 CN 协议进行许可