在模型评估过程中，分类、回归、排序问题往往使用不同的指标进行评估。分类问题通常用准确率、召回率、精准率、F1值等指标进行评估；回归问题使用MSE、RMSE、R^2、MAPE等；

1 分类评估原理

1.1 准确率的局限性

我们经常接触的评价指标就是准确率，当准确率很高，我们则认为这个模型很好，但是如果存在数据样本不均衡，当负样本占99%时，分类器将所有的样本都预测为负样本，也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别就成了影响准确率的最主要因素。

1.2混淆矩阵

针对“二分类”问题，我们可以建立混淆矩阵。

		预测值
		P	N
真 实 值	P	TP	FP
	N	FN	TN

其中，P是Positive，代表正例，N是Negative，代表负例。

• TP：真实值为正例，被预测成正例
• FP：真实值为正例，被预测成负例
• TN：真实值为负例，被预测成负例
• FN：真实值为负例，被预测成正例
• 精准率（Precision）：判断正例有多少被预测准确的，即TP/(TP+FP)
• 召回率（Recall）：判断被预测为正例的有多少是准确的，即TP/(TP+FN)
• F1：2*(P*R/P+R)

1.3 P-R曲线和ROC曲线

P-R曲线是从查准率和查全率的角度去衡量学习模型的泛化性能，P-R曲线的横轴是召回率，纵轴是精准率，在曲线上的一个点都代表，在某一阈值下，模型将大于该阈值的样本判定为正样本，小于该阈值的样本判定为负样本。

ROC曲线是受试者工作特征曲线（Receiver Operating Characteristic Curve）,常用来进行模型评估。ROC曲线是通过不断移动分类器的“截断点”来生成曲线上的一组关键点的，设定阈值（截断点），当预测样本的概率大于阈值时，被判断为正例。ROC的横纵坐标表示为

• 横坐标（假阳性率FPR）：FP/N
• 纵坐标（真阳性率TPR）：TP/P

当截断点是正无穷时，所有的样本被判定为负例，则FP和TP为0，FPR和TPR也为0，曲线的第一个坐标为0.反之，最后一个坐标为（1,1）。

经测试，在样本不均衡时，ROC曲线基本保持原貌，而P-R曲线则变化较大。

1.4 AUC

AUC是ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出的模型性能。AUC的取值范围在0.5-1之间。

1.5 BLEU（机器翻译）

BLEU（bilingual evaluation understudy）是机器翻译常用指标。

1.6 RougeL（文本摘要）

RougeL是基于LCS（最长公共子序列）的Recall-Oriented Understudy for Gisting Evaluation，常用于文本摘要。

2、回归问题评估指标

回归问题通常是用MSE，RMSE，MAPE等指标

MSE是均方误差（Mean Squared Error），真实值减去预测值，公式为

RMSE是均方根误差（Root Mean Squared Error），公式为

当模型因为个别离群点导致RMSE指标表现性不好时，可以考虑用MAPE指标。

MAPE是平均绝对百分比误差（Mean Absolute Precent Error）,公式为

3 paddle的应用

3.1.Paddle

所在包：paddle.metric

• 准确率Accuracy

参数：

• AUC(ROC曲线下的面积)

参数：

• 精准率（Precision）是被预测为正样例中实际为正的比例。

参数：

• 召回率（Recall）是指得到的相关实例数占相关实例总数的比例。

参数：

3.2.Paddlenlp

所在包：

• BLEU（bilingual evaluation understudy）是机器翻译常用指标

• ChunlEvaluator是常用于序列标注任务，例如命名实体识别（NER），计算组块chunk的precision, recall and F1-score

• DistinctDistinct是一种通过计算不同n-gram的数量来评估生成文本的文本多样性的算法。不同n-gram的数量越大，文本的多样性越高

• AccuracyAndF1是计算Accuracy, Precision, Recall and F1 metric logic

• MCC是计算 Matthews correlation coefficient （相关系数）
• PearsonAndSpearman是计算Pearson correlation coefficient and Spearman's rank correlation coefficient .（相关系数）
• Perplexity是计算交叉熵的时候用的

• RougeL是基于LCS（最长公共子序列）的Recall-Oriented Understudy for Gisting Evaluation

参考：

常见32项NLP任务及其评价指标和对应达到SOTA的paper

paddlenlp

飞浆官网