统计应用

分类器评价、混淆矩阵与 ROC 曲线

分类器评价、混淆矩阵与 ROC 曲线

阿稳 / 2011-09-16

本文转载自阿稳的博客，原文链接请点击此处。本文主要介绍了数据挖掘中分类器的评价指标，以及混淆矩阵、ROC 曲线等内容。作者简介：阿稳，豆瓣，算法工程师。感兴趣的领域：推荐系统，数据挖掘，算法架构及实现的可扩展性，R 环境编程。博客 http://www.wentrue.net/blog/。假定你基于贝叶斯理论、神经网络或其他技术建立了自己的分类器。你如何得知自己是否干了一项漂亮的工作呢？你如何得知是……

机器学习

分类模型的性能评估——以 SAS Logistic 回归为例 (3): Lift 和 Gain

分类模型的性能评估——以 SAS Logistic 回归为例 (3): Lift 和 Gain

胡江堂 / 2009-02-18

书接前文。跟 ROC 类似，Lift（提升）和 Gain（增益）也一样能简单地从以前的 Confusion Matrix 以及 Sensitivity、Specificity 等信息中推导而来，也有跟一个 baseline model 的比较，然后也是很容易画出来，很容易解释。以下先修知识，包括所需的数据集： […] 说，混淆矩阵 (Confusion Matrix) 是我们永远值得信赖的朋友：……

机器学习

分类模型的性能评估——以 SAS Logistic 回归为例 (2): ROC 和 AUC

分类模型的性能评估——以 SAS Logistic 回归为例 (2): ROC 和 AUC

胡江堂 / 2008-12-31

上回我们提到，ROC 曲线就是不同的阈值下，以下两个变量的组合（如果对 Sensitivity 和 Specificity 两个术语没有概念，不妨返回，《分类模型的性能评估——以 SAS Logistic 回归为例 (1): 混淆矩阵》，强烈建议读者对着看）： […] Sensitivity（覆盖率，True Positive Rate） 1-Specificity (Specificity, 负例……

机器学习

分类模型的性能评估——以 SAS Logistic 回归为例 (1): 混淆矩阵

分类模型的性能评估——以 SAS Logistic 回归为例 (1): 混淆矩阵

胡江堂 / 2008-12-25

跑完分类模型（Logistic 回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如 Confusion Matrix、ROC、Lift、Gini、K-S 之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大：“这个模型的 Lift 是 4，表明模型运作良好。——啊，怎么还要解释 ROC，ROC 如何如何，表明模型表现良好……” 如果不明白这些评估指标的背后的直觉，就很可能陷入这样……