机器学习中的性能评估与数据集处理
1. 人类水平性能概述
人类水平性能（Human - Level Performance，HLP）在机器学习评估中是一个重要概念。在人类擅长的任务，如图像识别中，人类水平性能可作为贝叶斯误差的良好近似。但对于人类不擅长的任务，其性能可能与贝叶斯误差相差甚远。
Andrej Karpathy在2014年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中的工作很好地说明了人类水平性能的评估复杂性。该挑战包含120万张图像的训练集，分为1000个类别。GoogleLeNet模型达到了6.7%的误差率，Karpathy想了解人类的表现如何。
最初认为由于图像由人类分类，人类水平误差率（ϵhlp）应为0%，但实际并非如此。图像通过网络搜索获取，然后通过向人们询问二元问题（如“这是一个钩子吗？”）进行过滤和标注，并非像算法那样从1000个类别中为每张图像分配一个类别。
Karpathy开发了一个网络界面，左边是图像，右边是1000个类别及示例。人们使用该界面时不断漏选类别和犯错，最佳误差率约为15%。后来，Karpathy亲自进行仔细标注，达到了惊人的ϵhlp = 5.1%，比当时最好的算法还要好1.7%。他还列出了GoogLeNet比人类更易出错的情况（如图像中有多个对象），以及人类比GoogLeNet更易出错的情况（如类别粒度大，像狗有120个不同子类）。
2. MNIST数据集上的人类水平性能
MNIST数据集上的人类水平性能也有广泛分析，结果显示ϵhlp = 0.2%。人们可能疑惑为何人类不能100%准确分类简单数字，实
