近期，智能信息处理研究所研究团队在贝叶斯误差率估计的理论与方法研究方面取得了重要进展，相关成果以“Evaluating Classification Model Against BayesError Rate”为题于2023年1月18日在人工智能领域国际顶级期刊《IEEE Transactions on Pattern Analysis andMachine Intelligence》（简称TPAMI，影响因子：24.314）在线发表。该论文第一作者为2019级博士生陈庆强，通讯作者为曹付元教授和梁吉业教授，合作者为2019级博士生邢颖。
如何精准估计贝叶斯误差率是机器学习中的一个研究难题。贝叶斯误差率是分类器所能达到的最低误差率，可为模型性能提升提供理论上的参照标准。近年来，基于散度估计贝叶斯误差率的方法受到了较多的关注，但这些方法只能提供贝叶斯误差率的上下界，并不能为模型性能提升提供精准的参照，如图1所示。
图1 贝叶斯误差率和贝叶斯误差率上下界在模型评估中的区别
针对贝叶斯误差率不可精准计算面临的挑战，该研究提出了一种基于贝叶斯决策理论和渗透理论的贝叶斯误差率计算方法。具体地，基于贝叶斯决策理论，证明了贝叶斯误差率与贝叶斯分类器误分类样本占所有样本的比例具有统计一致性（见定理1）：
基于随机环境中聚簇现象理论（渗透理论），建立了误分样本与聚簇大小的关系。基于标签传播算法和聚簇构建算法，提出了可直接估计贝叶斯误差率的方法，如图2所示。研究成果突破了基于散度估计贝叶斯误差率上下界的传统思维，为精准的贝叶斯误差率估计提供了有效的计算方法。
图2 基于标签传播算法的贝叶斯误差率计算方法框架
在合成数据集和真实数据集上的对比实验验证了所提方法（BN-BER）的有效性（见图3）。除模型评估外，BN-BER还可以用于刻画神经网络的表达能力（见图4），对确定神经网络训练的迭代次数具有重要的指导意义。
图3 在合成数据集上不同方法的有效性比较
图4 在CIFAR10和CIFAR100数据集上AlexNet的训练误差、测试误差和BN-BER的比较
该研究工作得到计算智能与中文信息处理教育部重点实验室、科技创新2030-“新一代人工智能”重大项目、国家自然科学基金面上项目的支持。
据悉，TPAMI期刊于1979年建刊，是国际上公认的人工智能领域顶级期刊，同时也被中国计算机学会（CCF）推荐为人工智能领域的A类期刊，主要刊登人工智能领域的高质量前沿研究成果。