JLU-ICS 关于可信人工智能的研究成果被ESWA接收
实验室可信人工智能方向工作“Enhancing Fairness in Decision-Making of Natural Language Understanding Systems: An Intersectional Bias Debiasing Model via Information Theory-based Disentanglement”被中科院SCI一区期刊Expert Systems With Applications接收。该论文第一作者为吉林大学助理研究员李莹姬,通讯作者为吉林大学副教授胡俊成,其他合作者包括吉林大学助理研究员宋瑞和教授胡亮。该论文提出了一种基于信息论解缠的交叉偏见去偏模型IBDM,通过将交叉偏见的指数级复杂度降至线性级,并结合变分自编码器与随机反事实数据增强,有效缓解预训练语言模型中的交叉偏见问题。
研究背景在预训练语言模型(PLMs)社会偏见缓解研究中,现有方法多针对单一偏见进行设计与评估,普遍忽视跨多个人口群体的交叉偏见问题。然而,偏见方向的非线性组合使得现有去偏方法难以有效推广到交叉场景,并导致计算复杂度呈指数级增长。
为此,本文提出一种基于信息论的解纠缠交叉偏见去偏模型(IBDM),通过对 PLMs 编码的表征进行信息解纠缠,缓解交叉偏见并提升下游任务的决策公平性。
具体而言,我们利用不同人口群体间的独立性假设,将去偏过程的计算复杂度从指数级降低至线性级,并基于变分自编码器解耦公平表征与多个单一偏见表征,在任务标签与敏感属性标签的共同约束下进行学习。同时,引入随机反事实数据增强策略,以进一步提升公平表征的准确性与稳定性。
实验设计在实验部分,我们将通过探究以下问题来展示IBDM的实际表现:Q1:在下游任务中,IBDM在准确性与公平性的权衡方面表现如何?Q2:IBDM对公平表征与偏见表征的有效解纠缠程度如何?Q3:IBDM中的各个组成部分分别起到什么作用?Q4:独立性假设如何影响IBDM的去偏性能?
实验结果Q1:去偏性能分析。我们评估了IBDM在下游任务中的去偏能力并展示了具体的去偏示例。结果表明,IBDM 能有效减少交叉偏见,同时保持了下游任务的预测性能。
Q2:表征解纠缠分析。我们进行了定性和定量分析,以评估在 IBDM 所采用的解纠缠策略的有效性。实验证实了IBDM 能够成功地将与任务相关表征与偏见相关表征区分开来,验证了我们所采用的信息论框架。
Q3:消融研究。我们在三个下游任务上进行了消融实验。实验表明,所有变体在不同程度上影响了 IBDM 的公平性和准确性。每个组成部分对于去偏和下游任务都至关重要,其中 RCDA 特别有助于提高解耦的稳定性。
Q4:独立性假设的敏感性分析。我们通过进行一项有控制的敏感性分析来研究独立性假设如何影响 IBDM 的去偏效果。结果显示,当敏感属性之间的依赖性增强时,去偏效果会减弱。但 IBDM 在轻微至中度的偏见情况下仍保持相对稳定,而且即使在独立性假设明显被违背的情况下,其表现也依然优于基准模型。该成果受到国家重点研发计划(2024YFB3310200)、吉林省教育厅(JJKH20261301KJ)和博士后科学基金(2024M761122)的资助。
Expert Systems With Applications(ESWA)是爱思唯尔旗下专注于人工智能与智能系统应用的国际权威期刊(2024年影响因子7.5,中科院SCI一区,JCR一区)。该刊强调理论结合实践,聚焦机器学习、智能决策等前沿技术在工程、医疗、金融等领域的创新应用。其审稿标准严格,要求研究兼具算法创新与充分的实证验证,是国际学界公认的高水平应用人工智能研究成果发表平台。