EMNLP 2024(The 2024 Conference on Empirical Methods in Natural Language Processing)计划于2024年11月12日至11月16日在美国佛罗里达州迈阿密召开。EMNLP是自然语言处理领域顶级国际会议之一,其涉及领域包括但不限于机器翻译、文本生成、文本分类、信息抽取、问答系统、语言模型等研究方向。
论文题目:Mitigate Extrinsic Social Bias in Pre-trained Language Models via Continuous Prompts Adjustment
第一作者:戴奕维(2023级必赢766net手机版)
收录会议:EMNLP’2024 (清华A类)
指导教师:王鑫
论文概述:尽管预训练语言模型已经在自然语言理解任务上获得了广泛的使用,但是其在公平性方面仍然存在问题。大多数去现有的外部去偏方法都依赖于为每个敏感组人工构建保留属性词表,然后通过修改训练数据或者添加公平性约束进行去偏。然而,这些人工构建的词表会受到词表长度和覆盖范围的限制,从而影响去偏的性能。为此,我们提出了一种连续提示调整的去偏方法(CPAD),将任务目标和公平性目标封装到不同的连续提示中,利用连续提示从整个候选词空间生成连续的去偏词表,以此优化公平性的提示,最后通过整合任务和公平性的连续提示,实现对下游任务的去偏。大量实验证明了CPAD在一元保留属性和二元保留属性去偏的有效性和可靠性。