首页 > 互联网 > > 正文

张敏:提升算法公平性不会降低准确性,二者可相互促进

2022-03-24 20:24:56    来源:中新经纬

中新经纬3月24日电 (王玉玲)近日,由中国人民大学高瓴人工智能学院、智能社会治理跨学科交叉平台和基于大数据文科综合训练国家级虚拟仿真实验教学中心联合主办的算法公平性与内容生态建设研讨会在线上举行。清华大学计算机科学与技术系副教授张敏表示,非常高兴看到越来越多的国际和国内同行,开始从技术层面关注算法公平性的研究。

她表示,“公平性”在信息检索领域主流学术会议中已经受到广泛的重视。早在2017年,张敏团队就已经使用帕累托优化来做推荐系统的群组推荐。该工作已经被引用上百次,且在2020年以来激增。“我们使用帕累托优化关注群组的公平性。在群组里面,如果优化了对一个人的推荐,不会使群组中任何一个人受损,这样的推荐就符合帕累托优化。”张敏说道。

张敏指出,TikTok的推荐算法入选MITT echnology Review2021的“全球十大突破技术”,是算法公平性受到广泛关注的一个典型事件。在TikTok算法中,推荐结果的产生不仅仅依靠博主的粉丝数和热门视频的数量,更重要的是将视频标题、声音、内容标签等属性信息、以及与用户观看或点赞过的视频、拍摄过的内容等细分兴趣领域相结合,融合基于协同过滤及内容推荐的典型个性化推荐方法做出最终的推荐。由此,TikTok中普通用户发布的视频也有可能获得与网红视频一样甚至更多的推荐,此外,推荐算法还可以帮助用户拓展其可能感兴趣的新的细分领域的内容,从而提升了用户在新颖性和惊喜性方面的需求,这是推荐算法在公平性方面的一个代表性的成功的产业应用。

接下来,张敏表示,在算法公平性中存在三大误解,需要加以纠正与探讨:第一,提升算法公平性并不总是会使准确性下降,算法的准确性和公平性可以实现双赢。“早期相关研究中经常发现,提升了系统公平性,总是会使得准确性有所损失。但是随着研究的不断深入,在探究算法公平性和准确性的关系上,我们近期的研究成果表明:提升公平性并不总是会使得推荐准确性下降,我们在真实场景的大规模数据上的实验结果,已经实现了在提升公平性的同时还能提升推荐系统的精准性。”张敏说道。

第二,“公平”与“无偏”并不等同。比如位置偏置在推荐系统中一定存在,位置靠前的推荐结果被用户看到的可能性就会更大,这是客观事实。“一方面,公平的系统不一定是无偏的;另一方面,无偏的系统也可能仍然存在不公平性。但是二者有关联性。比如不同时间购买的机票,机票的价格可能会有所不同,但这并不是不公平的现象。因此,研究公平性需要关注的是那些表面上看起来无差别,但其实有可能带来不公平现象的因素或者场景。因此,我们追求的不是、也不可能实现完全无偏的系统,关键在于算法的设计要考虑系统中存在的偏置。如果将偏见因素考虑进算法的设计过程中,那推荐结果有可能更公平一些。”张敏说道。

第三,对于个性化和公平性是否有冲突,“前面我们已经探讨和验证了提升算法公平性并不会使准确性下降,算法的准确性和公平性可以实现双赢,而对于个性化和公平性,我直觉上认为它不一定有冲突,但还需要更多探讨。”张敏说道。

此外,张敏还分享了算法公平性研究的经验。第一,公平性问题非常复杂,其定义有多个标准,比如过程公平、结果公平;个体公平、群体公平;单一公平、均摊公平等。由此,对算法公平性的研究允许复杂的公平性定义,但需要透彻理解不同公平性定义的适用场景和范围。

最后,还需要设计和构建的用于公平性研究的数据集、评估标准,以及测评方法。“我觉得是时候将来自不同领域的专家和学者联合起来,通过交叉领域的融合,共同推进不同场景下的算法公平性研究。”张敏说道。(中新经纬APP)

关键词:

上一篇:
下一篇:

热点话题

热点推荐

头条