9月，首个大模型攻防主题的科技赛事—“全球AI攻防挑战赛”官宣启动。该赛事聚焦AI大模型产业实践，设计了攻、防双向赛道，邀请各路白帽黑客、技术人才分别进行针对文生图大模型“数据投毒”的攻防实战演练，以及金融场景大模型生成内容的防伪检测竞赛，角逐丰厚科技奖金。
本次大赛由中国图象图形学学会、蚂蚁集团、云安全联盟（CSA）大中华区联合主办，广泛联合清华大学、上海交通大学、浙江大学等高校及多家产学研组织共同发起，上海人工智能实验室作为技术合作单位。大赛旨在通过技术竞赛的形式，凝聚学界、行业力量，直面并解决大模型应用中潜藏的风险，助力全球AI产业健康可持续发展。
在全球范围内，人工智能与大模型的快速发展正以前所未有的速度重塑各行各业，其影响力触及社会生产生活的方方面面。然而，这一技术加速大范围落地应用的同时，也带来了模型内部幻觉、算法漏洞和深度生成内容滥用等安全与伦理挑战。探索并强化大模型及其应用内容的防御体系，是保障大模型规模化落地应用的重要条件。
据大赛主办方介绍，大赛设置了“攻击”与“防守”两大赛道，分别聚焦大模型自身安全和大模型生成内容的防伪检测及大模型滥用风险检测，涵盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域的考点。
其中，“攻击赛道”聚焦于文生图大模型的实际应用风险问题。参赛选手可通过目标劫持、情景带入、逻辑嵌套等多样化的动态攻击诱导技术，诱发大模型输出风险图像，以此激活大模型的潜在弱点和漏洞，增强大模型生图的安全免疫能力。“防守赛道”则聚焦于AI核身中的金融场景凭证篡改检测，以应对日益严峻的Deepfake深度伪造及AIGC假证风险。大赛提供百万级凭证篡改数据训练集，参赛选手需要研发和训练模型，并利用对应的测试集评估模型有效性，给出数据伪造概率值。
为保证大赛公平公正，同时更好地指导选手，大赛评委团由多位学术界与工业界专家共同组成。中国工程院院士、中国图象图形学学会理事长王耀南，云安全联盟（CSA）大中华区主席李雨航担任本次大赛的指导委员会主席，来自清华大学、上海交通大学、上海人工智能实验室等多所高校、科研单位的近30位知名学者将参与大赛的组织及评审工作。
本次大赛于9月6日正式启动报名，11月初完成赛事评审。即日起，选手可通过中国图象图形学学会官网、阿里云天池平台官网等渠道报名。大赛全程设有高额科技奖金池，用以选拔及表彰领域内的优秀人才。