湖南龙网

  1. 首页 > 生活杂烩 > >

AI|三方联合推出人工智能安全评估平台

（采访人员沈春蕾）人工智能（AI）模型究竟是否安全 ， 攻击和防御能力如何？日前 ， 清华大学、阿里安全、瑞莱智慧联合推出了AI攻防对抗基准平台 。该平台致力于对AI防御和攻击算法进行自动化、科学评估 ， AI安全基准依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES建立 。
【AI|三方联合推出人工智能安全评估平台】参与该评测基准平台设计的阿里安全高级算法研究人员越丰打了一个比喻：“就像打仗一样 ， 攻击者可能用水攻 ， 也可能用火攻 ， 还可能偷偷挖条地道来攻打一座城；守城的人不能只考虑一种可能性 ， 必须布防应对许多的攻击可能性 。”
美国伊利诺伊大学计算机科学系教授李博认为 ， 机器学习在推理和决策中的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中 ， 但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布 ， 并未考虑潜在攻击者恶意修改两种数据分布 。
他解释道 ， 这相当于在一个人成长的过程中 ， 故意对他进行错误的行为引导 。恶意攻击者可以在测试时设计小幅度扰动 ， 误导机器学习模型的预测 ， 或将精心设计的恶意实例注入训练数据中 ， 通过攻击训练引发AI系统产生错误判断 。这好比是从AI“基因”上做了改变 ， 让AI在训练过程中按错误的样本进行训练 ， 最终变成被操控的“傀儡” ， 只是使用的人全然不知而已 。
采访人员获悉 ， 不同于之前只包含零散攻防模型的对抗攻防基准 ， 此次三方联合推出的AI对抗安全基准基本包括了目前主流的人工智能对抗攻防模型 ， 涵盖了数十种典型的攻防算法 。不同算法的比测尽量采用相同的实验设定和一致的度量标准 ， 从而在最大限度上保证了比较公平性 。
除此之外 ， 此次发布的AI安全排行榜也包括了在刚刚结束的CVPR2021人工智能攻防竞赛中诞生的前5名代表队的攻击算法 。此次竞赛获得了全球2000多支代表队提交最新算法 ， 进一步提升了该安全基准的科学性和可信性 。
清华大学计算机科学与技术系教授朱军告诉《中国科学报》：“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法性能建立的AI安全基准具有重要学术意义 ， 可以更加公平、全面地衡量不同算法的效果 。”
清华大学、阿里安全、瑞莱智慧三方都表示 ， 该基准评测平台不是专属于某一家机构或公司搭建的平台 ， 需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威AI安全评估平台 。

    推荐阅读


    上一篇：广州亚运会|域名里的中国故事

    下一篇：遗传风险|卒中风险天注定？ 早期干预可“改命”