雷火竞技-让AI学会“安全遗忘”——西安电子科技大学科研团队攻坚智能模型“后门”难题纪实

2025-11-07 14:33:03

科技日报记者 王禹涵 通信员 白毅鹏

“两个财主想比谁更富有,却都不肯袒露本身的家底。”这个被称为“姚氏百万财主问题”的经典难题,是安全计较范畴的出发点。如今,于智能模子无处不于的时代,它所隐喻的数据隐私与安全困境,变患上越发实际及紧急。

西安电子科技年夜学马卓传授团队恰是为此打造“安全盾牌”的人。他们完成的“开放情况下智能模子数据安全要害理论与技能”项目,得到2024年度中国电子学会天然科学奖二等奖,其焦点冲破之一,即是教会了AI怎样精准地“遗忘”。

“逆向思维”打造“双保险”

金融风控、主动驾驶、智能家居……于这些认识的运用暗地里,是运行于开放情况下的智能模子。它们数据来历繁杂、体系界限恍惚,犹如袒露于繁杂情况中的生命体,极易遭到进犯。

“进犯者可能假装成平凡数据提供方,于练习数据中植入‘后门’。”马卓形象地注释,“它就像一个‘卧底’,日常平凡连结静默,一旦被特定指令‘触发’,就会致使模子掉灵甚至犯错。”

传统防备要领犹如“年夜海捞针”,需要遍历所有数据,效率极低且成本昂扬。团队面对的挑战是:怎样于不“推倒重来”的条件下,精准、快速地从拥有亿万参数的繁杂模子中,找到并断根这个“卧底”?

谜底来自一个出色的“逆向思维”。“咱们反其道而行之。”马卓说,“练习模子是让它‘记住’,而咱们的新要领是让它学会‘遗忘’。”

团队从模子练习中最经常使用的“梯度降落”法中得到灵感,首创了“基在梯度上升的模子遗忘计谋”。马卓用了一个活泼的比方:“这就像咱们沿着当初‘学会’的路径反向操作,不寒而栗地让模子‘健忘’那些有害的影象。不克不及多,也不克不及少,要恰如其分。”

这项技能的效率晋升是倾覆性的。“之前的要领是‘搂’一遍所有数据,此刻咱们经由过程类似计较精准定位,履行效率晋升了两个数目级以上。”马卓先容。这象征着,处置惩罚一样使命的时间,从可能的“100小时”缩短到了“1小时”。

这项技能不仅能为已经部署的模子“排毒”,更付与了数据协作中“悔怨”的权力。当多家机构互助练习一个模子时,若此中一方因故退出,可以安全地“撤回”自身数据,而不影响模子的正常运行,从而于轨制层面为数据隐私及安全上了双保险。

磨炼产学研交融哨兵团队

一项技能从试验室走向财产运用,离不开一支既懂理论又知实情的团队。马卓团队的发展,深深植根在“产学研用”慎密联合的泥土。

“咱们的结果,很年夜水平上患上益在及企业交流中得到的开导。”马卓说。他鼓动勉励团队的青年西席及学生“走出去”,到财产一线去发明“真问题”。团队主干屡次深切头部科技企业与金融机构,将他们于风控、主动驾驶等场景中碰到的现实安全难题“带回来”,作为科研攻关的源头活水。

于人材造就上,马卓看重引发学生的内驱力。“我像个教导员,也做学生的思惟事情。”他笑着说。经由过程开设新生钻研课,他早早地将科研的种子播撒进低年级本科生心中。“要害是调动他们的踊跃性,让他们大白读年夜学、研究生的意义,学会正向地‘卷’本身。”

马卓对于学生要求十分严酷,他认为“测验只是基本要求,想要‘出类拔萃’,就要学他人不克不及学,做他人不克不及做。”但他也笃信因材施教,会按照成员特色计划标的目的。有的西席潜心科研,有的于讲授上年夜放异彩;还有有的博士生对于市场敏感,就成为鞭策财产立异的桥梁。

恰是于这类气氛下,一支涵盖算法理论、体系架构与工程实现的梯队快速发展。他们不仅产出了一系列具备自立常识产权的结果,更让技能于现实场景中扎下了根。

团队的发展轨迹,正印证了马卓的理念:“要构建‘科研指导+工程实践+交织交融’的人材造就机制,聚焦庞大需求,对准真问题,造就兼具理论深度及实践能力的复合型立异人材。”

(西安电子科技年夜学宣传部供图)

-雷火竞技

分享