随着AI应用场景的不断扩展,新的漏洞和攻击手法层出不穷,AI大模型的安全治理工作变得尤为重要。9月16日,在第22届中国网络安全年会(暨国家网络安全宣传周网络安全协同防御分论坛)上,国内首次针对AI大模型的实网众测检验结果揭晓。
本次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,得到了网络安全众测平台、国家网络安全人才与创新基地的技术和环境支持。活动动员了559名白帽子参与,包括网络安全企业专业人才、科研院校师生及社会上的白帽子。他们从外部攻击者的视角对大模型进行了多维度实战化测试,取得了丰富的成果。
测试涵盖了基础大模型产品、垂域大模型产品以及智能体、模型开发平台等相关应用产品,涉及单模态和多模态大模型。活动中,共对国内15款大模型及应用产品进行了漏洞测试,累计发现各类安全漏洞281个,其中大模型特有漏洞177个,占比超过60%,表明当前AI大模型产品面临大量传统安全领域之外的新风险。
典型漏洞风险包括不当输出类漏洞、信息泄露类漏洞、提示注入类漏洞、无限制消耗类攻击防护不足等。这些漏洞若被恶意利用,将对国内AI大模型产品生态造成严重影响。在参与测试的主流大模型产品中,腾讯混元大模型、百度文心一言、阿里巴巴通义App、智谱华章智谱清言等表现较好,显示出较高的安全防护水平。此外,梁宏宇、马宝新、刘铭等一批白帽子表现出色。
为加强AI大模型安全治理,官方提出了几点要求:持续加强安全防护措施,加快制定AI漏洞分类分级标准,通过众测模式汇聚社会力量共同维护AI安全,并将安全融入AI系统全生命周期,确保从源头上筑牢安全基石。
点击查看全文(剩余0%)