奇安信发布《2024人工智能安全报告》:AI深度伪造欺诈激增30倍

2024-03-01

作者:刘璐璐

来源:经济参考网

A-
A+

  2月29日,奇安信集团对外发布《2024人工智能安全报告》(以下简称《报告》)。《报告》显示,2023年基于AI的深度伪造欺诈暴增3000%,基于AI的钓鱼邮件增长了1000%;已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。人工智能技术的恶意使用将快速增长,在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。

  2022年以后,以ChatGPT为代表的AI技术快速崛起,展现出来的能力和效果震惊世界。IDC调研显示,67%的中国企业已经开始探索AIGC在企业内的应用机会或进行相关资金投入。IDC预测,2026年中国AI大模型市场规模将达到211亿美元,人工智能将进入大规模落地应用关键期。

  《报告》认为,“AI是一种通用技术,通用就意味着既可以用来做好事,也可以被用来干坏事”。具有巨大潜力的AI技术同时带来两大主要挑战:一是放大现有威胁,另一个是引入新型威胁。数据显示,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件数量增长了1000%;奇安信威胁情报中心监测发现,已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。

  《报告》深入研究了基于AI的深度伪造(Deepfake)、黑产大语言模型基础设施、利用AI的自动化攻击、AI武器化、LLM自身安全风险、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁,对其技术原理、危害情况、真实案例等进行了深入的剖析,旨在让业界更全面的认识到AI普及带来的威胁和挑战。这些基于AI的新型攻击种类与手段不断出现,已经在全球造成了严重危害。

  《报告》还认为,AI与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外,因训练语料存在不良信息,导致生成的内容不安全,正持续引发灾难性的后果,危害国家安全、公共安全以及个人安全,这些都亟需业内高度重视和积极应对。

  《报告》从安全行业、监管机构、政企机构、网络用户等群体角度,给出应对AI威胁的建议。其中安全行业需继续发挥能力优势,确保人工智能本身的安全性,并积极利用人工智能用于安全防护;监管机构需要对AI潜在风险与影响保持持续关注,在制度和法规上及时提供支持;政企机构需及时部署AI安全框架和解决方案,以及AI安全评估服务和检测工具,还要依托AI推动安全升级;网络用户在尝试最新AI应用的同时,同样需要更新安全知识,形成良好的安全习惯。

  奇安信安全专家认为,AI技术将会推动安全领域发生范式变革,全行业需启动人工智能网络防御推进计划,包括利用防御人工智能对抗恶意人工智能,以扭转“防御者困境”。(刘璐璐)


(责任编辑:王翔)


声明:文章版权归原作者所有,本文摘编仅作学习交流,非商业用途,所有文章都会注明来源,如有异议,请联系我们快速处理或删除,谢谢支持。


(原文章信息:标题:奇安信发布《2024人工智能安全报告》:AI深度伪造欺诈激增30倍,作者:刘璐璐,来源:经济参考网,来源地址:http://www.jjckb.cn/2024-02/29/c_1310765847.htm)

相关新闻

即时要闻

今日专题

热门资讯

佰里服务-公众号

扫码关注随时看