中国经济网北京2月29日讯（记者王婉莹） 今日，奇安信集团对外发布《2024人工智能安全报告》（以下简称《报告》）。《报告》显示，2023年AI深度伪造欺诈激增30倍，但目前业界对AI潜在风险的研究与重视程度仍远远不足，在积极拥抱大模型等人工智能技术之时，各界对其安全风险应保持警醒。

大模型引爆AI热潮，双刃剑效应显现

2022年以后，以ChatGPT为代表的大语言模型（Large Language Model，LLM）AI技术快速崛起，后续的进展可谓一日千里，迎来了AI技术应用的大爆发，展现出来的能力和效果震惊世界。

IDC调研显示，67%的中国企业已经开始探索 AIGC 在企业内的应用机会或进行相关资金投入。IDC预测，2026年中国AI大模型市场规模将达到211亿美元，人工智能将进入大规模落地应用关键期。

《报告》认为，“AI是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。”

根据《报告》，2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件增长了1000%。

业界对AI风险重视不足

《报告》深入研究了基于AI的深度伪造（Deepfake）、黑产大语言模型基础设施、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁，对其技术原理、危害情况、真实案例等进行了深入的剖析，旨在让业界更全面的认识到AI普及带来的两大主要挑战：一方面放大了现有威胁，比如钓鱼邮件、恶意软件等；另一方面是引入了新型威胁，如AI深度伪造等。

《报告》认为，AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等，亟需业内的高度重视和积极应对。

AI威胁该如何应对？推动安全范式变革

《报告》从安全行业、监管机构、政企机构、网络用户等群体角度，给出了应对AI威胁的建议。其中安全行业需要继续发挥能力优势，确保人工智能本身的安全性，并积极利用人工智能用于安全防护；监管机构需要对AI潜在风险与影响保持持续关注，在制度和法规上及时提供支持；政企机构需及时部署AI安全框架和解决方案，以及AI安全评估服务和检测工具，还要依托AI推动安全升级；网络用户在尝试最新人工智能应用的同时，同样需要更新安全知识，形成良好的安全习惯。

奇安信AI安全专家认为，一个影响深远的新技术出现，人们一般倾向于在短期高估它的作用，而又长期低估其影响。专家提醒，无论监管机构、安全行业，还是政企机构，都需要积极拥抱潜力巨大的AI技术与大模型，同时审慎评估其影响的不确定性，确保监管与治理及时跟进，不能“先上车再补票”。