自主式AI对安全专家来说既是福音也是祸患

发布时间：2025-11-04 14:31:16 来源：云智核 作者：应用开发

网络安全在自主式AI面前站在了一个十字路口，自主专我们从未拥有过如此强大的式A说既工具，它可以在眨眼之间创建大量的安全代码，发现并解除威胁，福音并且可以被如此果断且防御性地使用，也祸这已经被证明是自主专一个巨大的力量倍增器和生产力红利。

但虽然功能强大，式A说既自主式AI却并不可靠，安全这就是福音目前的困境。所创建的也祸代码可能包含微妙的缺陷，并且最终可能会弊大于利，自主专比如通过助长网络钓鱼诱饵和构建新型恶意软件。式A说既Gartner预测，安全到2027年，福音智能体将使利用账户的也祸时间减少50%。另一份报告发现，在接受调查的企业中，有40%在过去一年中经历了与AI相关的安全漏洞。例如，2022年的动视(Activision)泄露事件始于一系列AI增强的短信网络钓鱼信息。Kela在其2025年AI威胁报告中报道，WordPress模板与2024年相比，2025年AI恶意工具的数量增加了200%。

恶意软件正变得越来越复杂，其创造者也越来越擅长隐藏他们的手法，以便他们可以在企业网络中存活更长时间，并造成更有针对性的破坏。攻击者正在从“广撒网”的方式(即他们只是将恶意软件遍布全球)转变为“瞄准并潜伏”的方式(即他们对自己的攻击更加有选择性且更加吝啬)。这种焦点的转变得到了自主式AI的帮助。这些智能体可以被用来筛选目标，以找到可以被恶意软件攻破的薄弱端点，或者使用该端点来窃取数据、发动勒索软件攻击，或者提供可用于对高管发起社交攻击的信息。在过去，这些类型的操作需要时间、技能和手动操作，而所有这些都可以通过自主式AI来缩短。

这些以及其他数据点显示了智能体红利的阴暗面，它已变成了一种祸害，并为安全防御者创造了更多的高防服务器工作。“对于几乎所有情况，自主式AI技术都需要高水平的权限、权利和特权才能运行。我建议安全领导者应考虑任何自主式AI部署可能对您的基础设施产生的隐私、安全、所有权和风险。”BeyondTrust的首席安全顾问Morey Haber说。

分析师Jeremiah Owyang将智能体描述为“可以感知其环境、做出决策并采取行动以实现特定目标的自主软件系统，通常具有随时间学习和适应的能力”。自主式AI通过自主协调一组智能体，以及与数据库、模型和其他软件的一系列自定义集成，将这一过程更进一步。这些连接使智能体能够动态适应其环境，具有更高的情境感知能力，或者协调多个智能体之间的行动。谷歌的威胁情报团队在最近的一份报告中有很多关于当前AI滥用行为的具体示例。

但信任安全工具并不是b2b供应网什么新鲜事。当网络数据包分析器首次引入时，它们确实揭示了入侵行为，但也被用来寻找脆弱的服务器。防火墙和VPN可以隔离和划分流量，但也可能被黑客利用来获得访问权限和网络横向移动的权限。后门既可用于好的目的，也可用于邪恶的目的，但从未有像这些旧工具一样在同一时间表现得如此出色又如此糟糕。在开发自主式AI的匆忙中，也创造了未来可能带来苦难的潜力。

最近，我们看到了许多如何快速构建自己的自主智能体的例子已经生根发芽。上个月，微软展示了六个新的智能体，它们与其Copilot软件一起工作，直接与各种安全工具对话，以识别漏洞、标记身份和资产泄露。Simbian本月正在举办一场基于AI的夺旗比赛，其中的操作环境是一个由AI驱动的安全运营中心(SOC)，智能体已经处理了一系列警报。在2023年的DEFCON大会上首次举行了类似的比赛。人类参与者必须弄清楚哪些警报是真实的。另一个令人担忧的例子是，ZeroEyes公司已经生产了智能体工具，可以快速扫描每秒数千张安全闭路电视图像，以发现枪支，从而辅助执法活动。

AWS的CISO Chris Betz谈到，他们已经开发了各种智能体，节省了无数小时的手动工作，比如将数万个旧版Java应用程序更新到最新版本。“我们发现，79%的智能体生成的代码不需要进行任何更改，而且大部分剩余的问题在几个小时内就得到了解决。”Betz说。AWS还使用智能体将.Net代码转换为Linux，并转换主机和VMware应用程序。“我们的工作量性能也提高了四倍。”Betz说。

安全专业人员可以使用多种工具和策略来对抗智能体威胁，并将它们用于好的目的，而不是邪恶的目的。

今年早些时候，开放Web应用安全项目(OWASP)发布了其关于自主式AI威胁的综合报告，以提供实用且可操作的参考指南，帮助人们识别和缓解这些威胁。它描述了一个智能体参考架构，阐述了各种智能体模式(例如，能够反思性地批判自己输出的智能体，或有特定任务和目标的智能体)。该报告还描述了云安全联盟(Cloud Security Alliance)的Maestro方法论和框架所采用的威胁建模方法，为智能体操作带来了更多的清晰度和理解。

OWASP的作者提出了一个要点：“白帽和黑帽黑客通常都是通过实践来学习，而我们这个以应用程序为中心的世界为他们提供了磨练技能的充足机会”，因为智能体攻击的增加在持续。尽管如此，“应用程序的攻击率已达到前所未有的水平，Digital.ai监测到的应用程序中，有82.7%在2025年1月遭受到了攻击。”

另一个了解不同智能体之间差异的良好起点可以在Appian的安全分析师Dylan Williams的“智能体蓝图”中找到。他展示了智能体如何在安全领域的各个方面发挥作用，包括警报和威胁搜寻，并回顾了各种当前常见的智能体构建框架。

AI诚信与安全使用基金会(AI Integrity and Safe Use Foundation)的Helen Oakley也提出了其他指导方针，包括：

• 强大的数据治理至关重要，需要严格的访问控制和高质量、无偏见的数据集。

• 应纳入决策日志，以确保透明度和问责制。

• 智能体之间的通信协议需要加密，以防止拦截或篡改。

AWS的Betz从他们的智能体经验中吸取了一些教训，包括：

• 使用身份验证和授权来隔离和分离基础模型操作与智能体。

• 智能体应将输出视为不受信任的代码，并执行典型操作，如语法检查和规则验证。

• 所有AI生成的代码最初都应在沙箱中运行，以确保其正常工作。

• 了解智能体如何生成代码：可观察性很重要。

• 使用自动化和手动方法(包括进行红队演练)进行测试。

考虑实施自主式AI的一个地方是在您的SOC内。考虑到平均SOC每天会收到数百甚至数千个警报，智能体可以用于自动化威胁调查、剧本创建、修复和过滤不重要的威胁。包括Dropzone、D3Security、Radiant Security、Securiti和Torq在内的多家安全供应商都提供这些工具。

以下是潜在自主式AI买家在评估这项新技术时应考虑的一些问题：

• 研究任何智能体的内置推理能力，并了解其工作原理。

• 你是否需要非文本输入(如图像、视频和声音)的智能体处理?

• 你的智能体是否使用了多个大型语言模型(LLM)或开发框架，以及它们是如何相互作用的?

• 使用什么身份验证来验证用户、工具或服务，其牢固程度如何?

• 智能体是否可以处理敏感信息或个人身份信息?

AI战略家和书籍作者Kate O’Neill表示，“安全仍然取决于最终用户的行为、你如何阐述你的政策，以及你如何了解智能体的功能和所涉及的风险，以及你可以实现哪些生产力提升。”

相关文章