随着大模型技术的快速发展和智能代理应用的加速实施，人工智能已成为重塑生产模式和提高生产力的核心驱动力。然而，就像历史上所有的创新一样，大模型既有积极的一面，也有消极的一面。它们在各行业的深入应用不仅可以提高质量和效率，建立新的驱动力，而且由于大模型的特点，还可能放大数字风险的危害性、对抗性和隐蔽性。

在智能化时代，安全防护如何与时俱进？行业需要什么样的安全基础？全面的人工智能安全体系由哪些部分构成？未来又将如何演变？10月15日，腾讯云就“大模型与智能体时代的安全基础重构与云生态协同进化”展开深度对话。中国信息通信研究院云计算与大数据研究所开源与软件安全部副主任魏斌、电子科技大学信息与软件工程学院副研究员兼硕士生导师曹明生，以及腾讯云安全总经理苏剑东齐聚直播间，共同探讨数字安全的新趋势、新基础、新实践。

“一个小小的改变可能会产生连锁反应”

大型模型和智能代理加速了人工智能技术与产业的融合，但也使系统安全、信息安全、内容安全乃至决策安全面临更多风险。魏斌提到，人工智能安全相关政策已逐步实施，治理体系也逐步建立和完善，体现了发展与安全并重的治理理念。例如，今年8月，国务院发布了《关于进一步落实〈人工智能+〉行动计划的意见》，将安全管控与创新发展并列为一项核心原则。

与此同时，人工智能（AI）安全治理的格局也在不断发展。曹明生表示，传统安全主要侧重于网络安全和信息安全，风险主要源于利用漏洞后的营利活动。因此，安全行业的相应产品强调针对特定点的响应、系统保护和事件后补救。在大模型时代，安全更加注重认知安全，风险可能影响内容、决策甚至AI应用。因此，该行业将更加重视综合保护，以防止认知篡改或盗窃。

作为一家在大模型和智能代理方面具备综合实力的企业，腾讯对此有着深刻的见解。苏剑东指出，腾讯在行业实践中发现，如今企业面临的安全风险多样且复杂。这些风险包括传统的网络安全风险，以及大模型带来的风险，如底层系统重构、人工智能伦理道德、内容安全，以及企业构建知识库时产生的数据泄露风险。苏剑东强调，从表面上看，数据泄露和内容安全与传统风险非常相似，但其根本原因已发生重大变化，这对保护技术提出了新的要求。

苏剑东还认为，人工智能时代安全防护的最大痛点在于“未知性”。作为一种新兴技术，大型模型在不断演化和迭代的过程中会产生新的漏洞。例如，微软今年推出的Copilot就遭遇了重大数据泄露，带来了业内前所未有的攻击模式。此外，攻击者还会利用大型模型来增强其对抗能力，从而加快攻击速度。仅凭人工手段很难实现全面防护。

魏斌还提到，当前标准化体系建设和技术迭代的速度可能无法完全满足实际需求，这可能导致部分企业在深化安全防护认识和准备方面存在不足，从而影响安全能力的整体提升。曹明生补充说，技术与标准协同演化的不匹配问题亟待解决：首先，标准制定具有周期性，但技术变革会影响标准的实施；其次，不同行业导致不同场景，但标准往往追求普遍性。“我们建议根据不同领域和类型企业的整体行业规范进行细化。”

工业安全能力必须与时俱进

构建全周期、全链条保护

在明确了痛点与挑战之后，我们该如何构建一个适合大模型和智能代理时代的安全基础？

苏剑东透露，腾讯云在实践中采用网关方式来“把关”应用运营和外部交互。具体而言，它需要具备三项核心能力：

首先是纳入统一身份认证、访问控制和审计等通用功能，使所有接口代理或后端大型模型都能进行统一身份认证，进行风险控制接口对接，并在确保安全的前提下提供外部服务。

第二个方面是控制输入的能力，例如在输入端检查和控制提示内容，以确保没有恶意内容输入到后端，从而避免可能引发的风险，如提示注入、道德问题和越狱。

第三个方面是输出内容的控制，例如防止输出与政治、恐怖主义、暴力、色情有关的内容，以及违反伦理或包含偏见的内容，以及敏感数据的泄露。

曹明生还认为，一个安全的智能基础可以理解为一套既智能又安全的操作系统，其构建应从三个方面入手：首先，模型本身的安全性，包括对模型和智能代理的管理与监控，以及云、容器、数据和网络等安全环境；其次，检测交互的能力，这涉及在使用大型模型时实时收集行为和反馈，以预防风险；最后，对大型模型的控制和限制，以防止权限提升或越界行为。

系统建设是一种增强手段

整体安全能力的“主要前提”

同时，需要为安全平台建立一个成熟的标准体系，该体系不仅有助于能力的相互认可，还能提升整体安全能力，减少数字技术长链中的漏洞和盲点。

“我们不能只关注单一方面来应对漏洞。事实上，这是一种‘古老’的方法。我们需要采用一种涵盖整个生命周期并跨越多种场景的系统标准，”魏斌透露。在人工智能云安全的实践中，中国信息通信研究院逐步探索并建立了一套标准化的系统，该系统结合了事前的主动嵌入、过程中的实时检测以及事后的精确追踪。

系统建设涉及底层技术、通用能力、智能代理和开发平台等多个方面。曹明生认为，如果标准过于笼统，企业将难以准确找到技术实施的路径。然而，如果标准过于具体，则会影响企业创新。因此，应根据通用模块、行业模块甚至特定子领域来制定标准，以在技术创新和安全合规之间找到平衡。同时，应鼓励企业积极参与。

在企业实践层面，苏剑东还提出，内容安全和数据合规是安全工作的底线思维，在此基础上才能考虑具体行业的要求。例如，互联网公司通常使用基于软件即服务（SaaS）的大型模型，更关注本地个人隐私数据是否泄露，而金融行业则要求严格的数据保密性，并要求在本地部署大型模型。行业监管的差异也导致安全要求的不一致。这些细微之处往往隐藏着更大的风险。企业和组织需要系统全面地了解和调查潜在风险，并在系统层面相应地建立制度和能力体系。