完善人工智能治理体系，护航产业健康规范发展

当前，生成式人工智能正在加速发展，不断催生新场景、新业态、新模式和新市场，赋能千行百业。从ChatGPT到Sora，生成式人工智能作为全球科技竞争的焦点，已成为中美科技博弈和战略竞争的必争之地。与此同时，其暴露出的安全风险也引发了各国监管部门的广泛关注，亟需研制生成式人工智能安全相关标准，为生成式人工智能的健康发展提供保障。2024年2月29日，全国网络安全标准化技术委员会发布了《生成式人工智能服务安全基本要求》，及时为我国的生成式人工智能产业给出了全面、可操作的服务安全指南。

一、《生成式人工智能服务安全基本要求》制定背景

生成式人工智能具备强大的上下文学习和多模态内容生成等能力，正持续激发着全球人工智能技术革新。然而，生成式人工智能潜在的内生风险和衍生风险给国家安全带来了全新的挑战。国内外有关部门均就此问题表态并积极采取了一系列应对措施。面对生成式人工智能技术的快速进步，如何统筹发展与安全，是迫切亟待解决的问题。

习近平总书记指出，“要坚持促进发展和依法管理相统一，既大力培育人工智能、物联网、下一代通信网络等新技术新应用，又积极利用法律法规和标准规范引导新技术应用”。《生成式人工智能服务安全基本要求》的发布为生成式人工智能服务的规范化提供了进一步的指引，具有重要的意义。

二、《生成式人工智能服务安全基本要求》主要内容

《生成式人工智能服务安全基本要求》对生成式人工智能在训练、服务、评估等全方面给出了具体的操作指南：一是给出了生成式人工智能“语料安全要求”，对语料来源安全要求、语料内容安全要求、语料标注安全要求进行了界定。二是明确了生成式人工智能“模型安全要求”，包括使用“第三方基础模型”要求，“模型生成内容安全方面”要求，“生成内容准确性方面”要求和“生成内容可靠性方面”要求。三是提出服务提供者的“安全措施要求”，包括“模型适用人群、场合、用途方面”、“服务透明度方面”、“收集使用者输入信息用于训练方面”、“图片、视频等内容标识方面”、“训练、推理所采用的计算系统方面”、“接受公众或使用者投诉举报方面”、“向使用者提供服务方面”、“模型更新、升级方面”、“服务稳定、持续方面”等九个方面规范。四是给出了“关键词库”、“生成内容测试题库”、“拒答测试题库”、“分类模型”的安全要求。五是定义了“安全评估要求”，包括评估方法、语料安全评估、生成内容安全评估、问题拒答评估。

三、制定《生成式人工智能服务安全基本要求》的意义

（一）支撑国家人工智能安全治理体系完善

生成式人工智能技术与应用的快速发展使世界各国在法律法规、标准规范等配套制度的建设上面临重大考验。2023年7月13日，国家互联网信息办公室等七部委联合发布了《生成式人工智能服务管理暂行办法》，为推动我国生成式人工智能服务的健康发展和规范应用奠定了基础，也为其他国家应对生成式人工智能热点问题提供了蓝图。

《生成式人工智能服务安全基本要求》是对《生成式人工智能服务管理暂行办法》的进一步明确与细化，提出了生成式人工智能服务提供者需遵循的安全基本要求，对服务提供者开展安全评估、提高安全水平有重要指导作用，填补了我国在生成式人工智能安全方面标准规范的空白。《生成式人工智能服务安全基本要求》的发布，为正在研制中的预训练和优化训练数据安全规范、数据标注安全规范等国家标准提供有益补充，支撑我国人工智能安全治理体系和标准体系建设。

（二）保障生成式人工智能技术安全发展

生成式人工智能作为快速发展的新技术，本身具有复杂性高、解释性差、生成控制难等特点，叠加服务在运行时容易遭受对抗性提示词等新型攻击，存在容易被用于生成虚假信息、歧视性内容等风险，对网络空间带来巨大的安全挑战。面对生成式人工智能的复杂性，采取单一环节的措施已无法充分保障生成式人工智能服务的安全性，必须将安全措施贯穿在生成式人工智能的全生命周期之中。

《生成式人工智能服务安全基本要求》针对性地提出了语料安全、模型安全、安全措施等内容，贯穿了生成式人工智能服务的全生命周期，并且细致总结了生成式人工智能服务在语料和生成内容的5大类31小类主要安全风险，为生成式人工智能技术的安全发展提供了重要的依据。

（三）护航生成式人工智能服务行业有序发展

生成式人工智能的技术优势吸引了各行业关注，生成式人工智能技术将使得数字经济步入智能经济阶段，推动数字经济和实体经济深入融合，对生产力提升将产生重大影响。生成式人工智能技术将服务于各行各业，成为经济体系中一个交叉新方向。

《生成式人工智能服务安全基本要求》提出的安全要求、评估方法，既可支持服务提供者开展安全评估、提高安全水平，也可为相关主管部门评判生成式人工智能服务安全水平提供参考，坚持了统筹发展和安全，为生成式人工智能服务行业的有序发展提供护航。

（四）助力构建良好的网络空间内容生态

网络强国战略推进过程中，加强网络内容建设，培育积极健康、向上向善的网络文化，为广大网民营造风清气正的网络空间。生成式人工智能服务作为一个大数据驱动的代表性技术，其生成内容很大程度上受训练数据的影响，因而对训练数据的规范是保障生成式人工智能服务的重要一环。《生成式人工智能服务安全基本要求》对关键环节如训练语料、生成内容、语料标注等方面作出明确规范，将对引导生成式人工智能生成内容的安全监管发挥重要作用，构建良好的网络空间内容生态，从而进一步保障我国生成式人工智能健康发展。

（作者：徐恪，中关村实验室科研03部召集人、清华大学计算机系副主任、教授）