在人工智能技术日新月异的今天，如何促进其健康发展和规范应用，成为了一个亟待解决的问题。特别在ChatGPT应用场景落地，大模型技术广泛受到关注的当下，主要国家的监管机构对生成式人工智能给予了充分关注和对应的监管要求。2023年4月11日，国家网信办发布了《生成式人工智能服务管理办法（征求意见稿）》（以下简称《办法》）。从《办法》整体上看，其与《个人信息保护法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等法律法规紧密相关，为我国人工智能、算法等相关产业的发展提供了更为明确的监管指导。本文将对该办法中的法条进行逐一解读，希望能够帮助读者更好地理解这一重要文件。

1. 上位法依据

第一条 为促进生成式人工智能健康发展和规范应用，根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规，制定本办法。

笔者观点：

《办法》第一条明确了其上位法为数据安全领域的三架马车——《网络安全法》《数据安全法》以及《个人信息保护法》。

在此框架下，本《办法》将与此前网信办发布的两部算法管理规定（《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》）以及科技部近期发布的《科技伦理审查办法（试行）》（征求意见稿），共同构成了人工智能行业的主要合规法律依据和监管抓手。

2. 适用范围

第二条 研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的，适用本办法。

本办法所称生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。

笔者观点：

《办法》对生成式人工智能界定为基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。与之较为接近的概念是《互联网信息服务深度合成管理规定》的监管对象，“深度合成技术"。对比之下，《办法》所称的生成式人工智能将不局限于利用算法技术，还可以基于模型、规则生成相关内容，其适用范围更为广泛。

此外，“面向中华人民共和国境内公众"的划定方法表明无论AIGC公司的存在实体位于何处，只要其支持境内用户使用，均会被纳入监管规定。以ChatGPT为例，目前正在严厉打击来自中国大陆地区的账号注册、使用其服务，不排除是避免中国法律管辖的先手。

另外，《办法》有可能不仅管辖“直接面向"，而且也涵盖“间接面向"，即如果一款AIGC产品的服务对象并非直接对“公众"，而是对特定的国内企业用户，甚至为定制化开发产品，不排除被纳入监管的可能（需要正式稿进一步解释）。

3. 鼓励人工智能创新发展

第三条 国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。

笔者观点：

我国对人工智能一直持鼓励发展的态度：国务院曾于2017年印发了《新一代人工智能发展规划》，提出了人工智能发展的战略目标；2022年，科技部等六部门印发了《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》，明确提出鼓励在重点行业深入挖掘人工智能技术应用场景。本次是国家宏观指导政策首次进入法规层面。

此外，《办法》进一步明确“鼓励优先采用安全可信的软件、工具、计算和数据资源"。安全可信的网络产品和服务是《关键信息基础设施安全保护条例》《网络数据安全管理条例（征求意见稿）》对于关键信息基础设施运营者和重要数据处理者的强制要求，虽然《办法》的口径为“鼓励"宣贯，但未来相关监管是否会对如何判断网络产品和服务的安全可信发布系列规则或者参考标准，尚待进一步观察。

4. 合规要求

第四条 提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，符合以下要求：

（一）利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。

（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。

（三）尊重知识产权、商业道德，不得利用算法、数据、平台等优势实施不公平竞争。

（四）利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。

（五）尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。

笔者观点：

对于AIGC内容安全的监管占据《办法》过半篇幅。第四条为对《网络安全法》第十二条[1]的强调和延伸，结合当下人工智能、算法的应用特征对生成式AIGC产品或服务提出了如下合规要求：

1）内容合规

一是利用生成式人工智能生成的内容应当体现社会主义核心价值观。

二是利用生成式人工智能生成的内容应当真实准确，并且要求提供者采取措施防止生成虚假信息。

就本条而言，问题之一是如何理解“虚假信息"？一方面，部分生成式人工智能生成内容，例如人工智能创作的文章、图片、视频本就属于“不真实内容"，这是生成式人工智能本身的服务之一，如果强行要求人工智能生成内容必须真实准确则与该技术初衷不相符。另一方面，当前人工智能技术尚在发展阶段，单就技术而言，人工智能生成内容天然难以保证百分百真实准确。如果仅因为内容错误或者不完全而导致内容不准确，是否也构成“虚假信息"？因此“虚假信息"的范围有待进一步释明和细化。

问题之二是如何理解提供者的义务？基于前文分析，人工智能生成内容本身可能“不真实"或者“不准确"，《办法》即通过为提供者附加“采取措施防止生成虚假信息"的方式来补齐技术层面的缺陷。此外，该规定也与《办法》第五条明确的提供者需承担生成内容生产者责任相呼应。那么提供者应当采取的措施范围为何？是否需要对人工智能生成内容进行一一实质审核？如是，那么附加给提供者的合规义务太重且无法落地实践。如否，那么又如何保证内容的真实准确性？因此提供者应采取的措施也有待进一步细化。

2）禁止算法歧视

禁止算法歧视作为算法合规的原则之一，除了在电商领域有具体规定外，并未有进一步的细化。本次《办法》将禁止算法歧视规则应用于算法设计、训练数据选择、模型生成和优化、提供服务等各个环节，并进一步细化可能造成歧视的因素，其与默认和设计的个人信息保护原则（Privacy by design & default）的思路如出一辙。

3）不得实施不公平竞争

此前《反不正当竞争法》（修订草案征求意见稿）、《反垄断民事诉讼司法解释》以及四部反垄断配套法规均对利用数据、算法、平台优势实施不正当竞争行为或者垄断行为进行了规制。本次《办法》亦吸收了反法关于数据、算法的规定，体现了对数字时代基于算法合规问题的回应。

4）不得侵犯他人合法权益

生成式人工智能的风险之一就是可能会侵犯他人的合法权益，例如AI换脸技术导致的肖像权、名誉权和个人隐私侵权问题。此外，基于训练算法而产生的数据处理大量需求，在实践中企业主要是利用网络上公开的数据进行算法训练，因此亦存在侵犯他人知识产权或数据权属的风险。基于此，《办法》提出了不得侵犯他人合法性权益的原则性要求。

5. 提供者的主体责任

第五条 利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（以下称“提供者"），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任 ；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。

笔者观点：

《办法》第五条将通过提供可编程接口等方式支持他人自行生成相关内容的主体也划定为生成内容生产者，并未包含服务使用者的身份。

首先从技术层面看，提供AIGC功能而不实际参与制作、复制、发布相关人工智能生成内容的主体是否有能力完全控制服务使用者生成的内容尚存在一定疑问；其次，如果仅提供API接口的主体也被划归到本《办法》下提供者的界定范围下，第二条适用范围中关于产品或服务面向公众的适用范围也将被扩大，“间接面向"的适用可能得到证实；再次，参考《网络信息内容生态治理规定》的定义，网络信息内容生产者是指制作、复制、发布网络信息内容的组织或者个人，本条规定也在一定程度上对《网络信息内容生态治理规定》进行了突破。

此外，就提供者承担生成内容生产者责任而言，除了对违法违规内容承担责任外，是否也对侵犯他人知识产权等合法权益的行为承担法律责任？如是，根据权利义务对等原则，提供者也可对人工智能生成内容享有一定的权利或权益。再进一步，此时提供者与用户（生成式人工智能使用者）就生成内容的法律关系亦待进一步明确。

再者，仅提供API接口的AIGC服务提供者如果需要承担个人信息处理者的法定责任，这意味着其将自行决定或者至少与服务使用者共同决定AIGC服务过程所涉及的个人信息的处理目的和处理方式，实质上排除了更为常见的受托处理或者仅提供技术支持（完全不接触个人信息）的场景。这无疑于与现有法律规定存在一定冲突。

6. 申报安全评估与算法备案

第六条 利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

笔者观点：

《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》为2018年网信办联合公安部发布的一项重要制度。此前对该备案义务的解读通常局限于论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务提供者，且没有公开的处罚报道，因此并未引起广泛重视。本《办法》再次提出安全评估申报要求，将前述规定带回大众视野，不难理解未来安全评估和算法备案将成为AIGC产品的入市门槛。

虽然《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》与《互联网信息服务算法推荐管理规定》将申报安全评估以及算法备案的范围限于“具有舆论属性或者社会动员能力"的情形，但根据我们的经验以及与相关监管机构的沟通，“具有舆论属性或者社会动员能力"并非以效果论，而是以渠道的可能性为判定标准。因此对于生成式AIGC产品提供者而言，无论其是否属于“具有舆论属性或者社会动员能力"的情形，均需要完成安全评估申报以及算法备案。

此外，需要监管机构进一步澄清的是，如果仅通过API接口提供AIGC产品或服务的提供者已经完成了备案，将该等技术包装进其最终产品并面向终端用户提供服务的使用者是否也需要完成备案？

7. 训练数据来源合法性要求

第七条 提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。

用于生成式人工智能产品的预训练、优化训练数据，应满足以下要求：

（一）符合《中华人民共和国网络安全法》等法律法规的要求；

（二）不含有侵犯知识产权的内容；

（三）数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形；

（四）能够保证数据的真实性 、准确性、客观性、多样性 ；

（五）国家网信部门关于生成式人工智能服务的其他监管要求。

笔者观点：

算法训练的风险之一就是数据来源的合规性。有关预训练数据和优化训练数据的合规要求实际已经在算法备案流程中以自评估报告的形式提出，由算法备案主体作出答复即可。而《办法》以专条的形式明确提供者需要对训练数据来源的合法性负责，或许意味着未来有关部门对训练数据来源合法合规性的监管将更加严格和主动。此外，就数据的客观性、多样性而言，亦是从源头防止算法歧视、信息茧房等算法合规问题的内在要求。

但值得探讨的是，《办法》用于算法训练的数据应当具备真实性与准确性，但在实践中却存在使用合成类数据、人工脑洞数据进行算法训练的场景，那么该场景是否属于违反《办法》的情形呢？亦或数据的真实性与准确性要求仅限于收集而来的数据，而不涵盖合成类数据和人工脑洞数据？就数据真实性、准确性的范围与要求，我们希望在正式稿中进行进一步的细化。

8. 产品研制中的标注要求

第八条 生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。

笔者观点：

《办法》第八条规定的标注与第十六条规定的标识不同，本条是指在生成式人工智能产品研制中对训练数据/训练内容进行标注，以协助算法进行学习与训练；而第十六条对应的是生成内容的标识。

就人工标注而言，为了确保标注的标准一致、标注内容正确，《办法》明确提供者需要制定清晰、具体、可操作的标注规则，同时对标注人员进行培训。在标注标准一致、标注内容正确之后，训练的算法模型将具有更高的准确性，亦是第四条所规定的人工智能生成内容的准确性在产品研制环节的要求。

9. 用户实名认证

第九条 提供生成式人工智能服务应当按照《中华人民共和国网络安全法》规定，要求用户提供真实身份信息。

笔者观点：

“后台实名，前台自愿"几乎已经成为所有网络服务的必备要求。本条与《网络安全法》《反电信诈骗法》《微博客信息服务管理规定》《网络短视频平台管理规范》关于服务提供者验证用户真实身份的要求一脉相承。

结合《互联网信息服务深度合成管理规定》的相关规定，实名认证的方式包括移动电话号码、身份证件号码、统一社会信用代码或者国家网络身份认证公共服务等。

10. 防沉迷设置

第十条 提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。

笔者观点：

为加强对用户权益的保护，《办法》要求提供者应当明确并公开其服务的适用人群、场合以及用途，例如区分未成年人、老年人模式，劳动用途、商业用途等等。不同场景下提供者的合规义务、用户权益保护、以及算法伦理要求均可能有所不同，具体的要求仍有待进一步细化。

同时，根据《互联网信息服务算法推荐管理规定》，算法推荐服务提供者不得设置诱导用户沉迷等违反法律法规或者违背伦理道德的算法模型，因此防止用户沉迷也是算法伦理的要求之一。未来AIGC产业可能会参照此前国家重点推行的未成年人防沉迷执法专项开展类似的行动。提供者可以采取设置防沉迷弹窗提示、限制用户每天使用生成式人工智能服务的次数或者时长等措施防止用户沉迷。此外，提供者亦可对算法机制机理、模型、数据和应用结果进行定期审核、评估、验证，确保算法模式符合科技伦理道德。

11. 信息留存限制

第十一条 提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。 法律法规另有规定的，从其规定。

笔者观点：

我们理解，输入信息和使用记录保护、用户画像和信息对外提供限制应为《个人信息保护法》《电子商务法》等位阶更高的上位法的应有之义，本条并未对提供者作为个人信息处理者或服务合同提供方提出额外义务。根据《个人信息保护法》，个人信息主体的单独同意可以构成用户画像和个人信息对外提供合法性基础，即本条规定的例外情形。但对于何种场景属于合法留存能够推断用户身份的输入信息，在标准的划定上，仍需要企业在合规审查中仔细斟酌。

12. 禁止歧视内容生成

第十二条 提供者不得根据用户的种族、国别、性别等进行带有歧视性的内容生成。

笔者观点：

本条是对《办法》第四条中关于禁止歧视规定的强调。第四条对企业在不同环节防止歧视出现设置了先动作义务：在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，企业应当采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。而本条则更加强调生成结果。换言之，如果出现歧视性内容生成，即便企业已经按照第四条的要求采取了相关措施，其仍将被依据本条追责。

此外，绝对禁止任何种族、国别、性别等进行带有歧视性的内容生成可能导致使用AIGC服务生成的小说、剧本中难见负面形象角色，削弱了AIGC服务的透明度和便利度。

13. 用户投诉以及侵权内容处理

第十三条 提供者应当建立用户投诉接收处理机制，及时处置个人关于更正、删除、屏蔽其个人信息的请求；发现、知悉生成的文本、图片、声音、视频等侵害他人肖像权、名誉权、个人隐私、商业秘密，或者不符合本办法要求时，应当采取措施，停止生成，防止危害持续。

笔者观点：

《办法》第十三条前半句吸收了《个人信息保护法》关于个人信息主体行权响应的规则，明确要求提供者应当建立用户投诉接收处理机制，及时处置个人关于更正、删除、屏蔽其个人信息的请求。《办法》第十三条后半句明确了提供者对于生成内容可能存在侵犯他人肖像权、名誉权、个人隐私、商业秘密等权利或权益，或者存在其他违法情形时，应采取措施，停止生成，防止危害持续。

值得注意的是，本条规定与“避风港规则"不同，提供者并非是基于“通知"而是基于自身“发现"与“知悉"前述违法内容而采取相关措施，更倾向于“避风港规则"中的例外——“红旗规则"。且结合《办法》要求提供者承担“生成内容生产者责任"的规定来看，笔者认为“发现、知悉"实际上暗含“应当知道"。就采取的措施而言，基于“防止危害持续"的要求，提供者应采取必要的措施，在内容生成阶段停止相关侵权或违法内容的生成，在内容生成之后及时删除、屏蔽、断开链接，甚至在必要时可以终止服务。基于此，提供者应当在现有技术可行的监测和排查的合理范围内，对人工智能生成内容承担更高的注意义务，甚至在内容生成阶段亦需要进行监测与审核。

14. 服务稳定性要求

第十四条 提供者应当在生命周期内，提供安全、稳健、持续的服务，保障用户正常使用。

笔者观点：

本条是对人工智能服务稳定性的要求，其中“生命周期"为生成式人工智能服务的存续期间。但是，放眼现有市场，能够做到“稳健服务"的AIGC产品似乎屈指可数，这一要求的内涵需要监管部门的进一步解释，否则未来可能成为引发用户和AIGC商家之间诉讼的“导火索"。

15. 模型优化义务

第十五条 对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。

笔者观点：

关于生成内容的管控包括事前防范和事后处置两类。事前防范主要以敏感词内容过滤等方式为主，事后处置多为被动响应。本条希望通过以彼之矛攻彼之盾的方式，在第四条对生成内容真实准确要求的基础上，利用算法再训练加深生成内容的管控。

但本条落地的前提是，提供者足以在三个月内解决人工智能的“漏洞"，而这对AIGC厂商而言无论从技术上还是实践中均为很高的要求。此外，以举报行为作为触发再训练的充分条件可能会对提供者造成巨大的成本负担。

16. 标识义务

第十六条 提供者应当按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识。

笔者观点：

《互联网信息服务深度合成管理规定》所规定的标识有两类：一类为不影响用户使用的标识，通常指水印等溯源标识，适用于所有生成内容；一类为显著标识，顾名思义需要达到一般公众显著提示的程度。显著标识仅适用于可能导致公众混淆或者误认的场景，例如智能对话、智能写作、合成人声、仿声、人脸生成、人脸替换、人脸操控、姿态操控，以及沉浸式拟真场景等。

我们理解本条所规定的标识义务应为后者，且是对《互联网信息服务深度合成管理规定》中显著标识义务的扩大适用，即无论是否导致公众混淆，生成式AIGC产品或服务均需显著标识。

17. 信息披露义务

第十七条 提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。

笔者点评：

此条规定为行政机关主动、提前介入公司的技术开发提供了法律依据。此前，针对算法服务提供者提供相关算法说明材料的要求仅限于算法备案场景，且备案主体能够控制所提交信息的颗粒度。本条是对此前被动监管思路的一种转变，即网信部门和主管部门拥有行政权力去获取更多的人工智能开发系统的有关信息。从另一面看，未来如何划定保护企业商业秘密与信息披露义务之间的红线，确实值得立法部门进一步的澄清。

18. 用户教育义务

第十八条 提供者应当指导用户科学认识和理性使用生成式人工智能生成的内容，不利用生成内容损害他人形象、名誉以及其他合法权益，不进行商业炒作、不正当营销。

用户发现生成内容不符合本办法要求时，有权向网信部门或者有关主管部门举报。

笔者点评：

本条作为宣示性规定要求提供者负有教育用户的义务。从实践中，我们认为该等义务的落地有极大可能是以杂糅进平台规则、隐私政策或者宣传推广语的方式实现。

此外，对于不符合本办法要求的情况，用户可直接向举报，因此向服务提供者投诉不是举报的前置条件，也对服务提供者的品牌形象维护和危机公关提出了较高的要求。

19. 社会道德维护义务

第十九条 提供者发现用户利用生成式人工智能产品过程中违反法律法规，违背商业道德、社会公德行为时，包括从事网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件，实施不正当的商业营销等，应当暂停或者终止服务。

笔者点评：

网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件以及不正当的商业营销均属于本身违法的情形。本条旨在强调提供者主动监测该等违法行为的义务。但是，实际操作中可能会遇到一些挑战，例如如何准确识别违法或不道德行为，以及如何平衡用户隐私和监管需求等。这些问题需要各方共同努力解决。

20. 罚则

第二十条 提供者违反本办法规定的，由网信部门和有关主管部门按照《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规的规定予以处罚。

法律、行政法规没有规定的，由网信部门和有关主管部门依据职责给予警告、通报批评，责令限期改正；拒不改正或者情节严重的，责令暂停或者终止其利用生成式人工智能提供服务，并处一万元以上十万元以下罚款。构成违反治安管理行为的，依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。

笔者点评：

本条将《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》作为罚则依据与第一条相互呼应。同时，在上位法缺少明确规定的情形下，授予有关部门自由裁量权。特别是情节严重者可能被责令暂停或者终止其利用生成式人工智能提供服务，具有相当强大的威慑力。

21. 生效日期

第二十一条 本办法自2023年 月 日起实施。

笔者点评：

2023的年份已经被写入征求意见稿。结合当前行业的发展态势，我们有理由相信，《办法》的正式出台并不遥远。

在分析了《生成式人工智能服务管理办法（征求意见稿）》之后，我们不难发现，这一文件的出台无疑为我国算法相关产业的发展提供了新的指导。然而，我们也注意到，该办法中的一些细节仍有待进一步完善，有关问题仍需要立法者澄清。同时，该办法对生成式人工智能服务提供者提出了很高的合规义务，此类立法对行业的发展与必要监管之间的平衡，也值得进一步研究和探讨。对于各类人工智能企业而言，我们建议在《办法》征求意见的时间段内，充分向立法者提交有关行业实践和建议，推动和促进法案的有效和平稳落地。