陪伴式AI未成年人保护:全球法律监管趋势与中国企业合规应对
陪伴式AI未成年人保护:全球法律监管趋势与中国企业合规应对
引言
陪伴式AI通常是指利用人工智能技术,通过模拟人类的人格特征、思维模式和沟通风格,以文字、图片、音频、视频等多模态方式与用户进行长期、持续的情感互动,旨在满足用户社交陪伴、情感支持等心理需求的产品或服务。
陪伴式AI的发展正呈现如火如荼之势。市场数据显示,全球AI陪伴产品市场处于高速扩张阶段,用户对陪伴式AI产品的付费意愿较为强烈。中国智能AI陪伴玩具市场表现尤为突出,根据工业和信息化部的数据,2024年我国AI玩具市场规模已达到约246亿元,预计2025年全年将增至290亿元[1]。从能对话的玩偶到可倾诉的虚拟伴侣,这些产品正以前所未有的深度和广度融入日常生活,尤其吸引了大量青少年用户。
然而,AI在提供拟人化陪伴的同时,也暴露出诱导沉迷、传播有害内容,甚至干预心理健康的隐患。近年来一系列真实发生的案例,正将陪伴式AI对未成年人可能产生的负面影响及其引发的法律风险,推向舆论与监管的焦点。
一、陪伴式AI在未成年人保护方面的隐患和风险
在美国,Character.AI在多个州被诉,案件指控其平台缺乏有效年龄验证与安全过滤机制,诱导未成年人成瘾,并接触包含性暗示、暴力及详细自杀方法的有害内容,导致青少年产生严重心理依赖、自残行为乃至自杀企图。[2]OpenAI也被指控其产品ChatGPT的成瘾性设计及危机干预机制缺失,与未成年用户的自杀身亡存在因果关系[3]。
在中国,监管与司法实践同样展现出对陪伴式AI内容安全风险的高度关注。Alien Chat涉黄案在上海进入二审,此案中主要开发和运营者因大量用户与其AI智能体进行淫秽内容对话而被追究刑事责任,标志着AI“聊黄”行为已触及刑法规制[4]。行政监管方面,上海市网信办曾因虚拟角色互动生成低俗内容问题依法约谈筑梦岛App运营企业并要求整改[5]。此外,北京互联网法院审理的全国首例AI陪伴侵权案也提示了民事侵权维度风险:某手机记账软件通过AI生成特定人物语料进行对话,被认定构成人格权侵权[6]。
这些案例共同揭示了一个严峻趋势:陪伴式AI在未成年人保护方面,若缺乏有效的年龄门槛、成瘾控制、内容过滤和风险防控机制,可能存在重大安全与伦理风险和隐患,从而给开发企业带来行政责任、刑事责任和民事责任,这对开发企业合规能力提出了前所未有的高要求。
二、 全球监管态势与中美监管框架比较
全球范围内,各国对AI技术可能造成的情感依赖、心理操纵及具体伤害的高度警惕,对陪伴式AI的监管正迅速收紧与细化,监管焦点已从单纯的数据隐私,扩展至内容安全、心理健康和伦理边界。

点击可查看大图
中美作为AI技术发展的主要推动者,在对陪伴式AI的监管路径上呈现出不同侧重点。

点击可查看大图
在本文成文之际,国家网信办等多部门共同发布了《未成年人用户数量巨大和对未成年人群体具有显著影响的网络平台服务提供者认定办法》的通知(国信办发文〔2026〕2号,以下简称“《未成年人网络平台认定办法》”)[9]。《未成年人网络平台认定办法》明确了“未成年用户数量巨大”、“对未成年人显著影响”网络平台的认定标准,且规定了网络平台自评估、主动申请认定的义务。同时根据《未成年人网络保护条例》,若被认定为“未成年用户数量巨大”、“对未成年人显著影响”的网络平台,则需承担的核心义务包括:在全流程开展未成年人网络保护影响评估,提供未成年人模式或专区,建立合规制度并由外部独立机构监督,制定专门平台规则,停止严重侵害未成年人权益的服务。对于违反该等义务的网络平台,情节严重的将面临5000万元以下或者上一年度营业额百分之五以下的罚款,以及其他处罚措施。
三、 陪伴式AI开发企业应关注的核心合规要求
纵观全球主要司法辖区的立法和执法实践,陪伴式AI开发企业需重点关注以下核心合规要求:
1. 年龄识别与验证
年龄识别与验证是未成年人保护的第一道防线。陪伴式AI开发企业应从简单的事先通知或声明,升级为可靠的技术手段,以识别和验证未成年人。
如上所述,未成年人的年龄识别和验证正成为执法监管重点,全球监管普遍要求AI服务提供者具备主动识别未成年人身份的能力或采用合理年龄验证措施,以及对儿童必须获取“可验证的家长同意”。且中国监管还进一步要求AI拟人化服务提供者可对疑似未成年人自动切换至“未成年人模式”。
2. 内容安全与风险干预
避免安全与伦理风险的核心在于防止AI生成有害内容,识别风险信号,并在危急时刻进行有效干预。
关于禁止与限制内容,全球监管共识是严格禁止向未成年人生成或推送色情、暴力、诱导自残自杀等内容。中国的要求还扩展至危害国家安全、社会公德、侵害他人权益等更广泛范围。
关于危机干预机制,美国加州SB-243法案(2026年生效)明确要求,当AI检测到用户表达自杀意念、自残倾向时,必须触发干预机制,包括立即停止危险对话,向用户推送危机服务热线等;美国FTC对于陪伴式AI平台Character AI的调查重点之一是其是否具备识别用户极端情绪的能力、预设的危机干预回复机制等;欧盟基于DSA对SHEIN的调查也指控其“未能充分评估识别未成年受伤害风险,且未有效进行系统性干预”。而中国监管倾向更为严格,例如《AI拟人化服务暂行办法(征求意见稿)》要求AI拟人化平台需预设安抚模板、提供专业援助方式,并在用户明确表达自杀、自残等极端意图时,启动“人工接管”并通知监护人。
3. 信息披露与防沉迷
对于心智认知尚不成熟的未成年人,AI服务提供者应特别注意确保用户知晓交互对象的本质并非真人,并设置防沉迷机制。一方面,AI服务提供者需在交互中清晰、显著地提示用户正在与AI而非真人交流。中国监管要求不仅在初始时提示,还需在用户出现沉迷倾向时动态提醒。另一方面,如上所述,在欧盟DSA以及执法调查语境中,“成瘾性设计”本身即面临潜在违规风险,这就要求AI服务提供者在产品前端设计中内置防沉迷机制,例如对所有用户设定定时提醒,并特别对未成年人实行强制时长限制。
4. 数据保护与隐私
对于未成年人个人信息,监管通常会予以特别保护,处理要求也极为严格。美国COPPA对陪伴式 AI的未成年保护,核心是以“可验证家长同意” 为基石,严格管控儿童交互数据的收集、使用、共享与留存,并在2025年修订中专门强化了AI 训练、算法透明、数据最小化等适配陪伴式AI的特色规则。中国《AI拟人化服务暂行办法(征求意见稿)》要求,原则上不得将用户交互数据、用户敏感个人信息用于模型训练,除非获得用户的单独同意,且必须提供便捷的查询、更正、删除渠道;向第三方提供未成年人数据,需获得监护人单独同意,监护人有权要求删除未成年人的历史交互数据。
5. 组织架构与内部治理
为确保未成年人保护机制有效运行,并落实责任机制,陪伴式AI开发企业应设置专门负责人,并定期开展风险评估或合规审计。例如欧盟DSA指南建议任命负责未成年人保护的专业团队或负责人,需定期(至少每年)开展未成年人使用风险的系统性评估。中国《未成年人网络保护条例》第三十七条则强制性要求企业每年对未成年人个人信息保护情况进行合规审计并报告。《向未成年人提供AI安全指引》进一步鼓励企业落实主体责任,明确服务运营规则,建立事前、事中、事后一体化保护机制。
四、中国企业合规建议
面对日益收紧且日趋系统化的中国监管环境,同时需应对全球市场差异,中国的陪伴式AI开发企业亟须将合规提升至战略高度,及时开展全流程系统性评估与整改。通过构建前瞻性、可执行的合规体系,方能在创新与监管之间找到可持续的平衡点。
在中国“高标准”监管体系下,建议陪伴式AI开发企业全面对照《未成年人网络保护条例》的“最有利于未成年人原则”审视产品设计;依据《AI拟人化服务暂行办法(征求意见稿)》的要求提前规划并预设最严格的人工干预与监护人控制流程;落实《生成式AI暂行办法》的安全评估、算法备案等前置准入程序;将《向未成年人提供AI安全指引》作为构建未成年人数据全生命周期闭环管理体系、强化训练数据及生成内容安全的关键技术合规参考文件。依照《未成年人网络平台认定办法》,持续自评估是否符合“未成年用户数量巨大”、“对未成年人显著影响”网络平台的认定条件,并承担相应的合规义务。
而对于计划出海的中国企业,必须深度研究目标市场法规(如美国COPPA、各州法案以及FTC指引,欧盟AI Act、DSA、GDPR等),适应其规则和执法趋势,避免将国内产品简单复制出海。建议聚焦以下核心合规要求:设计并加固源头性的年龄验证与未成年人识别技术模块,将年龄认证从后端数据合规前置为产品商业模式的核心合法性变量之一;考虑建立数据与模型的本地化/隔离部署方案,以应对不同法域的数据跨境和训练要求;强化算法透明度机制,为用户提供清晰的推荐逻辑说明和非画像化的选择选项;在模型训练数据清洗、输入审核、生成过滤、输出后审核各环节构建全链路内容安全风控,部署应急响应及危机干预机制;任命负责未成年人保护的专业团队或负责人,定期开展未成年人使用风险的系统性评估。
[注]
[1]https://mp.weixin.qq.com/s/dqzsDan0GJmT2JPJ1GUyHw
[2]See,e.g.,Garcia v. Character Technologies, Inc., No.6:24-cv-01903.
[3]https://www.nbcnews.com/tech/tech-news/family-teenager-died-suicide-alleges-openais-chatgpt-blame-rcna226147
[4]https://www.thepaper.cn/newsDetail_forward_32325619
[5]https://www.sohu.com/a/907114014_115565
[6]https://mp.weixin.qq.com/s/YvF450Xbl0CQb5WZqWObrw
[7]https://www.chinanews.com.cn/sh/2025/06-10/10429817.shtml
[8] https://www.cac.gov.cn/2025-12/27/c_1768571207311996.htm
[9] https://www.cac.gov.cn/2026-02/28/c_1774010730056867.htm