且将新火试新茶:AI浪潮下个人信息自动化决策监管的对比解析
且将新火试新茶:AI浪潮下个人信息自动化决策监管的对比解析
在全世界监管者眼中,利用个人信息进行自动化决策均被视为一种高风险的处理活动。大家广为熟知的,涉及侵害个人隐私或者合法权益的如“大数据杀熟"、“信息推送"、“非法营销"等均涉及自动化决策技术(Automated Decision Making Technology,ADMT)。如今,AI技术的迅速发展和大量应用也带来了新的风险,AI技术在很多场景下均会被纳入自动化决策的范畴,同时也带来了如AI算法“黑箱"、AI歧视等个人信息保护层面的挑战。
作为世界上最关注AI技术的两大强国,中美近期在自动化决策监管方面均有新的立法动作:今年8月,为了落地《个人信息保护法》第24条关于自动化决策的相关规定,信息安全标准化技术委员会(信安标委)发布了《信息安全技术 基于个人信息的自动化决策安全要求(草案)》(以下简称《自动化决策标准》);同年11月27日,美国加利福尼亚州隐私保护局(CPPA)发布了规制自动决策技术新规定草案(以下简称“美国ADMT法案")。该法案旨在通过实施事先告知等新机制,提升消费者对企业运用ADMT技术处理个人信息方式的控制权,并保障其知情权。
本文分为三个部分,首先会介绍美国ADMT法案主要内容,其次再与中国的立法/立法草案进行要点对比,最后总结中美在ADMT监管趋势的主要区别。
一、美国ADMT法案
在美国,特别是在住房等领域,算法驱动的自动化决策可能导致系统性歧视风险,凸显了强化对ADMT公平性和透明度的监管的客观需求。加州作为AI技术的主要创新中心及美国个人信息保护的领先辖区,通过实施ADMT法案这一重要举措来保护消费者隐私和个人信息安全,体现了该州在应对人工智能带来的新合规挑战方面的积极态度和关注。美国ADMT法案的要点如下:
1、全方位保障知情权
法案对“自动化决策技术"进行了明确的定义,即:使用各类系统、软件或流程——涵盖基于机器学习、统计学或其他数据处理以及人工智能的方法——来处理个人信息,并借助计算技术辅助、制定或执行决策。其中,自动化决策技术也涉及利用个人信息构建用户画像的过程。为更加清晰理解,我们不妨拆解来看: * 技术手段范围广:除了系统、软件程序以外,利用机器学习、统计学或人工智能技术设计的个人信息处理流程,都可以被视为自动化决策技术。 * 处理对象为个人信息:个人信息内涵很广,这里理解为与个人信息主体特征相关的信息更加准确,例如个人偏好、行为等相关的个人信息。 * 处理行为是“决策":其包括了决策的制定、执行,以及辅助决策的过程。值得注意的是,ADMT法案所规制的自动化范围十分广泛,不仅包括完全自动的技术,还包括在决策过程中起辅助作用的半自动技术。 * 用户画像行为被明确归入自动化决策技术:尤其是那些自动化方式分析或预测个人的各种特征(如工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为、位置或移动)的行为,都被视为属于自动化决策的范畴。 基于上述定义可以看出,立法者意在规制的ADMT内涵丰富。其根本原因在于,随着人工智能(AI)等先进技术的快速发展及其在各个领域的应用,可能产生的歧视性风险日益增加。例如, AI系统在雇佣、福利发放等重要决策环节的参与程度增长可能会加剧基于人种、国籍、经济状况等因素对特定消费者群体的歧视性风险。为应对这些潜在风险,ADMT法案特别设计了强化消费者知情权的机制,包括事先告知和访问请求机制,让消费者能够在充分了解特定ADMT处理行为的基础上,拥有选择退出的权利。
1)增强告知-引入事先告知
ADMT法案并非独立于《加州消费者隐私法案》(CCPA),而是在CCPA下企业收集与处理个人信息基本原则的基础上,增加了“告知-同意"要求。作为规制ADMT的增强告知手段,ADMT法案设计了事先告知机制(“Pre-use Notice"),主要包括以下内容: * 事先告知的时机与方式:企业在开始使用自动化决策技术处理消费者个人信息前,必须向消费者提供事先告知。这一通知应以企业与消费者主要沟通和互动的方式进行,以确保消费者能够及时且有效地接收到信息。例如,如果企业通常通过电子邮件与客户沟通,则应通过电子邮件发送这些通知;如果主要互动方式是手机应用,则应在应用内提供通知。 * 告知内容具体且明确:ADMT法案要求事先告知内容简单明了,并且具体到点。通知中不能使用笼统的语言,而应详细说明使用ADMT的具体目的。企业在使用ADMT前需要进行充分的内部评估,确保其使用目的具有明确且合法。 * 充分告知选择退出权:根据ADMT法案,企业在告知中应明确让消费者知晓其拥有选择退出的权利,并提供一个易于理解和操作的途径便于行使。 * 充分告知访问权:除了选择退出权,企业还应在通知中主动告知消费者享有的访问请求权。这包括向企业请求了解ADMT的具体信息,比如其逻辑、关键参数、预期输出和决策过程。 * 评估与结果公示:企业还需要对其使用的ADMT进行有效性、可靠性和公平性的评估,并向消费者公示评估结果。 可以看出,事先告知作为一种增强型告知手段,其目的在于让企业在收集消费者个人信息之前,充分向消费者透露ADMT可能带来的影响。
2)提高透明度-访问请求机制
在ADMT法案的框架中,增强透明度的重要一环是“访问请求"机制。该机制不仅是消费者监测企业处理其个人信息的重要合规性工具,更可确保企业不会对个人信息进行超授权使用或滥用。以下是企业在确保消费者行使访问权时应注意的合规要点: * 简便易行的请求提交流程:企业应提供简便、合规的途径,让消费者提交关于访问个人信息处理情况的请求。在处理这些请求时,企业须实施严格的身份验证措施,以确保个人隐私得到保护。相关流程可以通过企业的网站或应用程序所提供的直接链接或在线表单来实现,并在必要时采取相应的验证步骤。 * 主动通知重大影响事项:针对企业的自动化决策结果对消费者造成重大影响的情形(例如拒绝服务或不予提供就业机会),企业有责任主动以消费者习惯的沟通方式明确告知下列信息:(1)已利用ADMT技术作出的具体决策;(2)消费者拥有请求访问并了解相关自动化技术详情的权利;(3)消费者行使访问权的所有可能途径;(4)消费者可采取的救济途径。 * 保障数据传输安全:在向消费者传输其请求的信息时,企业有责任采取合理的安全措施,包括但不限于加密传输和安全验证措施,以确保个人数据在披露过程中的安全性和保密性。 * 提供清晰、详细的技术解释:企业在回应消费者的访问请求时,应提供关于自动化决策技术应用的清晰、详细信息。这包括技术的运作逻辑、决策参数、人工参与的角色及其对消费者造成的具体影响。同时,企业还需阐明该技术在有效性、可靠性和公平性方面的评估结果。 ADMT法案中所设立的访问请求制度,实质为一种监督保护机制。其本质为让消费者享有监督企业按照声明的方式处理个人信息的权利,防止企业对个人信息进行超范围的使用或滥用。 总结来看,事先告知和访问请求制度共同构成了一个相辅相成的框架:前者在信息收集前期提供透明度,后者则在信息处理过程中持续赋予消费者监控权。通过这两个机制的紧密结合,ADMT法案不仅强化了消费者的知情权,也促进了企业在使用自动化技术时的责任感和合规性,从而在保护个人隐私和促进技术伦理方面发挥着重要作用。 2、加强消费者控制权:便捷、高效的选择退出机制
在ADMT法案中,企业须为消费者提供专门针对自动化决策技术的选择退出机制:即企业需设置选择退出请求的专门途径,且与常规的个人信息收集通知(如网页cookies通知)明确区分。由于个人信息通知主要关注个人信息的收集,并非专门针对自动化决策技术的应用,故企业须确保消费者能够通过专门的渠道,便捷且高效地行使其选择退出自动化决策技术的权利。根据ADMT法案的规定,企业在构建这一选择退出机制时,应考虑以下合规要点: * 选择退出的关键应用场景:当企业利用ADMT处理消费者个人信息,且可能对消费者产生重大影响时,如涉及重要决策、员工或求职者画像,以及在公共场所的消费者画像等,必须为消费者提供明确的选择退出途径。 * 简洁易懂的操作流程:为确保消费者轻松行使选择退出权,企业应提供直观、易于理解和操作的退出机制。例如,在企业网站上提供显著的“选择退出"链接、在应用程序中设置一键式选择退出功能、设计简化的在线申请表单等。同时,企业可提供选择,让消费者决定自己的个人信息在何种范围内被ADMT处理,但务必保留“一键式"退出选项。 * 灵活的提交时限与及时响应:消费者应在任何时候都可以提交选择退出ADMT处理个人信息的请求。企业应在收到请求后15个工作日内停止使用ADMT处理其个人信息,并在至少12个月内不得再次向消费者提出使用ADMT技术处理其个人信息的请求。对于已处理的个人信息,一旦消费者选择退出,企业应停止使用并不得再保留此类信息。 * 合理的身份验证要求:在处理选择退出请求时,企业仅能够在必要时对消费者进行身份验证,以防未经验证的请求对消费者产生负面影响。对于行为广告画像等纯商业活动,企业不得对提出退出请求的消费者进行身份验证,以减少对消费者个人信息过度收集的风险。 * 例外情形:特定情况下,根据ADMT法案的规定,企业可以不提供选择退出机制,特别是在自动化决策技术(ADMT)对保障消费者的安全和健康起着至关重要的作用时。其具体包括(1)使用ADMT技术来检测和调查可能危害个人信息安全的事件;(2)预防和抵制欺诈行为;以及(3)在紧急情况下基于保护消费者的生命与身体安全等场景。在这些情况下,ADMT的应用被视为必要措施,因此不在选择退出机制的适用范围之内。 可以看出,美国ADMT法案通过要求企业设置高效、便捷的选择退出机制,旨在强化消费者在自动化决策过程中的控制权。该法案构建了加州针对ADMT应用的新监管架构,确保个人信息与隐私保护理念和设计贯穿于ADMT的每一个应用阶段。
二、中美关于ADMT监管的主要差异比对
《自动化决策标准》与美国ADMT法案均深入探讨了自动化决策技术在不同场景下的应用,为了帮助读者更全面地理解两国规制ADMT方向上的异同,我们将具体应用场景对比如下:
三、中美ADMT监管趋势分析 通过上述对比可以发现,我国《自动化决策标准》与美国ADMT法案,在针对自动化决策的规范内容上各有侧重。前者重点强调了自动化决策技术的安全性,并就对个人权益有重大影响的自动化决策典型场景,细化企业履行特殊的合规义务;后者则侧重于对消费者知情权、控制权、选择退出权以及隐私的保护,内容呈现“操作指南"式的特征。我们以下就主要的不同点进行分析。
1、规制技术范围存在不同
我国《自动化决策标准》解释了《个人信息保护法》24条中“自动化决策“的基本概念,即在特征生成、特征提取和特征计算时采取计算机程序自动开展,无需人工干预,但与GDPR第22条所不同的是,我国法案所指决策活动既包含自动决策,也包括人工参与的决策。美国ADMT法案似乎范围更大,在阐明计算阶段时,不仅涵盖了“全自动技术“,也包括了可能的各种"半自动技术“。
2、我国对于未成年人保护更加严格
《自动化决策标准》与美国ADMT法案均针对未成年人保护、劳动者保护等具体场景作出规定,但内容上存在明显差异。在未成年人保护场景下,ADMT法案细分为13-16岁、13岁以下两个年龄段,对如何获得有效同意分别作出了详细规定。在获得了可验证的儿童监护人同意并履行告知义务的情况下,可以向儿童开展定向广告推送等个性化营销服务,当然,按照ADMT法案,就此类营销服务监护人有权随时选择退出。相较而言,《自动化决策标准》的规定则更为严格,要求原则上不对儿童开展自动化决策处理;即使确有必要开展自动化决策的,应当对其内容进行把控,同时不针对儿童开展个性化营销。但我们发现,我国《自动化决策标准》并未对如何获得未成年人及其监护人的同意作出规定,这点上可以考虑适度增加有关内容。
3、强调劳动场景下的保护机制
在劳动场景下,无论是美国ADMT法案还是《自动化决策标准》均专注于对用户产生重大影响的情境,例如工作机会的获取和候选人的评估,并明确要求保障用户的拒绝/退出权以及信息访问权。此外,需要特别关注以下两点方面的规定:首先,美国ADMT法案详细列举了需要重点监管的员工自动化分析行为,包括员工敲击键盘等行为识别、情绪识别、位置跟踪等方面。这些规定旨在确保在劳动场景中使用自动化决策技术时,员工的权利得到充分保护。其次,针对意见反馈和投诉处理机制,美国ADMT法案规定其适用于所有对就业有法律意义上或者类似影响的自动化决策结果,而不仅仅限于《自动化决策标准》中所规定的“工作调度功能"。
结语
作为人类计算技术的重要成果,个人信息自动化决策带来的效率提升和模式迭代是具有显著意义的,但安全性、透明度、可靠性、保障性等原则仍然是衡量该技术是否可控可依赖的重要指标。在人工智能技术突飞猛进的背景下,个人信息自动化决策技术所带来的隐私挑战将会愈发明显。清晰可见的是,中美两国在此领域的立法和监管似乎有意与其在人工智能领域的进击同频,领衔于时代。而对于企业和数据处理者而言,如何在有关技术运用中贯彻前述原则,保持社会责任感,尊重人类伦理将会成为合规治理的关键。