主权失控:AI代理的跨境工具调用冲破传统监管边界
01 新威胁的涌现:何为“代理工具主权”挑战?
现实生活中的AI系统的输出能力很少是固定或预先确定的。
首先,云计算提供商是大多数网络服务(包括API、数据库、搜索引擎等)的支柱,存在于不同的司法管辖区和边界,这使得"客户在数据存入云中的位置以及与提供商任何合同的法律基础方面确定性降低"。
其次,AI代理可以被定义为"目标导向的助手",旨在以最少的人类输入促成其自主行动。也就是说,它们是"不仅仅是工具,而是行动者",行使决策权。
AI代理可以调用第三方工具(包括API和网络搜索),甚至其他AI系统,这些可能在运行时之前未知,并且可能在不同的司法管辖区和不同的地理区域下运行。
因此,这直接造成AI代理难以被纳入欧盟《人工智能法》静态、预定的合规模型的监管方式。
笔者称这一挑战为“AI代理主权侵蚀”(Agentic Tool Sovereignty,简称ATS),即国家和提供商对其AI系统的合法控制的能力(缺失)。数字主权关注的是对自身数字基础设施、数据和技术的控制,而ATS将这种关切延伸至AI系统自身的运行时行为,AI代理工具的行动、选择并集成已经超出任何单一司法管辖区有效范围之工具的能力。
假设一个场景:巴黎的一个AI招聘系统在不到五秒内自主调用了一个美国心理测量API、英国验证服务、新加坡技能平台和瑞士薪资工具。三个月后,四个监管机构对其发出了违规通知。而事实上,部署者明显缺乏对数据流的可见性,审计追踪被证明不足,并且代理没有地理路由控制。
在欧盟《人工智能法》生效十五个月后,尚无指南解决这一差距,而针对跨境AI违规的2000万欧元GDPR罚款(OpenAI 1500万欧元,Replika 500万欧元)则表明了当AI代理的自主工具使用不可避免地引发类似违规时,监管机构可能如何回应。《人工智能法》的静态合规模型与代理的动态工具使用之间的脱节,造成了一个提供商和部署者都无法应对的责任真空。
定义ATS的维度
ATS问题源于代理自主性跨境数据流动与数字主权之间的紧张关系。我们将考虑的法律框架(欧盟《人工智能法》和GDPR)假设了静态关系、预定的数据流和统一的控制;这些假设与代理的运行时、自主、跨司法管辖区的工具调用不相容。
ATS具有技术、法律和操作维度,可以总结如下:
技术上,AI代理可能从不断更新的中心/注册库(列出可用工具的数字'目录')中动态选择工具,使得导入的司法管辖区在运行时之前未知。
法律上,当代理自主地跨境传输数据时,司法管辖权变得模糊。
操作上,责任分散在模型提供商、系统提供商、部署者和工具提供商之间,没有一个行为者在工具调用时对代理的决策树、数据流或合规态势拥有完全的可见性或控制权。
Gartner预测,到2027年,40%与AI相关的数据泄露将源于跨境生成式AI的滥用。然而,《人工智能法》没有提供任何机制来限制代理在何处执行、证明其运行时行为,或在控制离开原始边界时维持问责制。
02 法律框架失效:欧盟《人工智能法》的结构性缺陷
模糊的边界:“实质性修改”概念在动态工具调用前的失灵
欧盟《人工智能法》第3条第23款将"实质性修改"定义为"在初始符合性评估中未预见或未计划"的变更。
但运行时其他工具的调用是否构成上述的“实质性修改”?
相关的法律学术研究表明,这些模糊性是结构性的而非过渡性的。即使开发者使用有文档记录的方法对AI系统进行有意修改,"上游开发者也不太能预测或解决其模型所有潜在下游修改所带来的风险"。如果对于已知的、计划中的修改都无法预测,那么对于自主的运行时AI代理工具调用来说就变得不可能;提供商无法预见AI代理将从不断更新的注册库中选择哪些工具、这些工具具备什么能力、或者它们会带来什么风险。
如果在符合性评估期间工具被记录在案,责任可能仍由原始提供商承担。如果工具的选择和使用是未预料到的或从根本上改变了能力,则可能触发第25条第1款,将部署者转变为提供商。
然而,"实质性修改"的门槛要求确定变更是否被"预见或计划";当AI代理自主选择在符合性评估时还不存在的工具时,这一确定在结构上变得不可能。
不可能的任务:对跨境工具交互的“上市后监测”何以实现?
第72条第2款要求(对高风险系统的)上市后监测"包括对与其他AI系统交互的分析"。虽然这为监测外部工具交互提供了最强的文本依据,但它仍然引发了进一步的问题,即:
"其他AI系统"是否包含非AI工具和API?代理调用的大多数外部工具是传统的API,而非AI系统;而其他一些可能是黑箱,它们在外表上并未作为AI系统进行接口交互,但内部运作却是一样的;
提供商如何监测其控制范围之外的第三方服务?提供商无法访问工具提供商的基础设施,不能强制要求披露数据处理地点,并且没有机制来审计工具行为;如果工具提供商位于欧盟境外,这一点尤其如此。
对欧盟《人工智能法》上市后监测框架的学术分析承认了这一结构性挑战,指出对于"持续学习,即在投放市场后更新其内部决策逻辑的AI系统",上市后监测变得尤其具有挑战性。具有动态工具选择能力的代理AI系统属于此类。
此外,该法案假设监测日志"可以根据合同协议由用户、提供商或第三方控制",但当代理调用来自运行时之前未知、且与之不存在合同关系的提供商的工具时,这一假设完全失效,造成了可见性差距,使得第72条第2款的监测义务无法履行。
第25条第4款要求(高风险系统的)提供商和第三方供应商通过书面协议规定"必要的信息、能力、技术访问和其他协助"。然而,这假设了预先建立的关系,而当代理在运行时从不断更新的中心/注册库中选择工具时,这种关系不可能存在。
责任归属在“多方参与”下的模糊与真空
责任和义务分散在AI的整条价值链中:模型提供商构建基础能力;系统提供商集成和配置;部署者在特定环境中操作;工具提供商(有时甚至不知情地)提供外部能力。每个行为者都拥有部分的可见性和控制权,但法案的问责框架却假设了统一的责任。
该法案没有提供任何机制来强制工具提供商披露数据处理地点、实施地理限制、提供审计访问权限或保持与合规系统的兼容性。当代理自主选择一个将个人数据传输到非充分性认定司法管辖区的工具时,是谁决定了这次传输?是启用了工具使用能力的模型提供商?是配置了工具注册库的系统提供商?是授权自主操作的部署者?还是处理了数据的工具提供商?
传统的归责法律框架"将机器视为由其人类操作者控制的工具,其基础是人类对机器规格具有一定程度的控制",然而"由于AI很大程度上依赖于学习并适应自身规则的机器学习过程,人类不再掌控,因此不能期望人类总是为AI的行为负责"。
当AI代理工具调用其他应用时,这种责任差距会倍增:机器学习(ML)系统可能"对几乎相同的输入表现出截然不同的行为",使得无法预测将调用哪些工具或数据将流向何处。该法案假设了已不存在的统一控制。
当AI代理选择一个网络服务作为工具,而该服务从未设想或授权自己被用作AI代理操作的一部分时,会出现更多问题。它们在甚至不知情的情况下实际上变成了一个工具。
此外,该法案没有提供任何机制来强制在运行时选择的工具提供商合作。第25条第4款确实规定了书面协议,但仅限于预先建立关系的提供商和供应商之间。因此,这两个条款都未能解决从临时来源选择工具所引发的问题。
这种模糊性可能并非偶然,而是有意为之。立法者"被劝阻为算法程序员制定具体的规则和义务,以允许未来的实验和代码修改",但这种方法"为程序员逃避系统在社会中最终行为的责任和问责提供了空间"。
欧盟《人工智能法》是这种权衡的典型代表:规则太具体会限制创新,而一般性规则会造成问责真空。ATS恰恰存在于这个真空中,即在启用自主工具使用与维持对该自主性的法律控制之间的空间。
03 根本性的冲突:与GDPR无法调和的合规矛盾
欧盟《人工智能法》与GDPR第五章的交集产生了根本性的紧张关系。根据Schrems II案,第46条下的标准合同条款要求具体的进口方识别和逐案的充分性评估。同样,这些机制假设了预先建立的关系和有意的传输决定;同样在结构上与动态工具调用不兼容。
AI代理的工具中心/注册库是不断更新的。在许多情况下,具体的工具在运行时之前是未知的。AI代理决策发生得太快,无法进行法律审查,而且关系是短暂的而非合同性的。
这种结构性紧张关系被AI代理凸显出来:GDPR的"传统数据保护原则——目的限制、数据最小化、敏感数据的特殊处理、对自动化决策的限制"与AI系统的操作现实存在根本冲突,后者涉及"收集关于个人及其社会关系的大量数据,并为在收集时未完全确定的目的处理这些数据"。
当代理自主调用跨境工具时,它们产生的数据流既不符合第五章的预定传输机制,也不符合第一章的有目的收集原则(假设在收集时目的已确定)。法律要求知道数据为何流动及流向何处,但是AI代理系统在运行时是自主决定这一点。
当AI代理自主选择传输个人数据的工具时,既定的控制者-处理者框架关系崩溃了;工具提供商并非在部署者的指示下行事,但也不是在独立地决定目的和方式。
在这种背景下,提供商发现自己陷入两难境地:要么预先批准有限的工具集(消除代理的灵活性)、实施地理限制(通过另一种约束带来同样的问题),要么在不合规的情况下运营。
传统的"数据主权"侧重于对司法管辖区内数据的领土控制,但AI代理系统做出自主的跨境决策,超越了任何单一司法管辖区的主权范畴。《人工智能法》无法约束那些自主调用在不同司法管辖制度下运行、具有不同合规等级的工具的代理。
因此,ATS要求一种根本性的重新概念化:主权必须从静态的领土边界转向对自主行动本身的动态治理。
04 未来的出路:从静态合规迈向“运行时治理”的必然转向
在《人工智能法》生效十五个月后,人工智能办公室尚未发布任何专门针对AI代理、自主工具使用或运行时行为的指南。
未来协会(The Future Society)2025年6月的报告证实,正在制定中的技术标准"可能无法完全解决来自代理的风险"。这一监管差距不仅是技术性的,也是概念性的;现有法律将主权嵌入领土和数据驻留,而AI代理系统要求将主权嵌入运行时的行为。
在指南出台之前,提供商面临着极其难以解决的模糊性:
工具调用是否构成实质性修改;
如何满足第72条第2款对第三方服务的监测义务;
GDPR的传输机制是否适用于短暂的、由代理发起的关系。
成功的、具有工具使用能力的AI代理系统的部署者,一方面必须维持人类监督(根据第14条),同时还要启用系统的自主操作——这表面上看来是一种合规的不可能性。
因此,AI代理运行治理的空白不仅仅是技术性的,更是根本性的:AI代理可以自主执行复杂的跨境行动(包括触发数据传输的工具调用),如果由具有相同知识和意图的人类执行,这些行动将违反GDPR和《人工智能法案》。
然而,这两个框架都没有对AI代理本身施加实时的合规义务:事后罚款无法撤销非法的数据传输;符合性评估无法预测AI代理将在数千种不断更新的工具中自主选择哪一种。法律监管的执行模式假设了人类决策的时间尺度,但实际操作发生得太快,人类的监督只能是“异想天开”。
因此,“AI代理主权侵蚀”(ATS)的现状要求我们从根本上重新定义我们如何看待数字主权,不是静态的管辖权界限,而是自主行为的动态护栏。这可能需要一些机制来潜在地约束代理可以调用哪些工具,验证执行发生的位置,并在控制分散时保持责任。
本文来自微信公众号“Internet Law Review”,作者:劳埃德·琼斯,36氪经授权发布。















