孙航 | 生成式人工智能内容风险的治理路径
生成式人工智能内容风险的治理路径
西北政法大学法治学院博士研究生
孙航
“十五五”规划纲要明确提出，要“加强数据基础制度规则建设和人工智能治理，营造有益、安全、公平的发展环境”“推动平台经济创新和健康发展，加强平台企业数据、算法、流量和规则监管，促进平台企业和平台内经营者、劳动者共赢发展”。2023年以来，我国从隐私保护、数据安全、企业合规等重点领域不断加强对生成式人工智能（以下简称“AIGC”）的监管。尤其在内容治理层面，随着2025年《人工智能生成合成内容标识方法》与《网络安全技术 生成式人工智能服务安全基本要求》的实施，我国已初步确立了以内容标识、数据保护、多方主体责任分配为核心的规范框架。
以ChatGPT、Sora为代表的生成式人工智能在文本生成、图像合成、音视频制作等领域实现突破式发展，深刻改变了信息生产与传播的基本形态，标志着人类社会逐步迈向创造性生成的新范式。然而，治理挑战与技术红利相伴而生。与传统信息传播工具不同，生成式人工智能通过算法模型在海量数据基础上进行类创造性生产，其生成结果往往具有高度逼真性、低成本复制性与强规模扩散性。这一技术特性使得其伴生的虚假信息、深度伪造、算法歧视与知识产权侵权等内容风险呈现出高度复杂性，对传统法治秩序构成了深刻挑战。构建应对生成式人工智能内容风险的多维治理体系，不仅是提升国家治理能力的应有之义，更是建立负责任的人工智能生态的必然选择。
生成式人工智能内容风险的类型化审视
>>2025年6月20日，在北京市石景山区中关村科幻产业创新中心，工作人员展示悟空图像软件的AIGC功能。 新华社记者 郑焕松/摄
技术维度。生成式人工智能的本质是对训练数据中统计关联关系的概率性重构，这种黑箱运算决定了其输出结果在技术上具有极强的不确定性。其一，生成内容的真实性不可验证与幻觉风险。生成式人工智能模型不具备对客观事实真伪或社会价值正当性的实质判断力。在特定语境下，模型极易生成形式上逻辑严密、高度逼真，但毫无事实根据的文本或图像，即技术上的幻觉。一旦这些伪造的专业意见、虚假新闻进入公共传播空间，容易引发公共认知混乱。在实践中，已有因用户轻信AI生成的虚假法律意见或医疗诊断而导致的民事纠纷，凸显了幻觉对公共信息真实性底线的冲击。其二，深度伪造技术的泛化风险。随着大模型日趋成熟，其对自然人的外貌、声音与行为模式的精准模仿已经走向大规模应用。深度伪造技术的滥用，显著放大了诈骗与勒索风险。以公安机关通报的包头市AI换脸电信诈骗案为例，犯罪分子利用AI技术伪造受害人好友的面部特征与声音进行视频通话，短短10分钟内诈骗高达430万元。该案深刻表明，生成式人工智能技术降低了犯罪成本，使传统的身份核验机制面临系统性失效，深度伪造已演变为一种极具破坏力的工具。其三，算法偏见的技术固化与隐性放大。模型对训练数据的高度依赖意味着既有社会结构中的性别、年龄、地域或职业歧视会被系统性吸收。在生成过程中，这些偏见被披上技术中立的外衣持续输出，甚至在招聘筛选、信用评估等自动化决策场景中形成结构性歧视，从而增加了监管部门与受害群体识别、举证与规制的难度。
权利维度。生成式人工智能并非简单地“使用”信息，而是通过规模扩散与特征重构，对传统权利体系形成了全方位的冲击。其一，人格利益的异化与侵害的规模化。AIGC能够在未经授权的情况下，提取自然人的声音、肖像乃至行为特征，生成高度逼真的合成内容。这使得传统意义上具有不可替代性的人格权益被数据化，进而呈现出可分解、可组合、可规模化传播的异化特征。这种技术复制在很大程度上动摇了肖像权、名誉权等人格权制度的传统保护边界。其二，创作边界的模糊与知识产权的制度性危机。AIGC通过对海量受版权保护的作品进行消化与重组，引发了从训练数据到生成内容的双重著作权风险。在训练数据层面，广州互联网法院审理的生成式AI侵害奥特曼作品复制权案，揭示了模型训练数据阶段的侵权风险。法院认定AI平台在未经授权的情况下，生成与奥特曼实质性相似的图片，侵犯了权利人的复制权与改编权。在生成内容层面，北京互联网法院审理的AI文生图著作权侵权案成为行业标杆。法院虽然在个案中认定了涉案AI生成图片具备独创性并构成美术作品，但该案也暴露出司法在界定人类智力投入与机器机械生成边界时的艰难。这些典型案例表明，传统著作权中关于作品、作者与合理使用的制度基石正面临严峻挑战。其三，个人信息控制力的深度削弱。在内容生成的过程中，个人信息不再仅仅是被动处理的客体，而是被深度加工为模型生成新内容的质料。这种从数据收集向特征重构的转变，实质上突破了个人信息保护法中的目的限定、最小必要等核心原则。权利人不仅难以感知其信息被利用的具体方式，更在事实上丧失了行使知情权、同意权与删除权的能力。
价值维度。同技术维度与权利维度的内容风险相比较，生成式人工智能内容层面的价值风险更为隐蔽，却具有更深远的规范意义。生成式人工智能内容风险在长期运行过程中，可能对现代法治社会所依赖的基本价值结构产生侵蚀。其一，对公共信息秩序的冲击。当社会成员难以区分真实信息与人工智能生成内容时，公共讨论的事实基础将被削弱，民主决策与公共理性也随之受到影响。其二，对平等价值的侵蚀。算法歧视并非源于主观故意，而是通过技术中立的外观将不平等结构自然化、合理化，使受影响群体难以察觉并进行抗辩。这种隐蔽性歧视对宪法所要求的平等原则构成实质挑战。其三，对人类主体性与尊严的弱化。当生成式人工智能在内容生产、价值判断和决策辅助中被赋予权威地位，人类逐渐从判断主体退化为接受主体，其批判性思维能力也将逐渐被技术取代，这种趋势从根本上触及主体性保护与人类尊严这一现代社会的核心价值。
生成式人工智能内容风险治理的挑战
>>我国首部全流程AIGC动画电影《团圆令》于2月28日正式登陆全国院线。图为3月1日，小朋友在电影《团圆令》的观影活动上演唱主题曲。 新华社记者 邢广利/摄
上述类型化分析表明，AIGC内容风险是由技术逻辑与制度结构交织而成的复杂问题。然而，无论是在法律规则的设计上还是在司法裁判的适用中，我国目前对AIGC内容风险的治理都面临挑战。
法律规范体系与技术特征的结构性错位。现行互联网法律规范主要围绕传统信息网络传播模式建立，其预设前提是行为主体明确、信息传播路径可控、损害结果易于锁定。然而，AIGC将这些前提全部打破。其一，责任主体多元导致归责基础模糊。AIGC产业链涵盖基础模型提供者、模型开发者、应用服务提供者以及终端用户等多元主体。内容侵权发生往往是数据源、算法黑箱与用户提示词诱导等多方原因共同作用的结果。现行法律缺乏针对这种多主体协同与人机交互生成的责任配置规则。在实践中，受害者往往只能将提供服务的平台作为被告，而真正掌握算法核心设计与数据控制权的模型研发者却常游离于规制之外，导致权责分配严重失衡。其二，一刀切的监管标准忽视了风险的差异性。尽管我国出台了《生成式人工智能服务管理暂行办法》，但在具体执行中，监管要求往往具有同质化倾向。例如，要求所有生成服务均需履行相同的安全评估与备案义务。然而，不同媒介形态与应用场景的风险截然不同。纯文本生成的风险主要在于版权与虚假信息、音视频生成则直接关联深度伪造与诈骗、医疗诊断AI与娱乐对话AI的社会影响则体现得更为深远。缺乏精细化的风险分级制度不仅难以实现精准治理，反而容易因合规成本过高而扼杀产业创新。
司法救济路径在应对系统性风险时的功能局限。面对层出不穷的AIGC涉诉案件，尽管人民法院积极探索裁判规则，但司法作为一种事后救济机制，其内生的被动性使其在应对AIGC前置性、系统性风险时显得力不从心。一方面，工具化裁判路径难以应对算法技术引起的风险。在当前的司法实践中，为了保持裁判逻辑的稳定性，法院普遍倾向于将AIGC定位为高度自动化的技术工具，进而沿用传统网络侵权的避风港原则或红旗原则。例如，在审查平台是否尽到注意义务时，法官往往只看平台是否设置了用户协议、是否提供了投诉渠道、是否在事后及时断开链接。然而，AIGC具有即时生成并脱离人工控制的特点，要求平台对海量即时生成的内容进行事前实质性审查既不符合技术规律，也不具备商业可行性。这种裁判思路固化了事后归责的逻辑，无法促使平台在模型训练端与算法设计端进行源头治理。另一方面，私权救济难以覆盖公共价值损害。司法裁判以解决具体的个案纠纷为中心，以明确的权利主张与实际损害为启动要件。但AIGC的诸多风险，例如算法歧视、公共信息环境的污染、文化同质化等问题往往缺乏适格的起诉主体与可量化的损害结果。依靠个体提起侵权之诉，很难承担起维护公共信息秩序与社会伦理价值的宏大治理功能。
生成式人工智能内容风险的三维治理路径
生成式人工智能内容风险具有生成机制复杂、权利影响多元等特征，单一法律工具难以实现有效治理。对此，有必要在坚持法治基本框架的前提下，构建由规则治理、场景治理与伦理治理协同运行的三维治理体系，以回应生成式人工智能内容风险的结构性挑战。
规则治理。规则治理的要义，在于通过制度设计将内容风险防控前置嵌入生成式人工智能技术开发与服务的全过程。从总体框架上看，其起点是对内容风险涉及的权利类型作出明确界定与类型化区分，这能够从一定程度上避免将风险泛化为一般性的信息危害，从而夯实司法救济的私法规范基础。从具体实施层面看，应着力于以下四个方面。首先，完善前置性规制工具。通过引入算法风险评估机制，将防控要求嵌入模型训练、产品上线等关键环节。特别是对高风险应用领域，应设置更严格的备案义务，实现风险防控前移。其次，构建多主体协同责任体系。应当突破传统单一责任主体的规制思路，依据各方对风险的控制力以及经济收益，为模型开发者、平台运营者与用户设定差异化的注意义务与法律责任，并重点强化模型开发者的源头合规责任。第三，推进技术层面的标识治理。全面落实生成内容的显性与隐性标识制度，确保信息传播全过程来源可溯、去向可查，为司法实践中的证据溯源与责任认定提供技术层面的支撑。最后，健全程序性权利救济机制。一方面，明确用户提出申诉、复核与纠错的处理期限；另一方面，针对可能引发群体性损害的场景，引入公益诉讼或代表人诉讼等集体保护机制，系统提升治理效能。
场景治理。生成式人工智能内容风险并非在所有应用场景中均衡呈现，其危害程度与社会影响高度依赖具体应用场景，应对不同应用场景实施差异化治理。首先，基于媒介形态的差异化治理。例如，针对文本生成的风险治理应侧重于虚假信息过滤与版权补偿机制的建立，而对于音视频生成可能引发的深度伪造风险需要设置更高标准的身份验证与受害人即时救济机制。其次，基于应用场景的风险分级。参考国际经验并结合我国有关法律规定，将涉及关键基础设施、医疗、司法等高风险领域的人工智能生成内容应用纳入严格准入与动态监控范畴；对于娱乐、艺术创作等低风险场景则给予更多的容错空间，避免过度监管抑制产业活力。最后，引入场景化注意义务规则。在高风险场景中，要求实行人工复核、生成日志留存与责任可追溯制度；在中风险场景中，重点落实显著标识与合规性周期审查；在低风险场景中，则以备案管理与用户提示为主。该规则也可为司法裁判提供明确的注意义务判断标准。
伦理治理。伦理治理并不着眼于对具体行为是否合法作出判断，而是将关注点放在生成式人工智能内容风险背后的价值取向上，其根本目标在于确保生成式人工智能始终坚持技术向善。首先，应当将伦理审查纳入产品设计与模型训练的前置环节。要求头部平台在模型开发与产品上线前，对训练数据偏见、潜在歧视风险以及可能的社会影响展开系统性伦理评估，并形成可供审计的合规记录。其次，应建立生成式人工智能内容风险伦理提示与用户警示制度。通过强制标识生成内容属性、设置风险提示语以及明确使用限制，引导公众更加理性地理解和使用人工智能生成内容，同时也为司法机关判断平台是否履行了合理提示义务提供客观依据。第三，有必要在现行法律框架内进一步明确人类在生成式人工智能应用过程中的最终决定权，防止价值判断中过度依赖算法输出，从制度层面保障人类在关键决策环节中的主体地位。最后，应推动政府、企业与学术界形成多方参与的协同机制，共同推进生成式人工智能伦理准则的制定与细化，并将相关要求转化为企业日常运营中的自觉。通过引入伦理审计与社会监督等方式，可以在一定程度上弥补法律规制刚性不足的问题，为生成式人工智能内容风险治理提供更具柔性与前瞻性的约束工具。
原标题：《孙航 | 生成式人工智能内容风险的治理路径》