系列提醒之“AI生成内容安全”篇

2026-05-19 00:00
河南

人工智能生成合成内容是指

利用人工智能技术生成

合成的文本、图片、音频、视频、

虚拟场景等信息

当下生成式AI快速普及

给创作生活带来诸多便利

但AI造谣虚假合成等隐患丛生

请大家提高防范意识守住法律底线

依法安全文明使用AI工具

共护清朗网络

一、经典案列

网络安全

2026年2月,上海罗某为吸粉引流,利用AI生成“施工区地面塌陷”的虚假视频,在短视频平台传播,扰乱公共秩序。

通过细节违和、逻辑漏洞识破AI伪造内容,罗某最终被依法行政拘留。

二、识AI风险暗流

网络安全

01/造假门槛降低

免费AI作图、视频生成工具普及,导致虚假内容生产成本降低,且生成的虚假内容传播速度快、影响范围广。

02/虚假内容难辨别

AI换脸、声音克隆技术等生成的视频内容相当逼真,导致虚假灾情、虚假事故等类型谣言难以分辨,易误导公众、带偏舆论。

03/新规要求标注来源

服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的,应当按照下列要求对生成合成内容添加显式标识:

(一)在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识,或者在交互场景界面、文字周边添加显著的提示标识;

(二)在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识,或者在交互场景界面中添加显著的提示标识;

(三)在图片的适当位置添加显著的提示标识;

(四)在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可以在视频末尾和中间适当位置添加显著的提示标识;

(五)呈现虚拟场景时,在起始画面的适当位置添加显著的提示标识,可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识;

(六)其他生成合成服务场景根据自身应用特点添加显著的提示标识。

服务提供者提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识。

04/自保自律双重需要

为了促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局制定了《人工智能生成合成内容标识办法》。同时,我们也要学会识别AI造假,既能避免误导,也能防止自己无意中传播违法违规内容,守住法律底线。

三、守AI清朗之道

网络安全

01/练就辨别能力

留意人物五官扭曲、动作僵硬、文字错乱等AI破绽。

02/规范使用AI工具

用户使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。

任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。

03/保护个人信息

不随意在陌生AI平台上传照片、原声视频,防止被不法分子用于换脸、仿声。

04/核实多方信息

涉及灾害、事故等事件,以官方通报为准,不轻信、不转发来源不明的AI视频。

05/及时举报违规内容

遇到AI谣言等违法违规内容,立即向平台或网警举报,共同抵制网络乱象。

四、护网安 万家安

网络安全

愿大家都能明辨虚实、文明用网

共建安全、有序的数字家园!

END

色情“小广告”?看支书上“大招”

往期回顾

1

『豫筑平安』┃桐柏公安:快侦快破擒宵小 追赃挽损护民生

2

雨雨雨!绷紧安全防线,平安出行!

3

珍爱生命,拒绝“命案”!

4

夏季高发,快收好这份“宝典”→

原标题:《系列提醒之“AI生成内容安全”篇》

阅读原文

    特别声明
    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问https://renzheng.thepaper.cn。