生成式人工智能带来认知操纵风险，或显著提升认知战影响力
·认知战，指的是通过影响目标人群认知来影响其行为和决策，以期达到一定政治目的的非常规战争方式。生成式人工智能的出现，提升了认知战信息武器的质量、拓展了认知战的影响路径、丰富了认知战的作战理念。
·当人们普遍使用家用服务机器人，接受他们作为家庭管家和助手的角色甚至对他们产生依赖时，一旦这些机器人被用于认知战，或将深刻影响人们的认知。未来相关教育辅助技术如果被用于认知战，将直接对人生观价值观尚在形成之中的广大青少年群体产生较强的认知影响。
随着人工智能的快速发展，人们对人工智能的担忧一直存在。人工智能是否会具备类似人类的自我意识，甚至像电影《终结者》描述的一样会伤害人类？人工智能实现自我意识觉醒还有技术难关需要攻克，不过人工智能操纵人类的意识和认知却离我们越来越近，或将显著提升认知战的影响力。
生成式人工智能的认知影响力
既然人工智能还没有形成自我意识，又如何会操纵人类的认知呢？很显然，当前的人工智能并非自己要操纵人类的认知，而是具备被用来操纵人们认知的潜力，且这个潜力随着生成式人工智能的出现得到了很大的提升。
生成式人工智能，指的是具有文本、图片、音频、视频等内容生成能力的模型及相关技术。以聊天生成预训练转换器（ChatGPT）为代表的生成式人工智能，可以和人们通过自然语言（而不是代码）进行沟通，并按人们的要求生成各式文本、图片，且具备较高的完成质量。对于用户的提问，ChatGPT的回答看似经过思考推理，观点独特有时似乎体现着智慧，容易得到用户的肯定。其不仅可以满足用户关于知识的需求，可以替用户完成文字、图片相关工作，还可以陪伴用户聊天，满足用户的情感需求。
作为一个向用户提供文字、图片等信息的助手，ChatGPT也具备影响用户认知的潜力，且这个潜力随着其表现优秀而提升。就好比一个每天都听从指令帮你搜集整理信息并提供结果的助手，某一天不经意间向你提供了虚假的信息或是有偏见的观点，你可能很难察觉出来并受到认知影响。
生成式人工智能影响人们认知的主要途径有三类：一是提供虚假错误信息。生成式人工智能的生成内容并不总是准确的，也会出现错误和虚假信息。有研究指出，13%的ChatGPT生成文本带有某种形式的虚假或误导性信息。生成式人工智能也可能被人为引导而生成虚假错误信息。这些错误的信息往往真假难辨，容易干扰人们的认知。二是展现歧视性或侵略性观点。生成式人工智能基于海量的数据训练而具备回答问题的能力，其生成的内容受到数据来源的影响。这些数据中存在的价值判断会影响其生成的内容。人们发现ChatGPT在回答一些问题时存在种族歧视或政治立场等。有调查发现，7%的ChatGPT生成文本带有攻击性或侵略性语气。生成内容存在的价值判断可能在不知不觉中影响用户认知。三是形成情感依赖。生成式人工智能可能因为其出色的沟通能力受到用户的喜爱，也可能因为其巨大的知识储备和分析问题解决问题的能力得到用户的认可。用户可能会习惯于人工智能提供分析决策和情感支持而更加信任、依赖他们，从而对于他们的答案和观点给予充分信任，并可能影响自己的认知。
一个本应受人指挥协助人们的工具，却可能潜移默化地影响和指挥人们的认知和决策，这不得不引起人们的重视。更值得警惕的是，生成式人工智能影响人们认知的能力，可以被认知战进一步利用和放大。
生成式人工智能将拓展认知战的维度
认知战，指的是通过影响目标人群认知来影响其行为和决策，以期达到一定政治目的的非常规战争方式。认知战往往由外国行为者发起，以信息为武器，通过大众传播媒介和社交媒体等渠道将量身定做的信息传递给目标受众，以影响目标受众的情感和认知，从而达到打击对方国家战斗意志、干扰其战略决策、破坏对方国家团结和稳定、贬低对方国家形象等战略目的。生成式人工智能的出现，将拓展认知战的维度。
一是提升认知战信息武器的质量。认知战借助虚假信息来影响人们的认知。这些虚假信息往往是根据目标人群的性格特征、政治倾向量身制定的，以期能产生较大的认知影响。生成式人工智能可以根据用户特点生成较高质量的虚假信息。这些信息真假难辨，且可以被大规模生产，丰富了认知战的信息工具。
二是拓展了认知战的影响路径。认知战使用的信息主要通过大众传媒和社交媒体来传播，如今多了生成式人工智能这一渠道。通过影响或控制生成式人工智能生成的内容，可以将虚假的信息、带有歧视或是具备某种政治倾向的信息内容提供给用户，影响用户的认知。鉴于生成式人工智能和用户的交流往往是一对一的，借助这一路径的认知战将更加隐秘，更难被发现。
三是丰富了认知战的作战理念。认知战首先需要将特定信息传递给目标人群，引起目标受众的关注，才可能进一步引起对方的认知改变。因此，认知战需要考虑如何将信息准确传递给目标人群，又如何引起目标人群的关注。社交媒体技术有助于实现认知战将特定信息推送给特定人群，提升了认知战效果。而借助于生成式人工智能的认知战，则不需要担心信息的传递遇到问题。因为生成式人工智能生成的信息是在和用户互动中产生的，用于认知战的信息也会在和用户互动中被读取。考虑到用户可能产生的情感依赖，借助生成式人工智能传递的信息可以更好实现认知操纵。
未来生成式人工智能带来的认知操纵风险
人工智能相关技术仍在不断进步。生成式人工智能将以更加优秀的服务，赢得更多用户的信任和依赖，同时也为认知战操纵人们认知提供了更大的平台。
可以预见，生成式人工智能快速普及的时代将很快到来。通过提供接口或模型给更多的产品、软件，生成式人工智能服务将被更多的企业和个人使用。生成式人工智能也将更加智能和全能，不仅可以陪你聊天、帮你分析决策，或许也可以帮你挑选购买商品、订机票酒店，还可以帮你做家务、干体力活。生成式人工智能技术和应用可能将无处不在，被认知战利用的威胁也将无处不在。
特斯拉首席执行官埃隆·马斯克（Elon Musk）近日公布的人形机器人Optimus二代，则被推测搭载了ChatGPT大模型技术，预计在3-5年内量产，最终价格可能低于2万美元，量产数量可能达到100亿至200亿台，超过了地球人口的数倍。该机器人目标首先是成为工厂生产助手，之后可扩展至家庭等更复杂的环境中，成为通用服务机器人。当人们普遍使用家用服务机器人，接受他们作为家庭管家和助手的角色甚至对他们产生依赖时，一旦这些机器人被用于认知战，或将深刻影响人们的认知。该机器人目标首先是工厂生产助手，之后可扩展至家庭等更复杂的环境中，成为通用服务机器人。当人们普遍使用家用服务机器人，接受他们作为家庭管家和助手的角色甚至对他们产生依赖，一旦这些机器人被用于认知战，或将深刻影响人们的认知。已有学者尝试改进ChatGPT技术用于对学生的个性化教育辅导中，发现基于ChatGPT大模型技术的一对一教学辅导能取得较好的效果。未来相关教育辅助技术很可能被广泛用于学生学习辅导中。相关技术如果被用于认知战，将直接对人生观价值观尚在形成之中的广大青少年群体产生较强的认知影响。
可见，随着生成式人工智能技术的进步以及相关技术应用的普及，生成式人工智能被用于认知操纵的风险也急剧上升。
生成式人工智能认知操纵风险带来新挑战
当前，关于生成式人工智能风险的讨论，较多关注其生成内容的安全性，如存在虚假信息和歧视性内容，较少关注其带来的认知操纵风险。国家今年8月出台的《生成式人工智能服务管理暂行办法》也较少涉及这一风险。然而，生成式人工智能被用于认知战的风险和给监管带来的挑战，既真实存在也迫切需要应对。
一是生成式人工智能大模型在开发和实践阶段都有被认知战利用的风险。在生成式人工智能的开发训练阶段，可以影响其预设价值观。鉴于ChatGPT等生成式人工智能的训练过程主要包括基于数据的训练、人工微调和基于人的反馈强化训练，通过控制训练数据来源，如使用只包含某类政治倾向的数据，或在人工训练阶段有意调整其价值判断，可以实现在训练阶段对生成式人工智能的预设价值观影响，从而影响其实际应用中生成内容的倾向性，为认知战所用。在生成式人工智能的实践应用阶段，可以通过误导性指令引导其生成虚假或误导性信息内容并加以传播。或许还存在远程攻击手段来干扰生成式人工智能的内容生成，如修改其输出内容，将服务于认知战的特定信息放入生成内容中。
二是人工智能黑箱为大模型开发阶段的监管带来挑战。基于人工智能的具体工作方式还存在人们无法理解的黑箱，也就是说人们还无法解释人工智能为何能展现出逻辑推理能力，又是如何思考得出的答案。因此，人们无法完全预测和控制生成式人工智能的输出内容。生成式人工智能生成内容的不确定性，为相关监管带来挑战。监管方难以要求开发者完全确保生成内容的可靠性，也很难通过开发阶段的抽查确保应用阶段输出内容的安全性。
三是生成式人工智能应用阶段的监管与个人隐私保护存在张力。生成式人工智能的应用多是与用户一对一沟通的场合，具备一定的私密性，使得借助生成式人工智能服务的认知战更具隐秘性。为了确保生成式人工智能生成内容合乎国家法律和道德规范，防止其被用于认知操纵，可能需要监管用户与生成式人工智能之间的所有互动。随着生成式人工智能服务的普及，这样的互动或许融入人们生活的方方面面，对所有用户的所有互动进行监管，既难以实现，又难免会侵犯消费者的隐私权。
人工智能的机遇与风险并存。应对上述挑战，发展人工智能技术是应有之义。防御性人工智能技术或可被用于监管防范生成式人工智能的认知操纵风险。不过，发展和安全需要兼顾。在人类无法控制人工智能的风险，甚至不具备在紧急时刻拥有暂停键的能力的时候，发展应当谨慎。当前，ChatGPT等生成式人工智能所做的只涉及读取用户语言信息，展示结果，并不涉及对信息内容的理解。它们没有达到人类的智商，更没有自我意识。但这并没有影响其对人们认知安全的挑战。当有一天人工智能达到甚至超过人类的智力，或者具备了自我意识，他们将更深层次地挑战人类的安全。
（作者汪儒为中国现代国际关系研究院博士生）