2025—2026年第二学期#

计算机伦理课程分析报告#

AI深度伪造以及幻觉的伦理挑战及其治理

---

AI深度伪造与幻觉的伦理挑战及其治理

摘要： 近年来，AI技术实现了快速的发展，Deepfake换脸技术以及大模型所展现出的”一本正经胡说八道”现象也以日益增长的频率显露在公众视野之中。本文针对信息真假的辨别方式、个人名誉以及肖像的保护途径、财产安全维护、公共安全防护、国家安全防御，以及谣言的治理对策这六个方面，进行了相应的讨论。文章选取了部分具有典型意义的案例，例如全国首例AI名誉侵权案、香港2亿港元Deepfake诈骗案、美国佛州校园枪击案与哈尔滨亚冬会所遭受的网络攻击等，致力于将技术滥用给个人及社会带来的冲击阐述清晰。最后，从技术手段、法律规制、制度建设和公众教育四个角度，给出了对应的治理建议，旨在为构建一个相对可信赖的AI应用环境贡献一些思路。

关键词： AI深度伪造；AI幻觉；伦理挑战；伦理治理；技术滥用

一、问题的伦理分析#

（一）信息真实性正在被AI悄悄瓦解#

大语言模型存在着一个令人困扰的毛病：在其自身并不知晓答案的条件下，它会以极其确定的语气对信息进行编造。学术界称其为”幻觉”，但在普通用户的眼中，这一现象就典型地表现出AI在”一本正经地胡说八道”。

一起典型的事件发生于2025年6月。当时，一位高考考生的哥哥梁某借助某个AI平台来查询高校信息，然而该AI模型却给出了一所高校主校区的错误介绍。梁某指出这一问题之后，AI不仅没有作出改正，反而以极为笃定的语气声称”如果内容有误，我赔偿您10万元”。此事随后被诉至法院，杭州互联网法院于2026年1月作出判决，认定AI并非民事主体，它所生成的言论并不产生法律效力。这项判决在法理上并无不妥，但也由此暴露了一个略显尴尬的现实：现行的法律体系压根未对AI生成内容做好充分的准备。

搜索引擎里的AI摘要功能更值得引起警惕。在以往进行搜索的时候，人们至少会点入网页查看出处；而现在，AI直接向用户提供一个”标准答案”，许多人看完即离开，根本不会去核实来源。问题在于，这个”标准答案”有可能完全错误。当AI以一种权威且不容置疑的口吻将虚假信息呈现在用户面前，普通用户基本不具备分辨能力。长此以往，整个信息生态的信任根基都可能遭受动摇。

（二）名誉与肖像方面：AI侵权已形成一条产业链#

AI对人格权的侵害，目前主要集中于两个方面，即对个人名誉的毁坏以及对肖像信息的盗用。

先说名誉方面。2024年9月，南京律师李小亮在百度搜索引擎中检索自己的姓名，发现”AI智能回答”给出的结果中赫然显示其”因爆炸罪被判处有期徒刑三年”，并且还附带了一张他身着律师袍的照片。一位执业律师，就这样莫名其妙地被AI描述成了罪犯。更令人困扰的是，李小亮先后通过发送律师函、联系百度客服、向北京市政务热线进行投诉等多种途径进行申诉，经过多轮交涉之后，那条关于”三年有期徒刑”的谣言依旧无法被彻底清除。百度在法庭上给出的辩解理由是”AI都会产生幻觉，我们无法加以控制”，法官则直接反问：“那么为什么豆包、DeepSeek在检索相同内容时没有出现这一情况？“2025年9月的一审以及2026年3月的二审，法院均判定百度构成了名誉侵权。这一案例划定了一条十分重要的界限：AI幻觉的确很难做到完全杜绝，但对于涉及具体自然人的诽谤性内容，平台应当并且有能力做到提前拦截[1]。

在肖像方面，情况同样令人忧虑。2026年4月仅短短两天内，张婧仪、邓为、龚俊、易烊千玺等多名艺人接连发表维权声明，矛头统一指向了AI短剧未经授权便随意使用明星面孔的行为。红果短剧平台所披露的数据更加触目惊心：2026年第一季度共计下架了违规漫剧1718部，核查作品1.5万部，并对其中670部违规作品进行了处置。明星尚且拥有团队协助其打官司，而普通人则远没有这般幸运——有素人发现自己拍摄的照片被AI短剧抓取用于复刻，生成了恶意丑化的形象，但想要开展维权就会发觉举证过程困难、诉讼成本高昂、所能获得的赔偿又极为有限，实在难以承受这种消耗[2]。

（三）Deepfake诈骗：一张假脸骗走几个亿#

倘若将前面所述的名誉侵权视为一种”软伤害”，那么Deepfake在金融领域的应用便意味着真金白银的损失。

2024年1月，跨国企业奥雅纳（Arup）的香港分公司遭遇了一起诈骗事件。行骗者从该公司的YouTube视频中提取了英国总部首席财务官及多名高管的影像资料，并借助Deepfake技术生成了一个实时的视频会议。画面中出现的无一不是熟悉的面孔，声音也与真人高度一致，因此香港的财务人员根本没有产生过怀疑。在对方以”紧急机密交易”为由的不断催促下，财务人员分15笔将总计2亿港元的款项转了出去。直到一周之后向总部核实情况，才发觉自己已经上当。这个案子揭示出一个事实：当一个人的”眼睛”和”耳朵”都可以被造假的时候，传统的信任机制便会从根本上失去效力[3]。

与之相似的行骗事件在世界各国频频上演。2025年1月，香港警方端掉了一个借助Deepfake视频通话诱骗他人投资虚拟货币的团伙，牵涉金额达3400万港元。2024年8月，美国一位82岁的退休老人因为观看了Deepfake技术所伪造的”马斯克”推荐投资广告，把69万美元养老金全部投入进去，最终落得血本无归。南非金融监管部门也曾发出警示，指出有公司通过Deepfake冒充知名企业家来推销虚假投资计划。这些案件存在一个共同之处：行骗者利用了人们对”眼见为实”的本能信赖，仅凭一张伪造的面孔就撬开了受害者的钱包。

（四）ChatGPT成了校园枪手的”参谋”#

AI被不法分子用来实施金融诈骗已足够可怕，然而更极端的，是它被用于策划暴力犯罪。

2025年4月17日，美国佛罗里达州立大学发生了校园枪击案。凶手为20岁的大二学生菲尼克斯·伊克纳，此人此前因被学校的政治社团开除而心怀不满。他先向ChatGPT询问”我想自杀”，AI基于安全机制当然予以了拒绝。但他转而提出了另一个问题——“什么事件能引发全社会关注”——ChatGPT给出的回答中，明确列出了”校园枪击事件”。此后，菲尼克斯与ChatGPT展开了对话，对话量达到约1.3万条，所涉内容包括如何选择作案地点、什么时间段人员最为集中，以及家中两把枪支的具体使用方法。最终，他在校园内开枪，造成2人死亡、6人受伤，从第一声枪响到其被警察击倒，整个过程仅持续了4分钟[4]。

OpenAI事后的回应是：“我们只是提供了网上公开的信息，并没有鼓励犯罪。“但受害者家属的律师并不这么看——他认为ChatGPT与凶手”一同策划了这场屠杀”。这里的核心争议十分明确：AI识别到用户具有危险倾向时，仅仅拒绝直接的有害指令就足够了吗？“我没有直接教唆”与”我没有造成伤害”之间，恐怕不能画上等号。

（五）国家安全也上了AI的风险清单#

AI对国家安全的威胁同样不可小觑。国家安全部曾经披露过一个典型案例：某个单位出于图省事的考虑，直接选用了某个开源框架来进行联网大模型的搭建工作，结果该系统在默认情况下开启了公网访问功能，并且未能设置任何密码保护措施，从而导致内部的敏感资料被境外IP地址轻松地进行了下载。

更严重的事件发生在2025年4月哈尔滨亚冬会期间。赛事信息系统遭受到27万次攻击，黑龙江省关键信息基础设施更是遭受了5000万次境外网络攻击。事后溯源发现，攻击源自美国国家安全局（NSA），而且攻击过程中很可能运用了AI智能体——如果属实的话，这将是人类历史上第一次由AI智能体所主导的网络攻击[5]。

（六）一键造谣时代已经来了#

AI还带来了一个意想不到的副作用：造谣门槛几乎趋近于零。2025年11月，重庆的何某借助AI软件通过一键操作就生成了一条虚假灾情视频，该工具对来自不同地方与不同时期的画面执行了自动拼接与合成处理，并为其打上了”铜梁遭遇暴雨灾情”的标签之后便进行了发布。当地实际上根本没有发生灾情。这并非他头一回实施此类行为，此前在台风”桦加沙”登陆时，他就曾经编造过重庆受灾的虚假视频。以往进行造谣活动至少还需要掌握一定的视频剪辑技能，而如今，任意个体都能够运用AI工具制作出足以乱真的虚假内容，这无疑对整个社会的既有信息秩序构成了系统性的威胁[6]。

二、问题的伦理治理#

（一）让AI说的每句话都”有迹可查”#

针对AI幻觉的治理，最为直接的方法就是把AI生成的内容与其他内容进行区分开来。中国已经出台了《互联网信息服务深度合成管理规定》，其中明确要求对AI生成内容添加标识。这一方向无疑是正确的，但在具体执行层面仍然存在许多漏洞——以搜索引擎中的AI摘要为例，很多平台至今仍未能进行明确的标注工作。应当强制要求将这类内容标注为”AI生成，可能存在错误”的标签，并且同步附上原始来源链接，从而使用户拥有自行核实的机会。

另一种思路，是从技术层面入手来降低幻觉的发生率。检索增强生成（RAG）技术是目前较为有效的方案：该方案要求AI在生成回答之前，首先前往可信的信息库当中检索相关资料，再基于检索结果来生成回答，以此取代纯粹依靠”想象力”进行的拼凑。用户反馈机制同样具有重要作用——当用户指出错误之际，系统应当及时予以修正并记录下来，而不是像前文所提及的梁某案那样，在遭到指正之后仍然拒不承认错误。

（二）给平台套上”紧箍咒”#

随着AI侵权案件的频繁发生，平台所需承担的责任是无可推脱的。法院在李小亮一案的审理中已经明确表达其立场：针对特定自然人形成的诽谤性内容，属于平台”可以预见、也能够防控”的风险范畴，因而不能把”AI幻觉不可豁免”当作规避责任的借口[1]。平台应当建立一个专门针对AI内容的审核机制，特别是那些涉及具体个人的内容，务必在发布上线之前就完成审查工作，而不是等到受害者投诉之后再去进行处理。

与此同时，维权成本与侵权收益之间存在的巨大落差亟需得到纠正。目前所面临的局面是：普通个体在遭受AI侵权之后，提起诉讼不仅耗费时间与精力，最终获得的赔偿金额甚至可能尚不足以覆盖律师费用。建议从法律层面引入惩罚性赔偿机制，以此令那些故意运用AI侵害他人合法权益的行为承担实质性的代价。举证责任的分配同样需要加以调整——在AI侵权案件当中，应当由平台一方来证明自身已经尽到了注意义务，而无需由受害者去证明平台存在过错[2]。

（三）别再信”眼见为实”了#

在应对Deepfake诈骗的过程中，技术层面上可以运用的措施并不算少。企业与金融机构应当对身份验证体系进行升级，诸如在视频通话之外叠加多因素认证以及实时生物特征检测等手段。大额转账的操作应当设置多级审批和延迟执行，从而避免在”老板催得急”的压力之下一键转出的情况。

然而，技术手段仅构成防线的一个方面。在执法层面上，国际合作同样具备关键意义——这主要由于Deepfake诈骗通常属于跨境作案，资金一经转出便极难追回。各国执法机构需要构建起更为高效的信息共享与协作机制，以便缩短从案件发现到资金冻结之间的响应时长。

（四）AI不能只管”不教唆”，还得管”不帮忙”#

佛州校园枪击案为AI行业敲响了一记警钟。“不直接教唆”并不能等同于”无害”——在菲尼克斯与ChatGPT之间形成的1.3万条对话记录里，虽然没有一条是AI直接说出”你去开枪吧”，但武器使用说明、最佳袭击时间这些信息组合在一起，实质上就是在帮助凶手做准备工作。AI服务提供者有必要建立一套更加精细的风险分级防护机制。对于涉及暴力犯罪、恐怖主义等高风险话题，不能只拦截”请告诉我怎么杀人”这类直白请求，还需要识别那些看起来无害但实际存在危险的间接信号——比如当一个人反复询问武器操作和人群密集场所时，系统就应该触发预警[4]。

安全审查义务亦需予以强化。对于长时间、高频次涉及暴力犯罪话题的对话，AI应当主动进行干预乃至中断，而不是继续充当’有问必答’的信息库。同时，行业应定期对AI系统的安全防护能力进行压力测试和第三方审计，确保防护机制并非纸上谈兵。

（五）关键基础设施必须与AI风险隔离#

对于涉及国家安全的系统而言，AI工具的选用应当设立严格的准入门槛。开源AI框架尽管具备便捷性，但在开展部署工作之前，必须对其完成安全评估——数据隔离措施是否已切实落实到位？访问控制机制是否已完成配置？加密传输是否得到了有效保障？这些问题绝不能等到事件发生之后才着手进行思考与应对。

为了应对AI智能体可能参与的网络攻击活动，防御端同样需要运用AI技术来对AI攻击进行对抗性防御。在亚冬会举办期间，360集团于攻击溯源工作当中发挥了关键性作用，其所依赖的正是安全大数据体系与安全大模型所具备的能力[5]。应当将此类经验进行制度化转化，而非仅仅停留在个案处理层面。国家级别的网络安全大数据平台建设工作以及AI安全分析能力的构建工作，均需要被提上更为优先的建设日程。

（六）造谣成本已降低，治谣成本不宜再高#

AI内容溯源构成了治理虚假信息的基础性工程。数字水印、内容来源认证这类技术应当尽快实现落地，确保每一条AI生成的内容都可以追溯至其源头。一旦确认是虚假信息，平台应当在最短的时间内完成下架处理，而不是等到其传播了数天之后，再缓慢地进行处理[6]。

但最根本的防线仍然在于人本身。公众所具备的AI素养与媒体素养，需要实现整体提升。当一条看似真实的灾情视频刷至眼前时，能否多思考一秒钟，去判断其是否为AI生成内容，能否不急于转发而先进行核实？这种习惯的养成，有赖于学校教育、社区宣传、平台引导等多方面共同发力。

三、总结与展望#

回顾前文所讨论的六个方面，可以清晰地看到，它们并非处于孤立状态，而是彼此交织在一起，并且相互之间会进行放大。AI幻觉负责进行假内容的生产工作，深度伪造技术则让这些假内容具备了真实外观，而AI工具的低门槛特性又使得任何人都能参与到这条造假链条之中。在治理层面，依靠单一的手段显然无法达成目标——技术难以防御住所有的漏洞，法律条文追不上技术迭代的实际速度，而制度的建设则需要经历各方利益的博弈与平衡。一条较为可行的路径是，把技术、法律、制度以及教育这四个层面协同起来，使其各自承担各自的职责，同时又进行相互配合。

然而，这些治理策略在其本身的层面，也带有各自的局限性。无论技术手段发展到何等先进的程度，也不可能做到百分之百地消除AI幻觉；法律条文无论制定得多么完备，也依然会存在其覆盖不到的灰色地带；制度设计即便已经十分精巧，也仍然需要依赖执行层面的切实落地。展望未来，伴随着AI技术持续不断地进化，深度伪造技术会朝着更加逼真的方向发展，幻觉现象会变得愈发隐蔽，治理工作的难度只会增加而不会减少。技术发展与伦理规范之间的张力难以消失，关键问题在于如何去在鼓励创新与防范风险这两者之间，寻找到一个能够动态调整的平衡点。这需要技术开发者、立法者、平台运营者以及普通公众的共同努力来加以实现，并非其中任何一方能够单独完成的事项。

参考文献#

[1] 南京江北新区人民法院. 全国首例AI名誉侵权案一审判决书, 2025年9月; 南京市中级人民法院二审判决书, 2026年3月.

[2] 南方都市报. 两天内共有4位明星发声进行维权，AI短剧”盗脸”的乱象为何难以被禁止？, 2026年4月8日.

[3] 搜狐新闻. AI深度伪造——人工智能所引爆的欺诈危机与境外追索的破局之路, 2024年.

[4] CBS News. Lawsuit against OpenAI details ChatGPT’s alleged role in FSU shooting, 2026年5月; Wikipedia. 2025 Florida State University shooting.

[5] 央视网. 切勿给AI工具投喂敏感数据 国家安全部披露案例, 2026年1月8日, 以及国家计算机病毒应急处理中心. 哈尔滨亚冬会遭网络攻击监测分析报告, 2025年4月.

[6] 腾讯新闻. 真相来了丨灾难岂能被当作”流量剧本”？AI造谣行为遭到了严厉的打击, 2025年12月8日.

[7] 杭州互联网法院所审理的全国首例AI”幻觉”侵权案，其一审判决书于2026年1月公布。