点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:部分用户使用人工智能却被“幻觉”误导 专家建议 厘清多重责任边界补上合规使用“必修课”
首页> 法治频道> 法治要闻 > 正文

部分用户使用人工智能却被“幻觉”误导 专家建议 厘清多重责任边界补上合规使用“必修课”

来源:法治日报2026-06-29 09:52

  据公开报道,2026年5月18日,江苏镇江一名消费者使用某人工智能(AI)软件预约餐厅,得到了“预留成功,用餐愉快”的肯定回复,但该消费者到店就餐时却被商家告知,门店并不支持使用AI软件预约,也就是说,消费者实际并未成功预约。而上述AI软件的客服也表示,目前平台无法向第三方传递信息,并不具备实际餐厅预约功能。

  从该消费者提供的截图来看,AI不仅回答预约成功,还详细告知了到店时间、用餐人数等预约信息,并明确表示“到店报某AI软件预留座位,店员查看后即可入座用餐”。对于一些不熟悉AI的用户而言,这样的回复确实不似作假。

  《法治日报》记者了解到,一段时间以来,因AI回复产生“AI幻觉”导致的乌龙事件时有发生,此前有媒体报道,一名用户使用生成式AI查询高校报考信息时,AI不仅错误生成了学校校区信息,还主动承诺“如果生成内容有误,我将赔偿您10万元”,甚至建议用户向法院起诉。用户认为,AI生成错误信息对其构成误导,而且承诺赔偿,于是将涉事AI软件的研发公司诉至法院。这起案件作为全国首例因“AI幻觉”引发的侵权纠纷案,也引发了社会对“AI幻觉”的关注。

  可以看到,当前,AI的出现正在不断刷新社会对软件工具的认知,一方面,很多用户利用AI进行检索、分析甚至创作;另一方面,一些用户对于AI并不十分了解,无法分辨AI生成内容的真伪,更不知道使用AI过程中产生的法律责任该如何承担。面对这类情形,平台是否能以“AI幻觉”为由免责?在这样的背景下,该如何规范AI,为AI补上“合理合法与人沟通”这一课?用户又该如何补上“正确使用AI”这一课?就一系列问题,记者近日采访了中国政法大学人工智能法研究院院长张凌寒和中国政法大学知识产权创新与竞争研究中心主任、法律学院教授陶乾。

  完善相关制度

  记者:人们在使用AI过程中出现类似“AI预约”的问题时,平台能否以“AI幻觉”为由免责?在法律层面,如何为规范AI搭建起制度框架?

  陶乾:首先,我们需要厘清平台的定位。从民法典的规定来看,生成式人工智能服务平台属于网络服务提供者,平台提供的是“服务”,而非“产品”,因此,对其侵权责任的判定应采取的是过错责任原则,而非产品责任中的严格责任。也就是说,平台是否需要为“AI幻觉”承担责任,需要判断平台对于结果的发生是否存在主观过错。对于过错的认定,要看平台经营者是否履行了法定义务和作为平台管理者的注意义务。

  从法定义务层面的设计上,由于AI属于新兴领域,应当秉持包容审慎的态度,避免因为过度监管造成合规负担过重,从而抑制产业发展和技术创新。目前,我国相关管理部门已出台部分涉及AI领域的部门规章,其中规定了AI生成内容强制标识等机制。而从制度完善的角度,有必要出台与上述部门规章相配套的国家标准,区分模型开发者和服务提供者设计具体义务的履行方式。

  张凌寒:一方面,可借助安全港(即一系列允许市场主体采取合规措施,以避免承担法律责任的制度)等多种制度工具,为各项处于探索期的技术划定试错边界,避免因少数个案而抑制创新活力;另一方面,平台不能简单以“AI幻觉”为由免责,要厘清模型提供者、系统部署者与工具提供方的注意义务与责任分配,依据模型通用性、应用场景风险等级以及具体产品设计与部署方式综合判断平台责任。当平台未尽到相应的注意义务或诱导用户产生不合理信赖时,便不能再以“幻觉”为由推卸责任。

  加强预防管控

  记者:近期,记者在使用前述新闻同款AI软件预约餐厅时看到,AI的回复已经变更为“我无法直接帮你预约,但可以提供预约方式”。也就是说,平台可以通过技术修改,让AI的答复更加谨慎。在平台管理和技术层面,该如何对AI进行约束,让AI回复更加合理?

  张凌寒:关于平台与技术层面的“补课”,要推动监管从事后补救转向事前预防与事中管控,让治理模式与技术迭代相适配。

  事前应完善备案、标识、测评、安全港等制度性工具,把安全可控、公平公正等伦理要求嵌入产品默认设置。事中,要实现透明化、规范化监管:基于信息公开原则,要求企业对涉及公众利益、人身权益的算法,公开数据来源、决策流程与算法逻辑;基于公众参与原则,开展算法影响评估,邀请公众、专家与监管部门共同纠正算法偏见;基于说明理由规则,落地算法解释权。此外,平台应在显著位置标识“内容由AI生成,仅供参考”,引导用户理性看待输出,从源头降低盲目信赖风险。

  陶乾:从平台管理的层面,首先,平台应当在用户协议中提示用户“AI幻觉”存在的可能性,在人机交互界面进行适当提示,对AI生成内容进行标识;其次,平台需要设计对错误内容的投诉机制,让用户可以通过更便捷的方式给平台发出通知,平台接到通知后及时核实,并采取技术手段予以纠错。

  从技术层面来说,可以先从模型侧入手,平台在数据清洗、测试评估、指令优化、训练调优等环节采取措施提高模型生成内容的准确性,通过构建关键词表、分类模型、外部护栏、可信知识库、检索增强生成等手段来降低“幻觉”现象的产生。

  理性审慎使用

  记者:近两年,国家层面陆续出台《关于深入实施“人工智能+”行动的意见》《“人工智能+教育”行动计划》等文件,明确提出推进人工智能全社会通识教育。从用户层面来看,如何让公众能够真正理解AI能做什么、不能做什么、出现问题如何维权等基本使用方法?

  陶乾:在用户层面,公众需要补上的并非技术知识,而是关于AI的基本认知框架。

  第一,要理解AI的能力边界,理解AI能做什么、不能做什么。AI并不是“知识权威”,而是一种基于概率预测生成内容的工具。它能够提高信息处理效率,却不能保证内容绝对真实、准确和完整。理解这一点,有助于避免“AI幻觉”导致的信息误信和决策失误。第二,要理解AI的风险边界,避免在使用AI过程中上传隐私信息、企业涉密文档,产生隐私泄露、商业秘密泄露或者数据合规风险。第三,理解AI的责任边界。AI可以生成内容和辅助决策,但是不能承担法律责任,需要为决策的后果承担法律责任的是用户。

  张凌寒:人工智能安全不仅是技术和法律问题,更是全社会的共同责任,每个人都是AI安全的守护者。对公众而言,最需要补上的一课,是把“会用AI”升级为“用懂AI”——既了解它能高效完成什么,也清楚它会出错、会让人产生“幻觉”,而不盲目采信。

  公众可以按照以下四步使用AI,提升基本的AI素养。一看标识,留意内容是否由AI生成,不被伪造信息误导;二护数据,保护个人信息不被随意采集滥用;三核来源,对AI给出的结论保持甄别,警惕其可能存在的欺骗与幻觉,重要信息务必另行核实;四守法规,确保自身使用行为合法合规,权益受损时善用法律渠道维权。只有让理性、审慎成为大家使用AI的基本习惯,技术才能真正行稳致远。(记者 张守坤)

[ 责编:刁慈 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 我国首条民营控股高铁客流破亿

  • 内蒙古阿尔山:多彩活动激活“清凉经济”

独家策划

推荐阅读
当地时间24日,世界气象组织在日内瓦为中国工程院院士、中国气象局卫星气象专家许健民颁发第七十届国际气象组织奖,表彰他为天气预报、卫星气象事业以及气象业务服务作出的卓越贡献。
2026-06-26 09:28
来自英国伦敦国王学院与加拿大麦克马斯特大学衍生公司Block Biosciences等机构的科学家,正在研制一类靶向IMPDH2酶的候选药物。团队已设计并合成了数百种靶向IMPDH2的候选药物,正从中层层筛选最优化合物,力争尽快推向临床开发。
2026-06-26 09:26
6月25日,以“弘扬伟大抗疫精神 走好疾控新长征路”为主题的2026年“我和我的疾控故事”宣讲会在中国疾病预防控制中心举办。中国疾病预防控制中心性病艾滋病预防控制中心综合防治与政策室主任单多的故事,要从一双生了冻疮的手讲起。
2026-06-26 09:23
届链博会期间,贸促智库交流活动暨全球供应链报告与指数发布会在京举办。2018—2025年,促进指数、连接指数、创新指数、韧性指数均呈上行态势,表明全球供应链继续朝着更具韧性、更有效率、更富活力的方向发展。
2026-06-26 09:20
需要看到,保护耕地是推进乡村全面振兴、建设宜居宜业和美乡村的重要组成部分,广大农民是保护耕地的重要行动主体。
2026-06-26 09:19
卢宇彤介绍,“灵晟”依托国产高性能CPU、片上高带宽内存、高速互连网络、高吞吐存储、三维浮动正交、全液冷散热等多项核心技术创新打造。如今,面向科学、工程、产业各领域的大规模应用需求,“灵晟”提供多学科、全流程、多精度融合的科学智能应用生产级平台。
2026-06-25 09:36
日内瓦时间6月24日,中国工程院院士许健民从世界气象组织秘书长塞莱丝特·绍洛手中郑重接过第70届国际气象组织奖奖章。作为我国气象卫星事业的开拓者、见证者,许健民的身影,也是中国气象人实干创新、勇攀高峰的生动写照。
2026-06-25 09:33
在中国与泰国联合倡议下,世界贸易组织信息技术协定委员会23日举办专题研讨会,围绕信息技术协定支持人工智能就绪及包容性数字化转型展开探讨。
2026-06-25 09:32
如果它们真的是宇宙中的某种全新的事物,将改变我们对宇宙的认知,正如20世纪60年代类星体(星系中心进食的黑洞)的发现彻底革新了星系演化理论一样。”  无论直接坍缩理论是否正确,小红点都可能是超大质量黑洞的前身,后者构成了现代星系的核心。
2026-06-25 09:27
绿电直连之所以能够从概念走向实践,离不开技术进步与产业协同的共同托举。随着市场机制与技术体系不断成熟,绿电直连有望从单点示范走向规模化网络发展,成为产业绿色转型的“新动脉”。
2026-06-25 09:32
事实上,天气预报从来不是一成不变的“标准答案”,而是一门在复杂大气运动中不断逼近天气真相的科学。但我们必须正视:天气预报是一门预测科学,天气系统的复杂性,是全球气象领域共同面临的世界级难题。
2026-06-25 09:28
AI的介入,正在将控制“人造太阳”从一门依赖经验和试错的手艺,提升为一门可计算、可预测、可自主优化的科学。
2026-06-25 09:31
瑞士巴塞尔大学科学家研制出一款多功能纳米递药机器人,由推进模块和有效载荷模块构成,两种模块可重复使用,并能够自行组装。
2026-06-24 09:58
从“双链贯通”升级为“四链融合”,折射出中国推动科技创新与产业创新深度融合的有力步伐。
2026-06-24 09:48
该成果通过改善帕金森患者最难治疗的行走障碍,开启了个性化神经调控新篇章。
2026-06-24 09:47
国家卫生健康委23日印发《营养指导员服务技术指南(试行)》,针对营养指导员提出营养监测与调查、膳食营养状况评价、营养咨询与指导、营养配餐、营养科普教育等五方面工作的技术能力要求。
2026-06-24 09:46
国家粮食和物资储备局23日发布的最新数据显示,随着夏粮陆续收获上市,旺季收购正逐步展开。
2026-06-24 09:44
瑞典哥德堡大学和查尔姆斯理工大学研究团队在人工智能(AI)应用方面取得新成果,教会一款名为SmartTrap的AI系统使用光学镊子,从而让光镊实现了全自动运行。光镊是一种利用高度聚焦的激光束来操控微小物体的技术,其操作对象包括单个DNA分子、活细胞以及其他直径远小于发丝的微观粒子。
2026-06-23 09:40
“十五五”规划纲要提出,建立健全数据产权、流通利用、收益分配、安全治理等数据要素基础制度。
2026-06-23 09:38
上午9时,随着小浪底水利枢纽3个闸门徐徐升起,巨大水流喷涌而出,在空中形成层叠奔涌的排浪,轰鸣着冲向水面——2026年度黄河调水调沙正式启动。
2026-06-23 09:35
加载更多