点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”
首页> 法治频道> 法治要闻 > 正文

0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”

来源:央视新闻2025-08-05 09:56

  国家安全部今天(5日)发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

  数据是人工智能的基础

  人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

  影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

  促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

  数据污染冲击安全防线

  高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

  ●当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

  ● 即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

  造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

  引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

  ● 在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

  ● 在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

  ● 在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

  筑牢人工智能数据底座

  加强源头监管,防范污染生成。以《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

  强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

  末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

  (总台央视记者 王莉)

[ 责编:孙满桃 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 名字玄、门槛高?看量子信息科学如何重塑未来

  • 用雕塑凝固抗战记忆

独家策划

推荐阅读
湖南益阳,大通湖区宏硕生态农业农机合作社,王建刚守在水田边,脸上的汗连珠落下,在稻秆上摔出水花。在湖南农业大学等高校和科研院所推动下,再生稻种植在湖南年推广面积已超400万亩,越来越多种粮大户从中受益。
2025-08-04 09:43
中国科学院上海天文台研究员韩文标团队首次发现双黑洞并合事件可能发生在第三个致密天体附近,为揭开双黑洞的形成之谜提供了全新线索。研究团队注意到,若双黑洞在第三个致密天体附近并合,绕第三个天体的轨道运动会产生沿着观测者视线方向的加速度,进而通过多普勒效应改变引力波频率,在信号中留下独特“印记”。
2025-08-04 09:40
经过近10年的持续攻关,研究团队采用单晶石墨作为前驱体,在金刚石压砧内的准静水高压(2亿兆帕)、高温(1400摄氏度)条件下,成功合成百微米级大小、高度有序的六方金刚石三重孪晶样品。
2025-08-04 09:37
现在,深海所的科学家与合作者首次在深渊极限深度中发现了大规模的化能合成群落,几乎覆盖了整个北太平洋的深海俯冲带,在海沟中绵延超过2500公里。“我们的分析显示,深渊冷泉甲烷的碳和氢同位素值非常负——指示甲烷是微生物成因,是在微生物作用下由二氧化碳和氢气合成的。
2025-08-04 09:36
光明日报上饶8月3日电 记者王洋、李玉兰、胡晓军从江西婺源森林鸟类国家级自然保护区获悉,该保护区与井冈山大学蜘蛛生物学研究团队在蜘蛛物种多样性初步调查中发现了跳蛛科合跳蛛属新物种——婺源合跳蛛。
2025-08-04 09:29
国家能源局7月31日发布的信息显示,截至6月底,我国电动汽车充电设施(充电枪)总数已达到1610万个。
2025-08-01 10:17
今年是中国启动国家公园体制改革10周年,中国国家公园建设实现从试点探索、破冰突围到系统协调、全面推进的历史性转变,取得明显成效。
2025-08-01 10:16
31日,中国工程院信息与电子工程学部、中国信息与电子工程科技发展战略研究中心发布《新一代信息工程科技 人工智能新兴技术备选清单》297项,其中约三分之二是首次提出。
2025-08-01 10:11
由我国牵头制定的两项国际标准《高压开关设备和控制设备第313部分:直流断路器》和《高压开关设备和控制设备第315部分:直流转换开关》近日正式发布。
2025-08-01 10:11
复兴油田首期石油2010.06万吨、天然气123.52亿立方米探明地质储量顺利通过自然资源部评审,标志着我国四川盆地首个页岩层系油田诞生。
2025-08-01 10:10
六方金刚石的形成条件极为苛刻,人工合成最大难点在于高温高压下六方金刚石的形成能量高于普通金刚石,因此高温高压产物常以普通金刚石为主,而难以得到六方金刚石。
2025-07-31 10:27
当机器人不再只限于执行预设操作,而是能够具备自主思考和判断,具身智能或许将会很快在更多的社会生活场景中投入应用,为人类的未来社会开创更多可能性。
2025-07-31 10:23
当前,高校应以人民为中心办好让人民满意的教育,奋力构建以人工智能为支撑的人才自主培养新生态,为中国式现代化培养出更多高质量人才。
2025-07-31 10:20
“我们使用导航软件时,经常用到的信号灯倒计时读秒功能,正是基于北斗高精度定位‘透传’的实时位置服务数据实现的。“北斗+人形机器人”“北斗+农机”“北斗+打桩机”……北斗系统持续赋能千行百业,在多个领域实现深度应用与创新突破。
2025-07-31 10:15
7月30日15时49分,在海南商业航天发射场,长征八号甲运载火箭(以下简称“长八甲火箭”)托举卫星互联网低轨06组卫星直冲云霄,将其精准送入预定轨道,发射任务取得圆满成功。
2025-07-31 04:55
科技浪潮下,侨界青年索华也带来创业项目——基于燃气低碳催化的粉末喷涂线研发和产业化,顺应新能源与“双碳”目标趋势。
2025-07-30 09:41
中国国土南北跨越纬度近50度、东西跨经度60多度,带来气候多样性,适宜不同品种的蔬菜、水果生长。答:“十四五”以来,在消费升级与供应链创新的双重作用下,我国果蔬产业发生着诸多变化。
2025-07-30 09:40
面对激荡的国际竞争局势与高质量发展的迫切需求,唯有主动拥抱变革,让人工智能科技创新的“源头活水”充分浇灌产业创新的“广阔田野”,方能赢得战略主动、制胜未来。
2025-07-30 05:00
前不久,甘肃皋兰什川古梨园系统、浙江德清淡水珍珠复合养殖系统和福建福鼎白茶文化系统正式被联合国粮农组织认定为全球重要农业文化遗产。至此,我国的全球重要农业文化遗产数量增至25项,继续领跑全球。
2025-07-30 05:00
29日12时11分,双曲线一号遥十运载火箭在我国酒泉卫星发射中心发射升空,将搭载的恩施硒都山泉号卫星顺利送入预定轨道,飞行试验任务获得圆满成功。
2025-07-30 05:00
加载更多