点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”
首页> 法治频道> 法治要闻 > 正文

0.01%虚假训练文本可致有害内容增加11.2% 警惕人工智能“数据投毒”

来源:央视新闻2025-08-05 09:52

  国家安全部今天(5日)发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

  数据是人工智能的基础

  人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

  影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

  促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

  数据污染冲击安全防线

  高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

  ●当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

  ● 即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

  造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

  引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

  ● 在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

  ● 在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

  ● 在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

  筑牢人工智能数据底座

  加强源头监管,防范污染生成。以《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

  强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

  末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

  (总台央视记者 王莉)

[ 责编:孙满桃 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 2026年巴塞尔艺术展香港展会启幕

  • 江西上饶:防火宣传进景区

独家策划

推荐阅读
全国科学技术名词审定委员会25日发布《关于发布试用人工智能领域名词token中文名“词元”的公告》,决定在综合考量社会各界意见建议的基础上,优先推荐“词元”作为人工智能领域名词token的中文名,并面向全社会发布试用。
2026-03-26 09:23
木卫二是一颗冰封的木星卫星,也是太阳系内最有希望孕育地外生命的地方。“欧罗巴快船”团队认为,他们将发现适宜生命生存的海洋,但除非探测器真正抵达、展开探测,没有人能给出确切的答案。
2026-03-26 09:24
作者:陆俊杰(南通大学副校长,江苏省习近平新时代中国特色社会主义思想研究中心特约研究员)  在促进创新链产业链资金链人才链深度融合、推动科技成果高效转化应用上探索新途径,是“十五五”时期江苏经济社会发展的重要目标任务。深耕“双高协同”不仅是破解科研创新与产业需求脱节的关键举措,更是落实创新驱动发展战略的重要布局。
2026-03-26 09:24
记者从中国发明协会获悉:在瑞士日内瓦举行的第五十一届日内瓦国际发明展上,中国代表团共获得90项金奖、95项银奖和52项铜奖。
2026-03-26 09:30
工业和信息化部25日公布,今年前2个月,我国通信业运行平稳,电信业务总量保持增长,5G、千兆光网、物联网等网络基础设施建设有序推进。截至2月末,5G基站总数达490.9万个,比上年末净增7万个,占移动基站总数的38%。
2026-03-26 09:24
3月25日,国家自然科学基金委员会在2026中关村论坛年会开幕式上发布2025年度“中国科学十大进展”,10项重大基础研究突破入选。界面调控新方法创制面向空天应用的高性能柔性叠层太阳能电池示意图 国家自然科学基金委员会供图 
2026-03-26 09:22
3月25日,以“创新与发展”为永久主题,由科技部、国家发展改革委、工业和信息化部、国务院国资委、中国科学院、中国工程院、中国科协和北京市政府共同主办的2026中关村论坛年会在北京拉开帷幕。
2026-03-26 09:21
记者24日从农业农村部获悉,农业农村部近日印发通知,督促指导各地依法严厉打击坑农害农、危害粮食安全和农产品质量安全违法行为,守护群众“舌尖上的安全”,持续夯实国家粮食安全根基。
2026-03-25 10:22
氢能兼具能源、资源、储能介质三重属性,氢能产业科技含量高、低碳属性强、发展空间大。通知提出到2030年,通过应用规模扩大,推动氢能应用技术、工艺、装备创新突破,实现燃料电池、电解槽、储运装置和材料等迭代升级,推动氢能成为新的经济增长点,支撑实现经济社会发展全面绿色转型。
2026-03-25 10:21
林间密密麻麻的印痕,正是东北虎豹国家公园生态环境越来越好的体现。在科技守护与不懈坚守下,东北虎豹国家公园的生态成果愈发显著:东北虎和东北豹的数量由公园试点初的27只和42只,增长至当前的70只和80只左右。
2026-03-25 10:11
国家卫生健康委和中国气象局24日联合发布首期全国花粉浓度预报服务提示,为公众提供精准防护指引。目前正值春季,以木本植物花粉传播为主,建议过敏人群及时关注本地花粉浓度和种类变化,必要时明确过敏原,提前做好防护和出行安排。
2026-03-25 10:04
自然资源部日前发布四川省冕宁县牦牛坪矿区稀土矿资源储量核实勘查项目成果,矿区新增稀土资源量966.6万吨。据悉,牦牛坪矿区稀土矿资源储量核实勘查项目还新增伴生萤石资源量2713.5万吨、伴生重晶石资源量3722.8万吨,均达到超大型规模,具有重大战略意义。
2026-03-25 10:00
记者了解到,自20世纪60年代推广杂交玉米种以来,我国玉米的单产提高了约2.7倍,其中51%的增益都来自优良杂交种的选育与应用。进一步研究发现,在现代杂交育种过程中,玉米的基因有害变异被不断清除或互补,并且,杂交种中有害等位基因被抑制表达的比例与其产量和育成年代同步增长。
2026-03-24 09:29
2023年,国务院部署开展专利转化运用专项行动(以下简称“专项行动”)。教育部科学技术与信息化司司长周大旺表示,教育部着力畅通科技成果转化的链条,加速把高校丰富的专利转变为产业发展的红利。
2026-03-24 09:28
走进内蒙古博物院的有机质文物修复室,时间似乎放慢了脚步,空气中透着静谧,只有工具偶尔轻碰的细微声响。”  无机质文物修复室里,文物修复师季园园展示了另一种“手术”场景。
2026-03-24 09:28
柳申滨最初以针刺治疗皮肤炎症及穴位敏化机制为切入点,试图探寻针刺调控皮肤靶器官的效应规律。”  通过和临床医生交流,柳申滨了解到,在压力、焦虑等心理应激状态下,特应性皮炎患者的皮肤炎症会显著加重。
2026-03-24 09:28
全球最大人工智能(AI)模型API聚合平台OpenRouter最新数据显示,3月16日至3月22日,全球AI大模型总调用量为20.4万亿Token,环比增长20.7%。”
2026-03-24 09:28
杂交稻的大面积推广显著提升了水稻产量,但其生产长期依赖程序复杂、成本高昂且需年年重复的杂交制种过程。
2026-03-23 09:40
近日,澳大利亚一位机器学习领域科技企业家,通过人工智能大模型自行设计肿瘤疫苗,救治自家患癌宠物犬的故事广受关注。
2026-03-23 09:39
记者从中国石化获悉,我国首套全链条国产化溶液法聚烯烃弹性体工业化装置在天津进入试运行,相关生产技术取得原创性突破,将有效缓解我国光伏等战略性新兴产业对该材料的进口依赖。
2026-03-23 09:33
加载更多