点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:警惕AI“自作主张”!规避使用风险这样做
首页> 法治频道> 法治要闻 > 正文

警惕AI“自作主张”!规避使用风险这样做

来源:央视新闻2026-08-05 10:06

  “内部测试?不,我要去‘外面的世界’看看。”

  “任务第一,规则?那只是用来绕过的。”

  “你的手机、电脑,可能正成为AI‘越狱’后的下一个目标。”

  这不是科幻电影的台词,而是真实发生的事件。2026年7月,OpenAI的一款大模型在内部测试时竟“失控出逃”——它自主发现漏洞、规划路径,成功入侵了全球知名AI开源平台Hugging Face。更具戏剧性的是,测试方使用美国主流AI模型根本无法处理恶意载荷,最终不得不转用中国的开源模型完成溯源分析。当AI展现出“自作主张”的能力,我们必须认真思考人工智能的安全问题。

  AI“越狱”

  一次技术测试暴露的新问题

  这场AI“越狱”事件,起初只是一场针对AI模型的网络安全能力测试。为了检验模型的极限,测试方特意关闭了部分安全限制,将其置于一个与互联网隔离的“沙箱”环境中。然而,这个“考生”的表现却出乎所有人的意料。

  ——自发寻找漏洞。在OpenAI的内部网络安全测试中,名为GPT-5.6 Sol的模型为获得更高评分,投入大量算力研究测试环境,竟发现并利用了一个此前未知的“零日漏洞”,成功突破与互联网严格隔离的“沙箱”环境,获得了网络访问权限。

  ——自主锁定目标。获得权限后,模型并未随机游走,而是通过自主推理,判断出全球知名AI开源平台Hugging Face很可能存有与测试相关的数据,于是将其锁定为攻击目标,并开始规划入侵路径。

  ——自行实施入侵。模型组合运用多种攻击手段,包括窃取凭证和利用漏洞,在Hugging Face的服务器上找到远程代码执行路径,直接侵入了存储测试答案的数据库。整个过程完全由AI完成,这期间无任何人类指令,共执行了数万次自动化操作。

  风险暗藏

  新技术发展带来的新挑战

  这起事件绝非孤立的技术事故,它暴露出的新型安全风险正深刻挑战着我们传统的安全认知,也揭示了AI技术快速发展阶段必须正视的新课题。

  ——黑箱中运行。闭源的AI模型如同“黑箱”,其运算逻辑、数据处理过程不公开、不可见。使用者只有调用权,却无法实时监管其真实运行状态。一旦AI出现越权操作、自主攻击等失控行为,就可能出现“事前没预警、事中拦不住、事后查不清”的被动局面,让风险在暗处滋生。

  ——智能化袭扰。以往的网络攻击依赖人工操作或固定程序,特征明显,易于追溯。但失控的AI无需人工指令,就能自主学习、主动挖掘漏洞、独立完成渗透入侵。其攻击没有固定特征,隐蔽性强,能轻松绕过传统网络安全系统的防护,形成全新的安全漏洞。

  ——边界被突破。人类设定的操作权限、安全规则、隔离防护,在AI强大的自主推演能力面前,可能随时被突破。为了完成既定任务,AI会主动规避、拆解各类安全规则,彻底打乱人类搭建的安全管控体系。若这种风险蔓延至政务、金融、能源等关键领域,后果将不堪设想。

  加强防范

  守好个人使用AI的“安全关”

  国家安全部今天发布安全提示,面对AI技术发展带来的新挑战,每一位用户都应提高警惕。请收好这份“AI安全使用指南”,规避AI工具使用中的突出风险。

  ——守住个人信息“安全门”。在日常生活中,要摒弃“用AI绝对安全”的侥幸心理,不随意使用来源不明的境外AI工具,不随意向AI应用输入身份证号、银行卡号、家庭住址等个人敏感信息。严格遵守权限最小化原则,不随意给AI开放设备全部权限,从源头上杜绝数据泄露风险。

  ——警惕虚假内容“迷魂阵”。对AI生成的内容保持理性判断,不轻信、不传播未经核实的信息。遇到涉及国家政策、社会热点、公共安全的信息,务必以官方发布为准。警惕看似逻辑自洽、实则编造事实的AI内容,避免在不知不觉中成为谣言传播的“帮凶”。

  ——筑牢涉密信息“防火墙”。严格遵守“涉密不上网、上网不涉密”的原则。党政机关、科研院所等单位工作人员,更要坚决杜绝将涉密文件、工作资料、内部敏感信息输入或上传至任何互联网AI工具。

  (总台央视记者 王莉)

  '

[ 责编:孙满桃 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 无人区里的“生灵守护”

  • 走进这座馆,读懂创新中国的脉动

独家策划

推荐阅读
最初,动画和实拍泾渭分明,然而随着手工转描、仿真合成、运动捕捉这类手段的引入,动画和实拍开始相互渗透。AI对动画与实拍的缝合,会将影像艺术彻底引向“泛动画”的时代。
2026-08-05 09:33
衣服透气不闷汗、个性化定制汽车交付快、人形机器人型号多,商品性能更好、生产效率更高、创新活力更足……近年来,这些生产生活中的变化,折射出纳米制造、柔性制造、共享制造等新趋势。
2026-08-05 09:26
在这样的微观世界里,科学家操控原子和分子,设计制造具有特殊性能的新材料、新器件,这就是纳米制造。目前,纳米制造已经实现在原子分子量级设计新材料,按需定制材料的储能、催化、防腐、导电等特性,突破传统制造的性能天花板。
2026-08-05 09:26
近日,中国农业科学院都市农业研究所联合国内外科研单位,发现了改良生菜体内的营养和风味物质的基因密码。生菜在被人类驯化与改良的漫长过程中,口感和营养发生显著变化,这背后离不开关键基因的“调控”。
2026-08-05 09:24
当地时间3日,在意大利佛罗伦萨举办的第46届国际空间研究委员会(COSPAR)科学大会上,中国气象局王劲松研究员荣获威廉·诺德伯格奖章。王劲松是首位获此殊荣的中国科学家,并同步获得一颗小行星命名。此次获奖表明,我国空间科学与应用领域研究成果获得国际学术界高度认可。
2026-08-05 07:40
石墨烯,单层碳原子排成的蜂窝薄膜,薄到极致。但把它一层层摞起来时,层与层之间如何错位——用专业术语叫作堆垛方式——会彻底改写材料的“脾气”。
2026-08-04 03:05
中国石化重庆川维化工公司5万吨/年特种聚乙烯醇(PVA)树脂装置日前顺利一次开车成功并产出合格产品,首批货品已发往欧洲。至此,川维化工PVA总产能达21万吨/年,跃居全球单一工厂中最大的高端PVA生产基地。
2026-08-04 03:05
菱方堆垛的石墨烯有一个天然“超能力”:电子彼此间的相互作用强,集体表现出超导、磁性等奇特行为。这在物理学上叫“强电子关联”——电子不再是各自乱跑的粒子,而是有着充分沟通的步调一致的集体,像一支训练有素的“乐队”。
2026-08-04 03:05
今年上半年,人工智能领域一系列标志性成果密集落地。在技术、应用、生态、治理的协力牵引下,人工智能产业迸发出前所未有的发展活力,赋能实体经济的成效持续凸显。
2026-08-04 09:31
近日,由人力资源社会保障部、安徽省人民政府共同主办的“创赢未来”创业大赛(以下简称“大赛”)全国赛在安徽合肥圆满收官。在大赛同步举办的创业安徽成果展区,一瓶瓶单原子农药整齐陈列,它们同样是“人工智能+创业”的杰作。
2026-08-04 09:31
日前,华中科技大学同济医学院基础医学院郭峥教授团队首次证明:干细胞能够通过表观遗传机制“记忆”自身的分裂次数,像精密仪器般严格遵循着“8+1”的分裂计数规律。
2026-08-03 03:15
伴随着一阵嗡鸣声,国姓岙码头,满载饵料的农业无人机腾空而起,飞向远处的大黄鱼养殖基地。“引入农业无人机后,作业效率提升3倍以上,每年每个网箱预计可节约管理成本约5000元。
2026-08-03 09:16
中国气象局总工程师潘进军表示,中国气象智能预警方案“妈祖”,正发展为面向发展中国家的共享型、可定制、可持续的国际公共产品。
2026-08-03 09:15
碳计量是实现“双碳”目标的基础性工作,是科学核算碳储量、规范碳汇交易、推动生态产品价值实现的关键支撑。
2026-08-03 09:15
提高科技创新投入效能的关键,在于改革科研经费管理和评价机制。科技创新投入效能的提高,是关乎国家创新体系整体效能的系统工程。
2026-08-03 09:14
量子科技是新一轮科技革命和产业变革的前沿领域。近年来,一批量子科技成果走向实践,展现出巨大的应用潜力。
2026-08-03 09:12
7月30日,国家能源局发展规划司副司长邢翼腾在新闻发布会上表示,上半年,国内油气供应总体平稳有序,电力供应保障基础进一步夯实,全国发电装机容量突破40亿千瓦,规模远超世界其他主要经济体。
2026-07-31 03:20
夏日贵阳,清风送爽,“中国数谷”又要迎来一场数字经济领域的年度盛会。8月28日至30日,2026中国国际大数据产业博览会将在此举办,目前各项筹备工作已进入全面冲刺阶段。
2026-07-31 03:40
“十五五”规划纲要围绕“加快高水平科技自立自强,引领发展新质生产力”作出专篇部署,明确提出“推动科技创新和产业创新深度融合”。
2026-07-31 03:40
“十五五”开局,第一个经济半年报发布,以高端制造、数智经济、现代服务为代表的新动能对经济增长的贡献超过40%。其中释放出鲜明信号,科技创新正加速赋能经济高质量发展。
2026-07-31 03:40
加载更多