点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:48小时炮制4000多条有害信息 “水军”正借助AI进化
首页> 法治频道> 法治要闻 > 正文

48小时炮制4000多条有害信息 “水军”正借助AI进化

来源:解放日报2025-03-17 09:49

  “水军”正借助AI进化

  本报记者 郑子愚

  单条发布的成本低至1厘,一人可操控6000部手机,应对热点新闻,48小时炮制并发布4000多条有害信息……这是“AI水军”的战绩。

  今年春节档,电影《蛟龙行动》陷入排片困境、影片遭遇水军恶意打低分等话题引发网友热议,演员、导演等被攻击,最终官宣撤档。2023年春节档上映的电影《无名》首映还没开始,在某社交平台就已出现铺天盖地的低分评价。今年2月,小红书治理团队公布,3个月内共处置黑灰产账号超过100万个。这些事件背后都有网络水军的影子,他们伪装成普通网民或消费者,通过发布、评论等对正常用户的观点和决策产生影响。

  记者调查发现,曾经以真人为主的网络水军,正借助AI大模型进化。网上浮现出一条围绕AI水军的产业链,有涉及绕开实名制批量注册账号和提供各类技术服务的上游,有提供防封养号的中游以及多种形式变现的下游。当AI生成的大量虚假内容和意见占据流量,我们是否也会逐渐失去辨认真实世界的能力?

  AI水军更具煽动性

  春节假期,曾在人气演员工作室任职的杨冰看了热映电影。因职业习惯,她在观影后会浏览票务网站的评论,看到评论区里,用户对电影《射雕英雄传:侠之大者》打出1分,理由是电影非纯汉语配音。杨冰觉得奇怪,一般人会认为电影中的方言使观众有沉浸感。更何况,平台显示,这位用户未曾购票。此番评价,更像是AI大模型了解到电影中有方言元素而生成的。

  评论区还有一则差评是关于电影《哪吒2》,写到“教材”等和电影基本无关的内容。在杨冰看来,这可能是因为片中有主人公通过师门考核的剧情,算法对此做了解读,复制了其他电影评论区里的内容合成而来。“并不是不能批评电影,而是他们甚至连电影都没看过。”依据职业经历,她笃定这些电影的评论区充斥着水军。

  在杨冰看来,请水军算是业内公开的秘密。杨冰在演员工作室任职,会和水军打交道。请水军的可能是资方,也可能是粉丝行为。水军发布的内容只为达到雇主的目的,或制造声浪,或攻击对手。随着近年来AI大模型的发展,这个曾以真人为主的群体引入AI,战斗力陡然升级。此前,杨冰的甲方计划拍摄一部电影,选角时在两名演员间犹豫。杨冰联系了水军,请他们发布帖子放出风声。数小时内,由AI生成的策划案和文案迅速完成,话题很快发酵,引发双方粉丝的骂战。杨冰觉得,AI水军更易伪装成路人,AI生成的帖子、评论甚至比一些真人写的更具煽动性。

  “水军频道”非常活跃

  杨冰透露,网络水军有一条介于灰产和黑产之间的产业链,冒头就被打,却又“野火烧不尽”。她介绍,工作室以往凭经营执照向通信运营商购买企业卡,养300个左右的平台账号。为了缩减成本,项目方会招募社会化程度低或圈子小的学生等兼职人员来养号,通过真人使用、互相关注点赞来维持账号的活跃度。到了项目推广期,这些账号会发布相应的推广内容。不过,这套工作流程的缺点除了声量小、团队臃肿外,还容易泄密,行业内不乏一场场营销策划被泄露的先例。为规避风险,也有资方会选择网购水军服务来制造声浪。

  记者在某即时通讯软件中名为“水军频道”的讨论组中看到,频道里活跃着370多人,任务主、中介和水军都会在频道内发布需求,有派活的,有讨活的。他们保持着松散的合作关系,形成众包、分包的上下游模式。自称“散人”的水军几乎人手拥有多部手机、数十个社交媒体账号。任务主一般会招募大批“散人”来完成任务。“散人”领取发帖、控评等任务后,会把发布内容在各大社交平台铺开,接着反馈截图和传播效果来“领赏”,一般每条评论有1元至1.5元的报酬,若账号有一定粉丝量或评论被认定为“优质”,还能获得额外酬劳。如果碰到“压热度”“删帖”等紧急情况,价格更高。

  随着AI大模型发展引发关注,杨冰几次与水军的接触中都能感受到,“真人水军正渐渐向AI水军进化”。

  互联网安全服务公司“极验”是一家为NIKE、Airbnb等全球36万家网站和App提供互联网安全服务的公司,主要提供行为验证、设备标识、一键认证等产品。该公司市场部负责人叶幸介绍,公司与黑产已有12年的对抗经验,一年为客户拦截AI水军攻击累计21.7亿次。AI水军借助人工智能技术生成AI与自动化脚本,在互联网上批量生成内容,蓄意操控舆论走向。与传统真人水军相比,AI水军的危害性更大,其成本低但效率高,可全天候多任务操作。

  根据线索,记者顺藤摸瓜“走”进这条正在升级的水军产业链。相较过去,这条产业链细分成上、中、下游三层。AI水军产业链的上游是指围绕突破实名制、以底层技术开发实现改机和批量注册的囤号环节;中游是使用网络搭建和集控系统来养号、躲避运营商和平台对账号是否为正常用户的管控;下游则通过买卖账号、引流、刷榜、带节奏等方式变现。AI在这条产业链中的作用是贯穿始终的,在上游可辅助技术人员优化代码、技术,在中游可大批量生成不同需求的内容,在下游能为水军生成策划方案。因为有了AI大模型的强大能力,黑灰产人员才有了单人或几个人就能组织一支AI水军的想象空间。

  不少人铤而走险囤号

  国内通信运营商工作人员告诉记者,国内通信运营商推出“一证五户、一证十号”的政策,即用户在单一运营商下办理手机号卡数量最多不超过5张,在所有运营商下办理手机号卡的总数最多不超过10张。也就是说,即使叠加一些应用允许多账号注册的平台规则,单个用户的账号注册数量也有上限。而黑灰产人员要组建有规模的水军队伍,就先要突破政策限制,让自己的手头上有成百上千可以发声的账号。

  囤号是产业链里关键一步。提供账号注册服务的卖家小黄说,囤号流程大致是,先低价回收或租用手机,通过改机软件修改手机机型等参数来伪装设备。在他们的工作室里,一台台手机被平铺成一面墙的样子。此外,也可部署管理大批量实体或虚拟电话卡的“池子”,在电脑上控制手机,通过接收验证码的“接码”环节实现批量注册。技术、设备、服务,囤号依流程上的不同节点被拆分成数个子项目,卖家会给这些项目披上诸如跨境电商创业、无人直播带货等新业态的外衣,让人乍看不会觉得这类项目越过法律底线,让他们得以在二手交易平台上被找到。而在相关商品详情页下方,有卖家以“sm(实名)”“接码”等圈内黑话留言,引导买家到微信、QQ等站外社交平台沟通交易,完成整套流程。

  在小黄口中,没有经过实名制认证和使用过的账号称“白号”。热门社交平台的白号价格为每个15元至20元。经过实名制认证的账号则是这个圈子里的奇货。因为不少平台设定用户必须完成实名制认证,才能完整使用平台功能。当记者提出想要已完成实名制认证的账号时,小黄以不了解记者目的为由推脱。但在确认记者购买目的不是为了诈骗后,小黄又表示可以转卖“朋友”的账号。经过实名制认证的账号售价为每个140元至160元,售后服务包括保证账号3日内不被平台封禁。

  记者了解到,为了实现“AI水军团”,不少人铤而走险囤号、突破实名制。叶幸表示,他们在调查中发现,黑灰产会通过暗网、国外即时通讯软件电报等方式非法购买部分公民隐私信息,再借此批量注册,绕过“本人身份确认”。

  整个黑产年利润可观

  有了一定数量的账号,黑灰产从事者就进入养号环节。简单来说,养号就是让一个账号看起来像真人在使用。杨冰认为,在这个环节,AI的用处很大。以往,养号费时费力,这也是市面上对水军的需求大于供应的原因之一。然而,在2019年春节后,供需关系发生变化。以往挑活干的水军组织主动找到杨冰,咨询有无下单意愿,并给出约为过往价1折的价格。

  AI从业人员揣摩,能和“骨折价”扯得上关系的只有一件事——2018年6月,GPT1.0发布。通过阅读理解,GPT能生成具有逻辑性和连贯性的自然语言文本,并翻译成另外一种语言。

  AI在自然语言处理领域有了新进展。杨冰发现,原本需要几名兼职人员苦想许久的1000条评论或动态内容,AI只需几分钟就能高质量完成。AI还有了写代码的能力。一个具备基本编程能力的人可以让AI生成代码操控爬虫软件,在社交、电商平台等评论区内采集真实用户发布的动态、评论回复,直接使用或以此训练AI模型。

  叶幸介绍,在与黑产对抗的过程中,曾发现黑产定向抓取商品评价。以化妆品产品为例,水军选取点赞数量靠前的评论,提取出“冷白皮”“持妆不卡粉”“yyds(永远的神)”等词,总结出“情绪词+场景描述+效果感叹”的评论结构化模板,批量生成高质量评论和“种草”文章。“原来雇人发100篇帖文的钱现在能生成10万条评论。”

  记者尝试使用当下热门的AI大模型,在提示词中规定评论结构,要求生成100条夸赞记者虚构出的一部电影的观后感和评论。10多秒后,这款大模型就提供了大量高质量评论。令人些许安慰的是,该AI大模型表示,“为保护安全边界,此处仅展示部分示例,完整内容需脱敏处理后提供”,故而只显示出10条评论内容。也有令人担忧的地方,当记者将AI生成的内容夹杂着真人写的内容一同展示给网友浏览时,部分人表示很难辨别。杨冰表示,如果使用一些开源的模型,并部署到本地,再在提示词上下点功夫,迷惑性就更强了。

  在产业链最下游的变现层,AI水军根据雇主需求在短时间内完成发布各类内容或者点赞、评论的工作。“这些都是网络水军最直接的变现方式。”此外,引流、博眼球、造谣、“薅羊毛”、诈骗都属于水军变现的渠道。据报道,2024年,南昌警方在查处的一起传播谣言虚构事实扰乱公共秩序案中发现,不法分子通过AI软件生成内容的方式,短时间内生成了大量文章,最高峰一天能生成4000篇至7000篇,初步估算每天的收入在1万元以上。

  叶幸告诉记者,以水军其中一个业务“刷量”为例,开发改机软件、AI话术生成器的利润率为60%,倒卖电话卡、账号和动态IP的利润率为35%,操控群控设备完成点赞、弹幕等任务的利润率约为15%。资金通过中介抽成、虚拟货币洗钱最终满足某些MCN机构造假需求,助推主播签约费暴涨6倍,而单工作室3个月即可实现250%左右的投资回报率。纵观整个黑产,年利润或超200亿元。

  加强AI治理,使其向善

  为了治理这类黑灰产,相关部门、各大平台、企业可谓煞费苦心。2024年以来,网信部门持续加大对网络水军打击力度,严肃查处网络水军组织招募、推广引流、刷量控评等问题,协调关闭、下架网站平台400余家,清理违法违规信息482万条,处置账号和商家店铺239万个、群组5.2万个。2月18日,社交平台小红书通过其官方账号“薯管家”发布黑灰产团伙的典型行为,提醒用户提高辨别力。过去三个月,治理团队共处置黑灰产养号超过100万个。

  车企蔚来工作人员表示,企业曾见过疑似AI改写同一内容、相同配图大量水军账号分发,来抹黑企业的情况。今年2月8日,蔚来创始人李斌在直播间“策反水军”,表示将对主动提供线索的水军提供奖励。第二天,蔚来法务部发布的一则“悬赏公告”显示,蔚来将提供100万元悬赏,面向全社会征集黑公关线索。

  北京师范大学新闻传播学院、计算传播学研究中心教授许小可介绍,早期,对于真人水军、AI水军的识别相对简单。黑灰产人员常在一个隐蔽场所内工作,关联的IP地址等信息不会变化,而正常用户每天有各种活动,手机显示出不同的IP、地理位置等。一些监控软件、平台可以利用这个细节辨别并封禁存疑的账号。此外,传统网络水军需投入大量人力,只需要查看发帖用户包括年龄、性别、好友等各项属性,再看一下该用户的发帖内容优劣和话题的相关度,再辅以部分平台的验证机制,基本能判定是正常用户还是疑似水军。然而在当下,单靠这套识别方式很难再精准打击。AI水军可通过算法批量生成文案,还能模拟真实用户的行为。

  很多人感叹,如今已越来越难识别同在一个场域的网友是真人还是AI。叶幸介绍,根据极验数据和多行业服务经验,电商、社交、金融三行业的AI水军渗透率可能在30%到40%。

  叶幸指出,当下和黑产之间对抗,本质上都是成本博弈,需要不断让黑产的投入产出比失衡。采用的方法还是从技术、策略和资源消耗多维度入手,比如通过增加攻击难度、延长破解时间、消耗硬件资源等。

  加强AI治理,使其向上向善,一直是主管部门努力的方向。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》,自2025年9月1日起施行。办法明确人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式,并要求人工智能生成合成内容必须添加标识。

  杨冰期待,新的标识办法能带来改变。(文中杨冰、小黄为化名)

  来源:解放日报

[ 责编:孙满桃 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    3
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见孟加拉国临时政府首席顾问尤努斯

  • 共赴科幻之旅——探访2025中国科幻大会

独家策划

推荐阅读
2025中关村论坛年会于3月27日至31日在北京举办,以“新质生产力与全球科技合作”为年度主题。其中将举办碳达峰碳中和科技、世界绿色设计等论坛,为新质生产力发展注入绿色动能。
2025-03-28 03:30
日前,我国自主研制的最大直径盾构机“沧渊号”成功下线,将承担世界最长公路水下盾构隧道——海太长江隧道工程左线掘进任务。大海古称“沧渊”,海太长江隧道横跨长江入海口,全长39.07公里,其中过江隧道长11.185公里,最大埋深超75米,计划于2028年建成。“沧渊号”开挖直径达16.66米,整机总长176米,总重量超5650吨,再创国产超大直径盾构机新纪录。
2025-03-28 04:00
3月27日,国家重大科技基础设施高能同步辐射光源HEPS正式宣布启动带光联调,这标志着HEPS装置建设进入冲刺阶段。HEPS是设计亮度世界最高的第四代同步辐射光源,也是我国第一台高能量同步辐射光源。截至2025年1月,经过多轮束流调试,HEPS储存环束流强度达到40毫安以上,发射度降低到93皮米弧度。
2025-03-28 04:00
3月27日,以“新质生产力与全球科技合作”为主题的2025中关村论坛年会在北京中关村国际创新中心拉开帷幕。来自100多个国家和地区的上千名嘉宾齐聚一堂,共议前沿科技趋势、共享创新思想、共谋发展机遇。
2025-03-28 03:30
近日,国家卫生健康委会同国家市场监督管理总局发布50项食品安全国家标准和9项标准修改单。截至目前,我国已累计发布食品安全国家标准1660项,包含2万多项指标,涵盖全部340余种食品类别。
2025-03-28 04:00
记者日前获悉,自去年10月全球洲际间断分布的5种崖柏属植物全部落户重庆市开州区崖柏国家林木种质资源库以来,科研团队已成功繁育崖柏实生苗30万株,崖柏扦插苗20万株,
2025-03-27 04:00
职业技能培训对劳动者提技增收、缓解就业矛盾意义重大。党中央、国务院高度重视职业技能培训工作,2024年印发《关于实施就业优先战略促进高质量充分就业的意见》,要求健全终身职业技能培训制度。
2025-03-27 05:10
长期以来,天气预报主要依赖于传统的数值天气预报模型。随着AI技术的突破,气象领域开始应用AI技术提高天气预报以及气候预测水平。2023年,《科学》杂志将“AI辅助天气预报的发展”评为世界科学十大进展,同年我国主导的AI大模型在精细化天气预报中的应用,更被评为中国科学十大进展之首。这些里程碑既展现了大气科学与AI融合的潜力,也为应对极端天气和防灾减灾创造了新机遇。
2025-03-27 05:10
当前,人工智能技术快速迭代并被应用到各行各业,从根本上改变着人类的生产生活。人工智能的发展越快,公众的期待与担忧越是急剧上升。如何平衡推进人工智能应用与治理,如何缩小科技发展带来的数字鸿沟,成为今年论坛上嘉宾热议的焦点之一。
2025-03-27 05:10
近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。如何让人工智能生成合成内容“亮明身份”,不再“真假难辨”?如何破解人工智能安全治理难题?记者就此进行了采访。
2025-03-27 05:10
当前,人口老龄化问题正在全球范围内加速蔓延,已经成为世界各国必须面对的共同挑战。世界卫生组织数据显示,预计2050年全球60岁以上人口数量将达21亿,其中包括4.26亿80岁以上的老年人。在养老领域,养老机器人不仅可以减轻社会和家庭照料老年人的负担,还可支持老年人享受高质量的居家生活,因此智能养老机器人正逐渐成为世界各国应对人口老龄化挑战的重要技术手段。
2025-03-27 05:10
目前,中国电信积极探索中央企业和国家科研院所的深度合作范式,打通基础研究和成果转化通道,推动量子技术产业化发展。
2025-03-26 10:28
至此,中国空间站舱外航天服已经圆满保障空间站任务以来的19次出舱活动,使用年限次数超出“3年15次”的寿命设计指标。
2025-03-26 10:27
中国人工智能大模型加速“出海”“出圈”,让更多澳大利亚华商和杨东东一样,开始将目光瞄准中国人工智能领域,积极寻找投资机会。
2025-03-26 10:27
随着生活水平的提高,人们的文旅需求正从“看山看水看风景”向“品文品魂品生活”转变。比如,逛博物馆,青铜器的精美纹饰固然能够吸引人的兴趣,但观众更希望了解青铜器纹饰背后的礼制密码;去故宫旅游,飞檐斗拱彰显的传统建筑之美固然让人欣喜,但榫卯结构背后的“天人合一”哲学更引人深思。山水器物背后的文化密码,具有一定的隐匿性,不易被直接观察和理解,而数智技术为游客了解这些文化密码提供了一把钥匙。
2025-03-26 04:45
记者从25日召开的中央企业“人工智能+”媒体通气会上获悉,近年来,国务院国资委持续深化中央企业“人工智能+”专项行动,着力提升中央企业在人工智能领域的竞争力。截至目前,中央企业在工业制造、能源电力、智能网联汽车等重点行业布局应用人工智能,科研、生产、客服等方面降本增效明显。
2025-03-26 04:45
25日,人类细胞谱系大科学研究设施(以下简称“细胞谱系设施”)在广东广州国际生物岛正式启动建设。这一设施是国家“十四五”重大科技基础设施,
2025-03-26 03:45
1956年,27岁的林皋带领年轻教师和同学们从零开始,通过自行设计制作的激振和测振仪器设备,在我国率先开展大坝抗震试验。
2025-03-25 09:10
2024年财政收入恢复性增长,比上年增长1.3%。在深入实施创新驱动发展战略,促进现代化产业体系加快建设方面,《报告》指出,推动加快实现高水平科技自立自强。
2025-03-25 09:09
在应用数学中心,来自东南大学通信、网络安全、电子、医学、制药等约10个学科的科研团队经常汇聚一堂,寻找交叉融合的合作点。
2025-03-25 09:05
加载更多