《法治日报》记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰，这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带，在部分软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。（《法治日报》11月23日）

　　此前，ChatGPT的横空出世犹如一颗火种，点燃了人工智能领域的热情，催生了各式各样的创新应用。万万没想到，这种生成式大语言模型，又一次被带偏了。

　　据报道，一些打着“角色扮演”旗号的AI剧情聊天软件，用色情、暴力的擦边内容吸引未成年人，诱惑他们充值消费，这不仅引发了家长们的强烈担忧，也再次凸显出加强行业监管的紧迫性。

　　AI剧情聊天软件依托人工智能技术，模拟虚拟人物与玩家进行对话，为青少年打造了一个充满新奇与未知感的虚拟世界，这种创新本身并无不妥。

　　问题在于，一些软件开发平台为了吸引用户，刻意设置了包含性暗示或暴力元素的对话内容，甚至设计了超出青少年认知范围的场景和剧情，如将聊天对象设定为“出轨对象”，并涉及拥抱、亲吻等亲密行为。更有甚者，部分软件提供色情内容，对青少年健康成长造成极大威胁。

　　在青少年成长发育的关键时期，营造健康向上的网络环境至关重要。倘若他们沉迷于充斥着低俗、暴力内容的虚拟世界，甚至进行大额充值消费，无疑会对其价值观造成负面影响。

　　要确保行业健康发展，防止技术被滥用，必须迅速采取措施，加强监管力度，约束平台守法合规运营。比如，一旦发现存在色情内容，应立即对相关应用软件进行下架处理，以儆效尤。

　　更为重要的是，要将未成年人保护机制真正落到实处。报道提到，有些AI剧情聊天软件，注册极为简便，无需实名验证，根本没有对不同年龄段用户进行区分。还有的软件虽然提供了“青少年模式”，但防火墙形同虚设，用户选择该模式后，照样可以看到一些不适合他们观看的内容。

　　所以，针对部分AI剧情聊天软件“偏离正轨”的问题，行业监管部门不妨首先系统梳理排查一下，看最基础性的“青少年模式”到底有没有执行到位。在此基础上，加强对平台内容的审核，确保生成的内容合法合规。

　　另一方面，AI剧情聊天软件的网络开发平台，也应主动承担起主体责任，加强自律，建立完善的内容审核机制，在软件上架前的语言训练阶段，就对可能存在的色情、暴力等有害信息进行有效过滤。总之，绝不能为了追求用户数量而打法律的擦边球。

　　AI剧情聊天软件乱象，对未成年人身心健康造成的潜在危害，不可不察。无论如何，人工智能作为新兴行业，其快速发展应当为社会经济带来正面的价值。不能让技术跑偏，成为非法牟利的工具。守护好未成年人身心健康的防线，人工智能才能真正实现“技术向善”。（熊志）

　　来源：中国青年报（2024年11月27日 08版）