“训练”AI模型输出淫秽图片牟利，开发者获刑

　　曾是国内游戏大厂AI(人工智能)领域核心程序员的郑某，通过改写系统提示词实现模型“越狱”、设定角色卡诱导对话场景、开发淫秽图片生成功能等方式，将AI模型“训练”为专门输出淫秽物品的犯罪工具，为用户输出淫秽内容提供技术条件……最终，郑某等人被法院认定，构成制作淫秽物品牟利罪。

　　AI竟成了“造黄”工具

　　被告人郑某曾是国内一家游戏大厂的员工，在AI技术领域具有一定影响力，也曾赴国外进行深造，是一名高科技人才。

　　2024年7月，郑某接触到境外一款AI色情聊天机器人后，萌生了开发同类软件非法牟利的想法。随后，郑某与同事谢某以及在网上结识的闫某等六人共同组建了“研发团队”。

　　郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。用户充值付费后，可在该模型中选定角色卡，生成色情聊天文本，之后通过消耗不同积分进一步生成淫秽图片。

　　经过一段时间的调试，2025年1月，郑某等人研发的生成式人工智能模型在境外平台正式上线运营，并接入多种充值渠道向用户收取费用。

　　2025年7月，公安机关在发现违法犯罪线索后进行立案侦查。同年9月，郑某等六名被告人全部被抓获归案。

　　经核查，涉案AI模型运营期间，应用户需求共生成静态图片37万余张、动态图片6000余张，共收取用户充值金额2.4万美元，折合人民币17万余元。在上述图片中随机抽取的12500张静态图片和全量动态图片中，有9000多张静态图片、5000多张动态图片被认定为淫秽物品。

　　认定为“制作淫秽物品”

　　本案的核心争议焦点在于，郑某等生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容是否属于“制作淫秽物品”。

　　该案承办法官、余姚市法院刑事审判庭一级法官诸张琳介绍，刑法意义上的“制作”淫秽物品，是指将特定思想、观念或情感通过构思、设计、安排等方式在淫秽物品中予以表现的行为。

　　“传统语境下，‘制作’往往体现为人工创作、编辑等直接行为。然而，进入人工智能时代后，淫秽物品的产生方式正在从‘人工创作’向‘AI生成’转变，刑法评价应当适配技术现实。生成式人工智能模型通常内置内容安全过滤机制，用以拦截不良违法信息，其本身并非犯罪工具。本案中，被告人郑某等人不断编写、修改系统提示词，并通过多种技术手段，持续试探并突破AI模型伦理与安全限制，使其违背原有安全设计，触发用户指令后生成淫秽内容。这一系列行为的实质，是被告人主动将AI模型从通用工具‘训练’为专门输出淫秽物品的犯罪工具。”诸张琳说。

　　庭审中，被告人辩称用户存在选择角色、输入特定指令的操作。对此，法院认为，用户虽然存在选择角色、输入特定指令的操作，但他们的行为均被限定在被告人预先搭建的技术框架内，被告人对AI模型的内容输出具有实质性控制能力，其行为与淫秽内容的产生之间存在刑法上的直接因果关系。因此，生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容，应被认定为“制作淫秽物品”。

　　余姚市法院经审理认为，被告人郑某等六人以牟利为目的，结伙利用AI技术制作淫秽物品，情节严重，其行为均已构成制作淫秽物品牟利罪。综合考虑其犯罪事实、情节、认罪悔罪态度以及对社会的危害程度等情形，分别判处被告人郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后，当事人均未提起上诉。目前，判决已经生效。

　　“技术中立”不是挡箭牌

　　“‘技术中立’不是违法犯罪的挡箭牌，不能因内容由AI输出，就否定开发者的‘制作者’身份。”诸张琳表示，本案是一起典型的AI技术被滥用实施犯罪的案件，暴露出生成式人工智能快速发展过程中潜藏的刑事风险。开发者主动篡改模型安全机制，搭建便于产出淫秽内容的技术环境，对违法内容生成具备实质控制力，即便由用户输入指令触发内容输出，开发者仍属于刑法意义上淫秽物品的制作者，应当承担相应刑事责任。

　　诸张琳指出，对于这类案件，应结合传播范围、扩散风险、实际危害综合评价，区分批量生成与按需生成、公开传播与封闭交互，实现罪责刑相适应。既要对海量生成、广泛扩散的行为从严惩处，也要考虑到AI具有一键生成、批量产出的技术特性，对技术特性导致的数量虚高予以合理限缩，让量刑精准适配AI时代犯罪形态。

　　“生成式人工智能服务提供者在追求商业利益的同时，必须严守法律底线和科技伦理，主动履行内容安全管理义务。任何试图利用技术手段规避监管、突破法律红线的行为，都将受到法律的严肃惩处。”宁波市中级人民法院刑事审判第二庭庭长陈靖说。