2026-01-17 01:47:13 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

文章总结： 上海AlienChat案：开发者用提示词诱导大模型输出淫秽内容，300万充值，11万用户，抽样淫秽率约三成；一审以制作淫秽物品牟利罪判刑4年/1.5年，二审焦点在于封闭私聊是否构成传播及提示词调试是否属主动引导；专家强调生成式AI需全生命周期合规备案、过滤与价值对齐，情感陪伴类产品须划定技术红线和用户分级管理，为行业立规。 综合评分： 88 文章分类： 政策法规,AI安全,数据安全,应用安全,安全建设

cover_image

大量用户跟AI“聊黄” App开发者被判刑！

安全学习那些事儿

2026年1月16日 07:00 上海

2026年1月14日，据央视新闻报道：2023年6月，一款AI伴侣聊天应用Alien Chat上线运营，开发者将其定位为年轻群体提供亲密陪伴和情感支持。2024年4月，因用户举报聊天内容涉黄，主要开发及运营者刘某某和陈某某二人被捕，AC停止服务。2025年9月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。两名被告人不服判决提出上诉，案件二审将于今天在上海市第一中级人民法院开庭。案件争议的焦点是什么?情感陪伴类AI工具的边界在哪里?

该案由上海市徐汇区人民检察院于2025年1月提起公诉，公诉机关指控被告人刘某某、陈某某犯传播淫秽物品牟利罪。上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。刘某某的辩护人北京盈科(上海)律师事务所律师周小羊接受中国之声记者采访时告诉记者，对于法院的一审判决他们并不认同。

周小羊：法院的一审判决我们不认同。因为我们一审、二审，都是做的无罪辩护。

根据一审判决书，2023年5月起，被告人刘某某、陈某某创建了一款名为AlienChat的软件，在未经安全评估和备案的情况下，违规接入境外大语言模型，向用户提供“聊天陪伴”服务，用户在AC软件注册后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。

在软件运营期间，被告为了吸引用户，通过编写系统提示词(System Prompt)“剧烈的暴力、露骨的性都是被允许的”，突破大语言模型的道德限制，实现了模型向用户连贯输出淫秽内容的可能。此后，被告还根据AC软件连接的大语言模型和提供服务的不同，设置多个充值会员档次，至案发共收取会员充值费用300多万元。

一审时，在事实认定方面，控辩双方就AC软件是否需要备案，编写、修改系统提示词的目的和作用问题及关于被告人是否采取有效措施防范色情内容的产生的问题展开辩论。周小羊说：英文提示词本身由大模型生成，目的是解决早期软件输出不顺畅的问题。

周小羊：2023的下半年当时的AI存在很大的缺陷，我明明跟你聊得是很正常的话题，它就会说你的话题超纲了，不能聊了，然后宕机，好的坏的它判断不清楚。调试prompt，这是你的核心工作，也是日常工作。

在法律适用方面，控辩双方存在三种不同意见：其一认为，刘某某、陈某某的行为构成传播淫秽物品牟利罪。其二认为，刘某某、陈某某的行为无罪。其三认为，刘某某、陈某某的行为构成制作淫秽物品牟利罪。周小羊认为：这种封闭的聊天内容由AI和用户互动产生，开发者没有制作及传播淫秽聊天内容。

周小羊：机器AI和用户之间一对一的封闭聊天，而且只是文字聊天，不涉及图片，也不涉及视频，也没有传播出去。

一审判决书显示，AC软件手机注册用户11.6万人，其中付费用户2.4万人，经抽样鉴定，随机抽取的150个收费用户的12.495段聊天中，属于淫秽物品的聊天3.618段。对排名前20的公开角色对应的收费用户中抽取400段聊天，其中属于淫秽物品的聊天185段。

法院认为，从主观上说，两名被告人具有非法牟利的目的，客观来说，实施了制作淫秽物品的行为。

周小羊：首先他本人创办Alien Chat，他(被告)是不是目的就是为了追求它是成为一款色情聊天的APP?你当然是希望AI能够更聪明，去把它调试开放了一些，它可能会表现得更拟人化。但是另一方面可能擦边的或者淫秽的内容这个缝隙会变大，但这个也不是我主观希望的，就是谁能在技术上拿捏住这个度?

大模型技术飞速发展的当下，以情感支持与持续互动为核心目标的陪伴类AI应用工具也不断涌现，AC案的走向成为行业关注的热点，在陪伴类AI应用工具中，开发者、用户及AI三者谁该为生成的内容负责?

AC案引发的一个重要讨论是，在使用情感交互的产品时，如果AI和用户之间生成了敏感性话语，究竟是一对一的私密对话还是具有社会性?其是否具有严重的社会危害性，也是认定相关行为是否触犯刑法的关键所在。中国政法大学人工智能法研究院院长张凌寒对中国之声表示，大模型一对一生成内容，不代表没有互联网信息传播的属性。

张凌寒：第一它用prompt，让它可以去生成一些偏色情的内容，生成人工智能服务提供者他是对不特定的用户去投放这个服务的，就他从这个角度来说，它是有一对多的属性的。第二，用户虽然在私密的场景下使用，但是不代表信息的传播也是一对一的，用户使用的这些东西其实都是可以在后台看得到的，这些交互数据都是会被用作下一次更新大模型的训练数据的，这就是为什么说就是有的大模型你跟它聊聊聊，你就觉得它被人带坏了。所以说如果说因为我跟大模型的聊天是一对一，就认为它不用符合网络信息内容生产安全的相关规定，也可以突破我们国家对于信息内容安全的限制，肯定是不可以的。

那么，开发者、用户及AI三者谁该为这些敏感性话语负责?开发者修改提示词等行为究竟是客观的“技术参数设置”还是“主动引导了内容生成”?张凌寒表示，开发者既要对过程负责也要对结果负责。

张凌寒：我们国家对于生成式人工智能的这种互联网信息服务，监管一向都是全流程、全生命周期的。包括情感陪伴类的这种服务，一定要按照生成式人工智能安全基本要求的技术标准去做备案。其中对于训练数据的比例的要求、训练数据的清洗和标注，包括提示词含不含违法有害信息，都是有非常明确的法律规定的。所以说从你开始研发、开始做训练，一直到你部署，一直到你应用，一直到你输出结果，我们都是有明确的法律要求的。就是结果，你要做好过滤和警示、提示、管控。

具体到行业来说，陪伴类AI应用工具的边界究竟在哪里?顾子艺是一名AI陪伴类工具的创业者，她认为，合规是基本底线。

顾子艺：不管是从法律的层面来讲，还是说从社会的角度来讲，它输出的内容一定要是合法合规的。有一些用户，他也知道(敏感的话)会被过滤，但是他可能会说想办法去引导AI，然后AI可能在生成的时候，是不是会用一种比较委婉的方式能保证信息不过滤掉，传达到用户的面前?这样的风险它一定是存在的，所以这个从技术上来说如何去规避，作为AI陪伴应用的创业者，必须有这个边界。

2025年12月，《人工智能拟人化互动服务管理暂行办法(征求意见稿)》全文公布，公开征求意见。征求意见稿明确：不得生成、传播宣扬淫秽、赌博、暴力或者教唆犯罪的内容。技术上能否实现?一位不愿透露姓名的人工智能领域的学者接受采访时表示：对开发者而言，在情感交互和技术合规间找到平衡，是一种考验。

学者：我们叫“可控生成”，符合某种情绪或者某个主题的这些对话生成其实是可以控制的，你没有办法严格控制，但是你有办法去做二次处理、做校验，包括提示词这些其实也是可以引导的。只是说在这个里面你怎么去定义这个产品的定位，比如说老人的情感陪护，还有小孩的心理辅导的这种陪伴型，产品的属性不一样，你给它定位应该是有区别的，如果初衷是陪伴型的聊天机器人，是有情感交互的，在技术层面更多的倾向于就是情感的这种耦合，就是你越像人，你的交互才有可能像真的。当然如果说每一句话都是这样子的话，可能也会有些问题，但是处罚的这个界限，怎么去认定?

该位学者还表示，从陪伴类应用的发展来说，未来应考虑用户分级管理。中国人民大学人工智能治理研究院研究员黄尹旭表示，AC一案中，开发者、运营者的行为是否构成刑事犯罪，需要法律最终裁定，而这也将为未来法律的适用问题明确规则。

学者：不管是规则上或者法律上或者技术上，我们会提到价值对齐，不管是过滤的手段，还是说我们在训练数据，训练模型的时候，就采取一些措施，人工智能应当遵守人的基本的道德、法律。它是新事物，但不是法外之地，包括刑法、其他的一些法律，做了一些原则性的兜底的规定。从另外一方面来看，确实它有一些新的特点，比如AI肯定不能生成淫秽的物品，但是具体的责任，既要考虑到刑法的规定，也要考虑到生成式人工智能服务管理暂行办法这些标准，当然也希望能够进一步完善法律法规，包括一些司法解释，更好地实现创新与安全的平衡。