专业解读

2022年美国OpenAI公司推出了名叫Chatgpt人工智能产品，该产品一经推出立刻吸引了全球的目光，因为这标志着生成式人工智能取得了关键突破。随后各国均加大这一领域的投资，国内也涌现了一大批优秀的大模型如阿里的M6、百度的文心、华为的盘古、科大讯飞的星火、商汤的日日新，而且越来越多的企业纷纷加入。据有关部门统计截止到2023年末，深圳市人工智能产业产值已达3000亿元人民币，人工智能企业规模数已经超过2000家。最近国务院总理李强在北京调研时指出，人工智能是发展新质生产力的重要引擎。

一方面生成式人工智能产业的发展如日中天，但另一方面生成式人工智能需要调用大量的数据来训练模型和生成内容，而这引发了大家对公民个人隐私、知识产权保护等方面的忧虑。甚至有些国家直接禁止了ChatGPT在其境内应用。

鉴于生成式人工智能可能引发的法律风险以及道德风险，国家层面除制定了《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律外，另外颁布了《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《科技伦理审查办法（试行）》《数据出境安全评估办法》《互联网信息服务深度合成管理规定》《关键信息基础设施安全保护条例》《深圳经济特区人工智能产业促进条例》等法规、规章对生成式人工智能予以规范。

笔者认为，目前我们最需要关注的生成式人工智能平台输入端以及输出端的刑事风险防控。

一、生成式人工智能平台输入端刑事风险防控

（一）监管层对人工智能平台数据来源合法性的要求以及数据来源不合法涉刑的风险

生成式人工智能平台需要利用文本、图片、音频、视频等数据进行模型训练，据报道ChatGPT-4大概使用了1.76万亿参数来训练模型，ChatGPT-3使用的参数有１７５０亿，而ChatGPT-2只有15亿。由于平台调用训练的数据规模越来越大，而这必然引发监管层对数据来源合法性的关注。

《生成式人工智能服务管理暂行办法》第七条对数据来源、提出了以下基本要求：
（一）使用具有合法来源的数据和基础模型；
（二）涉及知识产权的，不得侵害他人依法享有的知识产权；
（三）涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；
（四）采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；
（五）《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。

目前生成式人工智能平台的数据来源主要有来自合作方提供的数据、平台开展业务过程中自行收集的数据以及从公开互联网平台获取的数据。数据收集阶段最可能触犯的罪名包括侵犯公民个人信息罪、侵犯商业秘密罪、非法获取国家秘密罪、侵犯著作权罪、非法侵入计算机系统罪、非法获取计算机信息系统罪、非法控制计算机信息系统罪、破坏计算机系统罪、提供侵入计算机信息系统程序、工具罪等。例如未经用户同意，收集用户的姓名、通讯联系方式、住址、账号密码、地理定位、身份证号码、人脸识别、指纹等生物信息。

根据《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第五条的规定，非法获取、出售和提供高度敏感信息50条、一般敏感信息500条、普通信息5000条以上，可以认定为刑法第二百五十三条之一规定的“情节严重”，构成侵犯公民个人信息罪。

其中最为著名的是2017年绍兴警方破获的全国首个利用AI侵犯公民个人信息案。该案中杨某为李某创立的“快啊答题”平台提供图像识别客户端，该平台运用人工智能机器深度学习方法训练机器，可以自动快速地识别图片验证码，轻松绕过网络服务提供者设置的账户安全登陆保护。杨某与李某明知陈某、张某、林某以及朱某等人开发的软件具有批量识别某账号信息（扫号）的功能，仍开放接入端口，协助软件破解服务器下发的验证码，从而绕过验证码策略，完成验证账号密码的一致性认定问题。陈某、张某、林某以及朱某等人将各自编写的软件接入“快啊答题”平台，供他人使用软件进行批量扫号等违法活动。据媒体报道，该案犯罪嫌疑人截留的公民信息达10亿余组。最终浙江省绍兴市越城区法院经审理，认定杨某、李某、陈某、张某、林某以及朱某等人构成提供侵入计算机信息系统程序、工具罪。

除了通过经营过程中收集或者通过合作方获取数据以外，人工智能平台也利用“网络爬虫”等技术从互联网平台收集数据。所谓网络爬虫，也称网络机器人或网络蜘蛛，是通过模拟人（网络用户）的行为，自动、高效地浏览互联网并抓取所需数据的计算机程序。网络爬虫技术作为一种中立的数据搜索工具，本身没有合法与违法之分。

但是使用爬虫技术的行为则受法律评价以及规制，滥用网络爬虫技术则可能涉嫌违法甚至犯罪。例如未经公司许可，绕开或者突破企业设置的反爬虫技术获取个人、企业信息，情节严重的，极有可能构成非法获取计算机信息系统数据罪、破坏计算机信息系统罪、侵犯公民个人信息罪。

如最高检发布第三批涉案企业合规典型案例上海Z公司、陈某某等人非法获取计算机信息系统数据一案中，在未经上海E信息科技有限公司（以下简称“E公司”，系国内特大型美食外卖平台企业）授权许可的情况下，Z公司为了以提供超范围数据服务吸引更多的客户，由公司首席技术官陈某某指使汤某某等多名公司技术人员，通过“外爬”“内爬”等爬虫程序（按照一定的规则，在网上自动抓取数据的程序），非法获取E公司运营的外卖平台（以下简称“E平台”）数据。其中，汤某某技术团队实施“外爬”，以非法技术手段，或利用E平台网页漏洞，突破、绕开E公司设置的IP限制、验证码验证等网络安全措施，通过爬虫程序大量获取E公司存储的店铺信息等数据。王某某技术团队实施“内爬”，利用掌握的登录E平台商户端的账号、密码及自行设计的浏览器插件，违反E平台商户端协议，通过爬虫程序大量获取E公司存储的订单信息等数据。

上述行为造成E公司存储的具有巨大商业价值的海量商户信息被非法获取，同时造成E公司流量成本增加，直接经济损失人民币4万余元。案发后，Z公司、陈某某等人均认罪认罚，Z公司积极赔偿被害单位经济损失并取得谅解，最终检察机关对陈某某等14人作出不起诉决定。

（二）刑事合规建议

为了避免生成式人工智能平台在数据收集端涉嫌刑事犯罪，我们认为可以从以下几方面予以规范：

1. 数据处理者收集数据应当遵循合法、正当、必要的原则，不得窃取或者以其他非法方式收集数据。

2. 针对用户数据收集，应按照公开透明原则，将收集规则以通俗易懂、简单明了的文字向用户明示，例如对高度敏感信息以及一般敏感信息用黑体、斜划线等予以显著标识。

3. 向有资质的数据公司收集信息并要求数据提供方做出数据源合法性的书面承诺，并承担相应的法律责任。

4. 制定数据收集规则并保障收集信息的可追溯性。

5. 使用“网络爬虫”等方式收集信息时，尽量确保收集信息为公开数据，采取的手段不具有侵入性，是否具有侵入性可以从技术本身是否具有侵入性和数据爬取行为是否遵守爬虫协议与合同约定两个方面来判定，尽量取得数据爬取方的书面同意。爬取数据的目的具有正当性、合理性、公平性。法律要规范的并非技术本身，除非该技术本身就有伦理问题。法律要调整的是由于技术运用而带来的当事人之间的利益分配问题，要传递的是公平合理的价值追求。高悬达摩克利斯之剑，才能确保数据爬虫技术在推动数字经济发展中发挥正向作用。

二、生成式人工智能平台输出端刑事风险防控

（一）监管层对生成式人工智能平台数据生成的监管要求、平台输出内容不当涉嫌共犯以及不履行网络信息安全义务的涉刑风险。

目前监管层要求生成式人工智能平台应当依法承担网络信息内容生产者责任，履行网络信息安全义务。提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。

目前生成式人工智能平台输出端主要面临以下刑事风险：如用户利用生成式人工智能生成的内容颠覆国家政权、煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视等；用户利用生成式人工智能传播暴力、淫秽色情信息、虚假信息，如2023年犯罪嫌疑人洪某弟利用ChatGPT人工智能软件搜集新闻要素并修改编辑后炮制了虚假新闻“今晨甘肃一火车撞上修路工人致9人死亡”，文章发布以后被大量传播浏览，洪某弟涉嫌寻衅滋事被甘肃警方采取刑事强制措施。

利用生成式人工智能制造虚假信息，实施各类欺诈等。中国香港近期发生了一起规模庞大的AI“深度伪造”诈骗案。诈骗者通过搜集一家跨国公司英国高层在YouTube上的公开影像，再利用AI“深度伪造”技术，给诈骗者换上公司高层的面部和声音，从而实施诈骗，并成功从香港分公司骗走2亿港元。去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。

虽然上述犯罪行为主要是使用者（用户）利用人工智能平台实施的，使用者是法益侵害的直接责任人，生成式人工智能平台只是间接提供了技术支持而已，但是技术中立基本很难成为免责的理由。生成式人工智能平台经营者对于用户的侵权行为负有较高的注意义务，是目前监管层的要求。

根据我国目前的刑法理论，对于明知他人利用人工智能系统实施犯罪行为，仍然提供技术支持或帮助，造成严重危害的，可能认定为需要独立处罚的技术帮助行为，可以直接按照共犯行为予以处罚。即使经营者不知道用户利用平台实施违法犯罪，但是在监管部门责令采取改正措施而拒不改正的情况下，造成严重后果或者情节严重，仍然可以对平台经营者以拒不履行信息网络安全管理义务罪定罪处罚。

其中最为典型的案例是“快播传播淫秽物品牟利案”。在该案中法院认为快播公司以及经营者不能适用“技术中立”原则而免责。因为快播公司的P2P 技术不仅使用户在下载视频的同时提供了上传视频的服务， 而且在用户与用户之间还介人了自己控制、管理的缓存服务器，也就是说其实质介入了淫秽视频的传播行为，另外快播公司以及经营者对用户上传淫秽物品的行为具有明确的认知；最终法院以传播淫秽物品牟利罪判处快播公司法定代表人王欣3年6个月。

（二）刑事合规建议

1. 建立违法信息过滤系统，发现违法内容的，应当立即停止生成、停止传输、消除等处置措施并向主管机关报告。

2. 建立内部安全评估系统，对于提供具有舆论属性或者社会动员能力的生成式人工智能服务的，履行算法备案和变更、注销备案手续。

3. 建立深度合成内容显著标识系统，对于可能导致公众混淆或者误认的深度合成内容，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。

4. 建立投诉举报机制，设置便捷的投诉、举报入口，公布处理流程和反馈时限，及时受理、处理公众投诉举报并反馈处理结果。

【总结】卢西亚诺·弗洛里迪(Luciano Floridi) 在其着作《第四次革命———人工智能如何重塑人类现实》中, 直接把“人工智能革命”称为“第四次革命”，并被全球各国看作是下一轮经济发展的重要推动力和战略制高点。生成式人工智能在发展过程中虽然面临数据来源合法性、生成内容违法等刑事风险，但刑法作为社会防护的最后一道防线，应该有所为有所不为，只有当行政前置法规制无效，且行为达到刑事违法性标准时，才可考虑采用轻重程度适当的刑法规制手段。正如国务院李强总理最近在北京调研人工智能产业时强调：要在守住安全底线的前提下，积极推行包容审慎监管，给予新技术足够的创新空间和必要的试错空间。

参考引用资料：
1. 吴菊萍：数据爬虫的悬顶之剑 ，载《检察风云》2022年第2期。
2. 徐艳红：以ChatGPT为代表的人工智能刑事法律风险知多少，载《人民政协报》.

作者简介

贺明峰
道可特律师事务所合伙人

业务领域：刑事业务、争议解决、金融、私募股权与基金

邮箱：hemingfeng@dtlawyers.com.cn