近年来,得益于人工智能技术的迭代升级,不少“AI换脸”类应用走红网络。然而,利用深度合成技术实施诈骗或侵犯他人肖像权的案例并不少见。连日来,记者调查发现,仍有商家在线出售AI“换脸”软件,声称“包教包会”。9月25日,最高人民法院、最高人民检察院、公安部联合发布《关于依法惩治网络暴力违法犯罪的指导意见》(下称《意见》),其中提出,利用“深度合成”等生成式人工智能技术发布违法信息的,将依法从重处罚。
《意见》提出,实施网络暴力违法犯罪,具有以下五种情形之一的,依法从重处罚:针对未成年人、残疾人实施的；组织“水军”、“打手”或者其他人员实施的；编造“涉性”话题侵害他人人格尊严的；利用“深度合成”等生成式人工智能技术发布违法信息的；网络服务提供者发起、组织的。依照《意见》规定,检察机关对严重危害社会秩序和国家利益的侮辱、诽谤犯罪行为,应当依法提起公诉,对损害社会公共利益的网络暴力行为能依法提起公益诉讼。
记者了解到,深度合成技术是利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术,其中,深度合成技术中“AI换脸”和“数字虚拟人”应用比较广泛。“AI换脸”不但可以快速将一张人脸无缝融入到另一个图片或视频中,甚至连人物表情、口型都可以用AI技术合成,具有更强的“以假乱真”效果。
记者通过微信检索,发现了一款名为“AI换脸变装”的小程序,内容显示“只需要一张照片,视频照片一键AI换脸”,记者发现,小程序中可提供“短视频AI换脸”“照片AI换脸”“创意表白恶搞视频生成”以及“经典角色换脸”等服务。不过,记者点开链接后发现,这款小程序因违规已暂停服务。经过查看该账号主体信息,记者看出小程序由昆山开发区某网络科技工作室开发,2023年7月份,该工作室被市场监督管理部门列入经营异常名录。在淘宝上,虽然输入“AI换脸”已无法搜索到信息,但记者随机咨询了一家店铺,客服表示可“一键换脸,过任何认证”。记者购买后,客服发来一个百度网盘的链接,里面有换脸软件及使用教程。
随后,记者通过QQ联系上了一名“AI绘图客服”,对方声称可提供AI换脸软件,根据服务内容的不同,价格分为70元、80元、100元三个档次,为了打消记者顾虑,这位“客服”还发来了与其他“客户”的聊天记录,称“已经搞到了完美模式”“模型已经很完美了”。记者在付费后同样收到对方发来的百度网盘,网盘中可下载一款AI绘图软件。
这位“客服”还发来一份“软件安装使用说明”,说明中提到,“这个软件可以把背景弄到人像上面,可以从身体往外扩,多试几次,毕竟是AI的,然后找一张差不多的,用这一张继续涂抹,前几次失败挺正常的,需要摸索适应,多处理一些图片就容易发现图片处理的特点,然后就容易了。”“客服”还表示,这款AI绘图软件“包教包会”。
记者注意到,使用说明中写道,这款软件仅用于个人图片处理,禁止涉及传播他人隐私,运用到非法途径,违者将负法律责任。对于这款AI绘图软件可能涉及的法律风险问题,“客服”称“仅供个人学习使用,只要不传播就没事。”
记者调查发现,随着监督管理力度的加强,一些“换脸软件”和“定制换脸服务”转向更隐秘的角落,形成了地下灰色生意链。不法分子通过AI技术生成图片,制作明星或普通人的不雅视频或者照片,并对这些图片进行整合,打包成文件夹,公开在所谓“会员群”中售卖。商家售卖“作案工具”的背后,还有人利用“AI换脸”技术进行诈骗。记者从“平安包头”微信公众号获悉,今年5月8日,包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件,警银联动成功紧急止付涉嫌电信诈骗资金430多万元。
4月20日,福州市某科技公司法定代表人郭先生的“好友”突然利用微信视频联系到他,两人经过短暂聊天后,“好友”告诉郭先生,自己的朋友在外地投标,需要430万元保证金,且需要公对公账户过账,所以想借用郭先生公司的账户走一下账。“好友”向郭先生要了银行卡号,声称已经把钱打到郭先生的账户上,还把银行转账底单的截图利用微信发给了郭先生。基于视频聊天信任的前提下,郭先生没有核实钱是否到账,先后分两笔把430万元给对方打了过去。转账后,郭先生给“好友”微信发了一条消息,称事情已经办妥。但让他没想到的是,好友回过来的消息竟然是一个问号。郭先生拨打“好友”电话,对方说没有这回事,他这才意识到遇上了“高端”骗局,对方通过智能AI换脸技术,佯装成“好友”对他实施了诈骗。“我在视频中也确认了面孔和声音,所以才放松了戒备。”郭先生说。
“AI换脸”的风险不止于诈骗,也被大量使用到视频换装、影视剧二度创作、表情包制作当中,其中法律风险和侵权纠纷已然浮现。今年4月份,上海市金山区人民法院审理多起因AI换脸APP侵害他人肖像权的案件,判决上海某信息科技公司刊登道歉声明并赔偿相应的损失。记者通过裁判文书网检索发现,该公司运营一款手机换脸软件,将众多网红或明星的肖像视频上传为模板供用户换脸使用,但用户如果想解锁全部视频模板以及高清无水印导出视频,必须要付费购买会员方可免费使用。用户在付费成为会员后,能够自行创设换脸图片,形成除脸部特征不同之外其他内容仍为网红或明星的肖像视频。9月26日,山东齐东律师事务所于文超主任律师认为,科学技术进步是把双刃剑,如果滥用该技术,有几率存在刑事法律风险。深度合成技术可能被用于诈骗、敲诈勒索等侵犯他人财产权的犯罪活动。其中,诈骗行为最常见。此外,深度合成技术可能被用于侮辱、诽谤、制作淫秽物品牟利等与侵犯他人名誉相关的违法犯罪活动。
于文超律师介绍,我国已经出台了多部有关深度合成技术的规范性文件。比如,2022年11月25日颁布(2023年1月10日起施行)的《互联网信息服务深度合成管理规定》,2023年4月11日发布的《生成式人工智能服务管理办法(征求意见稿)》,以及《网络内容信息生态治理规定》《网络音视频信息服务管理规定》等。上述规范性文件对深度合成技术的服务提供者、技术支持者、使用者和传播平台的合规义务均作出明确规定。
9月26日,天使投资人、资深人工智能专家郭涛在接受半岛全媒体记者正常采访时表示,国家相关部门要逐步建立健全法律和法规,加大监管和处罚力度,提高违法成本；平台加强技术和审核手段,从源头上切断侵权内容传播渠道。