近日，针对部分涉及“深度伪造”技术的语音社交软件和应用未履行安全评估程序，国家互联网信息办公室、公安部责成各地网信部门和公安机关依法约谈11家企业。

什么是「深度伪造」技术？有专家告诉南都记者，“深度伪造”是指基于深度学习的音视频制作合成技术。一般来说，可以理解为一种可以复制和再现个人生物特征信息的技术。虽然有一些积极的应用，但深度伪造技术也隐藏着财产侵权、人身侵权、危害公共安全甚至国家安全的风险。

南都记者调查发现，事实上，类似合成技术的深度伪造和滥用，已经催生了一批黑灰产:一些卖家出售破解版变脸软件，将变脸软件制作的女明星淫秽视频打包出售；短视频平台“假靳东”事件后，仍有假“东哥”账号活跃在平台上。

专家告诉南都记者，防止“深度伪造”技术被滥用，最重要的是实现有效的社会共治。他说，从这次采访可以看出，科技企业在开发新技术、新业务时，要积极防范风险；此外，大众在追求新奇的同时，也在不断提高自己的隐私和安全保护意识。

点名:国家网信办约谈涉及“深度伪造”的技术应用企业[S2/]

就语音社交软件和“深度伪造”技术采访了11家互联网公司。

3月18日，国家互联网信息办公室发布通知称，为加强对具有舆论属性或社会动员能力的互联网信息服务及相关新技术、新应用的安全管理，近日，国家互联网信息办公室、公安部责成各地网信部门和公安机关加强对涉及“深度伪造”技术的语音社交软件及新技术、新应用的安全评估。

针对近期未履行安全评估程序的涉及“深度伪造”的语音社交软件和技术应用，国家互联网信息办公室、公安部已责成各地网信部门和公安机关依法约谈映客、小米、阿auto快消、字节跳动、鲸数服、云账号、喜马拉雅、阿里巴巴、网易云音乐、腾讯、瞿岩等11家企业。督促其认真开展安全评估，完善风险防控机制和措施，对安全评估中发现的安全隐患采取及时有效的整改措施，依据《网络安全法》、《具有舆情或社会动员能力的互联网信息服务安全评估规定》等法律法规和政策要求，切实履行企业信息内容安全主体责任。

杜南记者了解到，“Deepfake”是英文deep learning和fake的混合词，即利用深度学习算法模拟和伪造音频和视频。

北京师范大学互联网法治国际研究中心执行主任、博士生导师、中国互联网学会研究中心副主任吴沈阔对南都记者表示，一般来说，可以理解为一种可以复制、重现个人生物特征信息的技术，比如最近开始流行的短视频平台“蚂蚁嘿”中的变脸，以及其他语音仿生、身体仿生等场景。

中国信息通信研究院云计算与大数据研究所人工智能部高级业务总监刘硕告诉南都记者，从广义上讲，“深度伪造”是指基于深度学习的音视频合成技术。人们更加关注人脸替换、人脸复制、人脸编辑等技术。

刘硕，其中人脸替换是指将目标人脸替换到已有的图像或视频中；人脸再现是指操纵图像或视频中的人脸来改变眼睛和嘴巴的形状。编辑人脸涉及到皮肤、年龄、发型等等的变化。这项技术在影视、娱乐等领域有一些积极的应用。

记者注意到，在上述受访的11家公司中，涉及“去代理”的业务均与“深度伪造”技术有关。

公开资料显示，秀色是一款手机拍照App，隶属于深圳市新国都智能有限公司，主营AI智能视频变脸、自制表情包等业务。

App store中的简介显示，秀场App有三大核心功能，分别是ai视频换脸、制作ai表情、ai照片换脸。用户可以利用ai技术替换电视综艺人脸，制作专属表情等。产品特点“变像:采用深度合成技术，相似度超过99%”。

这款“变脸”App很受欢迎，同类型的应用也很多。杜南记者在苹果应用商店搜索发现，该应用下载量约为4.5万次，经过4万多次评分，得到满分5分。在应用商店搜索“变脸”、“变脸”等关键词后，系统推荐了“ZAO”、“蚂蚁变脸视频制作”、“变脸AI”、“AI变脸相机”、“Xpression”、“Muglife”等应用软件，其功能多为照片、视频变脸。

乱象: 女明星被AI 变脸的淫秽视频打包在网上贩卖

AI变脸软件大行其道，背后的“深度伪造”技术其实隐藏着很多风险。

国内较早使用深度学习技术提供服务的广州图普科技网络公司曾对南都记者表示，相比“换脸”技术本身，由于人脸识别具有高度的直接识别性和唯一性，在人脸信息处理过程中存在更高的数据泄露、非法滥用、盗用等隐患。

吴沈阔也给南都记者举了个例子，说深度伪造技术有三大风险。

“侵犯财产，特别是用于精密电信网络诈骗；人身攻击，如儿童色情和虚拟色情场景；公共安全乃至国家安全，如伪造公众人物或国家领导人的虚拟音视频，造成社会失序甚至国家关系冲突的严重后果。”

记者注意到，此前，已有多款AI变脸软件因争议被要求下架整改。

近日，一段带有“蚂蚁嘿”魔法音乐的变脸视频在各大社交平台刷屏，提供这种特效的AI变脸软件Avatarify红遍网络，并荣登App Store免费软件下载排行榜榜首。然而，几天后的凌晨，该软件在中国的App Store中悄然下架。

此前，号称“天下一出好戏，只需一张照片”的AI变脸软件“ZAO-面玩”，从上线6天，也出现了巨大的差距，被要求整改。

除了风险，南都记者调查发现，类似合成技术的深度伪造和滥用，催生了一批黑灰产。

3月22日，杜南记者以“明星变脸”、“变脸”、“AI”为关键词在网上搜索，发现有卖家出售破解的变脸软件，并将变脸软件制作的女明星淫秽视频打包出售。

在一个名为“AI明星变脸”的QQ群里，一位客服给南都记者发来一份名为“AI变脸最新说明”的文本文件。

文件显示，该工作室共有四种消费套餐，价格从28元到138元不等。其中68元可以买到一套AI科技明星变脸的淫秽视频，包括迪丽热巴、刘诗诗、刘亦菲、杨颖等当红女明星的视频，共计500条左右。138元可以购买“明星变脸App在线VIP版”。据其介绍，这是“全网最全的变脸App，包括国内外明星，所有变脸作者都会上传”。

犯罪分子也可能利用这种技术通过合成视频伪造身份实施诈骗。2020年的“假靳东”事件，正暴露出视频合成技术的风险和隐忧。

此前，南都记者调查发现，多个短视频平台上存在多个“假靳东”账号。这类账号都以靳东的照片为头像，大多使用“靳东”、“小东”、“东哥”、“贺信”等昵称。，并编辑金东的照片和视频片段进行配音。在明星效应下骗取好评和粉丝后，还有账号甚至直播带货。

3月22日，短视频平台上的一个“东哥”。

3月22日，杜南记者搜索昵称为靳东、靳东、晓东、东哥、贺信等短视频平台，发现无法找到上述“靳东”系列账号。

然而，在一个自称“总导演”的账号首页，以“东哥”为结尾昵称，仍有多段演员靳东的视频片段，配有文字和音乐，评论区仍有多位用户以“哥哥姐姐”相称，留言祝福。

监管:政策法规提供明确指引，专家建议社会共治

“深度伪造”技术隐藏的风险背后，这种新技术应该如何监管？

记者发现，近年来，国家有关部门制定颁布了多部法律法规，进一步加强对此类技术应用的规范。

例如，2019年11月，国家网信办等部门联合发布《网络音视频信息服务管理规定》，要求以显著方式标注新技术、新应用制作、发布、传播的非真实音视频信息；网络音视频信息服务提供者发现用户利用基于深度学习、虚拟现实的虚假图像和音视频生成技术制作、发布、传播谣言的，应当及时采取相应措施予以辟谣。

2019年12月，国家网信办发布《网络信息内容生态治理规定》，明确网络信息内容服务使用者、网络信息内容生产者、网络信息内容服务平台不得利用深度学习、虚拟现实等新技术、新应用从事法律、行政法规禁止的活动。

在2021年1月正式实施的民法典中，第1019条明确规定了肖像权的消极力量，其中规定“不得以信息技术伪造等手段侵害他人肖像权。”以及“未经肖像权人同意，不得制作、使用、宣传肖像权人的肖像”均视为将AI变脸纳入肖像权保护范围。

吴沈阔告诉南都记者，从目前的生态来看，深度伪造技术泛滥的一个重要原因是其可以低成本、低门槛的获得和应用，这可能导致不法分子广泛获得该技术的应用能力。

在风险防范方面，他建议最重要的是实现有效的社会共治。“其中最重要的一个环节是，企业在推出类似技术模块之前，能够及时有效地实现自我评估，通报国家相关监管部门，实现风险防控领域的公私合作。在这一点上，《具有舆论属性或者社会动员能力的互联网信息服务安全评估规定》具有重要的指导意义和实际操作价值。”

刘硕还认为，防止滥用“深度伪造”技术需要“群防群治”。政府主管部门已经给出了明确的指引。除了执行政策法规，他们还可以通过举办比赛等方式鼓励假币识别技术的研发，不断推动成熟的假币识别技术的商业化部署。积极发挥行业组织作用，推动形成行业共识和自律公约。

刘硕表示，从这次采访中可以看出，中国主管部门对于加强新技术风险管理的态度是坚决的；呼吁科技企业在发展新技术、新业务的同时，积极防范风险；此外，也希望大众在追求新奇的同时，不断提高自己的隐私和安全保护意识。

监制:杜南新商业法治研究中心

南都记者伍嘉陵实习生曾悦采写