数字人乱象引发的监管挑战
近日,一则关于国家传染病医学中心主任张文宏医生“带货”的消息冲上社交平台热搜。然而,这个“张文宏”并不是真正的张文宏,而是通过AI换脸技术假冒的。这一事件不仅引发了公众的关注,也揭示了数字人技术在应用中的诸多问题。
在这场深夜直播中,“张文宏”推销的“白芸豆威化蛋白棒”产品销量过千,但事实证明这是一场骗局。被合成人像的样貌、声音都与张文宏本人极为相似,尽管存在口型不符等细节瑕疵,仍令不少老年人信以为真、上当下单。张文宏医生不堪其扰,向媒体透露自己多次投诉无效:“这些假的合成信息就像蝗灾一样,一次又一次发生……从平台投诉结果来看,我觉得最终也难以解决问题。”
AI冒充名人并非个例。仅在最近三个月内,就有网友用“雷军AI语音包”做出以假乱真的雷军爆粗口视频,还有一位65岁江西老太太差点被“AI靳东”骗走200万元,凸显了AI数字人的潜在隐患。
四大数字人乱象:虚假宣传、谣言泛滥、直播引流、诈骗传销
短视频平台上,大量低质量数字人充斥其中,由AI生成的虚假军人、虚假成功人士、虚假女性正以亲昵的口吻与观众对话,诱骗大量不知情的中老年用户进行互动,甚至将他们带至私域进行诈骗。部分数字人厂商、代理商以“躺着赚钱”、“一部手机就能干”等夸张话术吸引商家购买数字人系统,却在实际交付过程中提供了货不对板的产品,伪造与抖音等平台的合作关系,最终导致商家账户被封号、罚款,数字人买卖双方对簿公堂。
平台严打数字人乱象,相关诉讼量已近50起
面对泛滥的低质量数字人,国内主流视频平台纷纷进行了规范和限制。腾讯视频号最为严格,在今年修订的《视频号橱窗达人“发布低质量”实施细则》中明确界定使用AI数字人进行直播的行为为违规。抖音和快手也陆续进行了多次大规模整治,封禁了一大批相关账号。
头部创企盈利困难,平台政策逐渐收紧
“数字人”概念兴起于元宇宙热潮,中国数字人产业2023年核心市场整体规模为205.2亿元,预计到2025年会达到480.6亿元。然而,数字人产业的规模不及预期,北京市提出的目标是2025年“北京市数字人产业规模突破500亿元”,但目前北京市以数字人为核心业务的企业217家,总营收规模约51亿元,低于预期。
结语:数字人野蛮生长,监管亟需跟进
目前,全国范围内尚未有数字人相关的通用规范性文件。今年9月,浙江省出台了《浙江省网络直播营销行为规范指引》,对AI深度伪造、数字人使用做出相关规定,这也是全国首份此类文件。在AI技术不断发展的当下,数字人技术的运用或许亟待监管部门的统一规范。
本文来源: 智东西【阅读原文】