CCF-CV与合合信息联手打造技术分享论坛，深入探讨大语言模型时代的智能向善、人工智能安全治理及图像篡改检测等视觉安全前沿热点

2024年度十大流行语发布：“智能向善”引领AI治理新方向

近日，《咬文嚼字》杂志公布了2024年度十大流行语，“智能向善”榜上有名。在过去的一年中，深度伪造和AI诈骗等事件频繁成为热点话题，引发了公众对AI技术“野蛮生长”的担忧。为了应对这些挑战，全国网络安全标准化技术委员会于今年9月发布了《人工智能安全治理框架》，强调了AI技术面临的内外部风险，包括技术缺陷、不当使用和恶意利用。

《打造大模型时代的可信AI》论坛成功举办

为探讨AI安全治理的有效路径，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛成功召开。此次论坛邀请了来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构的多位专家，从立法、监管、前沿研究和技术实践等多个角度分享了AI安全领域的最新进展，旨在推动AI技术的健康发展。

AI安全治理框架：技术手段与规范管理并重

随着ChatGPT等AI大语言模型的迅速崛起，数据安全、知识产权、算法偏见等问题日益凸显。上海交通大学人工智能研究院教授金耀辉在论坛上提出，应通过“训练对齐、提示引导和文本过滤”等技术手段，将抽象的安全概念具体化，融入技术研发流程中。此外，中国电子标准院网安中心测评实验室副主任何延哲强调了规范标准的重要性，提出了涵盖算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全和科技伦理安全的综合评估框架。

技术实践：防范深度伪造风险

Open AI近期推出的AI视频生成模型Sora引发了合成图像伪造的风险。中国科学技术大学教授谢洪涛从主动防御和被动检测两个方面介绍了防范深度伪造的具体措施，如采用双重水印技术和图像级不一致检测技术。合合信息图像算法研发总监郭丰俊则分享了公司在图像篡改检测方面的最新成果，其基于数据驱动的神经网络模型在多次国际竞赛中获奖，能够有效检测多种篡改形式。

深度合成技术与鉴伪方法

中国科学院自动化研究所研究员赫然博士在论坛上详细解析了深度合成技术，包括虚拟身份、身份重演和人脸驱动等类型。他指出，深度合成技术的研究为鉴伪提供了重要线索，如模型指纹线索、图像拼接线索和时序闪烁线索等。赫然博士还提出了基于空频域信息和提示学习结合的伪造鉴别方法，以及基于transformer的视频鉴别方法。

未来展望：AI安全治理任重道远

生成式人工智能技术的发展日新月异，技术革新与安全治理相辅相成。面对AI的潜在风险，加强行业自律、从源头做好安全措施是确保AI健康发展的关键。本次论坛的成功举办，标志着产学研联合探索AI安全治理迈出了坚实的一步。未来，合合信息将继续致力于AI视觉安全领域的研究，推动行业的合作与交流。

本文来源：