ChatGLM 智谱清言

智谱清言

源自清华大学技术成果转化的智谱AI团队推出了名为ChatGLM的双语对话机器人，其核心模型ChatGLM-130B是一个拥有高达1300亿参数的开源对话语言模型，专长于中英双语的流畅对话交流及内容创作。

ChatGLM-130B的发展历程令人瞩目，它基于GLM1架构设计，能够在单台高端GPU服务器上实现大规模参数模型的推理。截至2022年7月3日，该模型完成了共计4000亿个中英文文本标识符的训练.

具有以下几项突出特点：

1. 双语能力：完美兼容中文和英文两种语言，无缝切换。
2. 高精度表现：在LAMBADA和MMLU等评测中超越同类竞品，英文场景下较GPT-3等模型表现更优，中文场景则在多个零样本CLUE和FewCLUE数据集上大幅领先ERNIE TITAN 3.0 260B。
3. 快速推理机制：利用SAT和FasterTransformer技术，在A100服务器上实现最高2.5倍的推理加速。
4. 高度可复现：所有的实验结果均可通过开源代码和模型参数得到验证。
5. 跨平台支持：不仅限于NVIDIA GPU，还可在Hygon DCU、Ascend 910和Sunway处理器上实现训练与推理。

ChatGLM-130B作为一款高性能对话模型，以其卓越的语言理解和生成能力服务于多轮对话场景，并具备出色的信息归纳总结等复合型智能应用潜力。