标签：DCFormer

彩云科技推出基于DCFormer架构的通用大模型“云锦天章” 11月13日，AI技术公司彩云科技在“From Paper to App”媒体沟通会上，正式推出了首款基于DCFormer架构开发的通用大模型“云锦天章”。同时，彩云科技旗下的AI RPG平台“彩云小梦”也成为了首款基于DCFormer架构开发的AI产品。彩云科技CEO袁行远在会上与智东西等媒体就AI大模型落地应用难、大模型未来进化之路等行业热点话题进行了深入交流。 袁行远指出，尽管ChatGPT发布已近两年，但其对世界的改变依然有限。他认为，这是因为“智能没有免费的午餐定理”——大模型需要消耗的算...

彩云科技近期发布了一项创新的AI通用模型结构——DCFormer，它通过改进注意力矩阵，使得在相同的训练数据和算力下，计算效率可提高至Transformer的两倍。DCFormer改变了Transformer中的向量矩阵推理路径，允许任意线性组合，提供了更多的组合可能性。据实验，一个69亿参数的DCFormer模型在某些情况下超越了120亿参数的模型。该模型的论文已在arXiv上发布，并将在ICML 2024大会上正式发表，其源代码、权重和训练数据集也已开源。 DCFormer与现有模型如Mamba、RetNet等不同，它可以叠加在Transformer基础上进行改进，无需从头训...