阿里、百度双双出手，大模型长文本时代终于到来？

在人工智能领域，通用人工智能（AGI）正逐步接近现实，全民进入Long-LLM（长文本大模型）时代。近期，中国初创公司月之暗面宣布其Kimi Chat模型升级，参数量从20万字跃升至200万字，提升了十倍，引发市场竞争加剧。随后，阿里巴巴的通义千问宣布提供免费的1000万字长文本处理能力，百度文心一言也将升级至免费的200万-500万字处理功能。360推出360AI搜索，利用大模型和长文本技术提供精准搜索答案。这些发展表明长文本处理能力成为大模型工具的关键竞争点。

大模型处理长文本的技术挑战在于如何有效地理解和归纳大量信息，而不仅仅是增加参数量。目前，企业通过Transformer预测词前的词元模型训练来提高模型的完整性。长文本处理能力的应用不仅限于专业领域，如金融和医学，还有游戏剧本创作和搜索引擎的智能化。360AI搜索和360AI浏览器的发布展示了大模型在信息提炼和内容理解方面的潜力，预示着AI向AGI时代的迈进。

尽管算力限制了Long-LLM的发展，但通过重复检索、内容分组检索和模型优化等方法可以节省算力。随着硬件供应商如英伟达的持续进步，长文本技术有望成为AI领域的重要趋势。Long-LLM将使AI更加拟人化，提供个性化服务，并在更多场景中发挥作用，推动AGI时代的到来。

本文来源： 雷科技公众号【阅读原文】