标签：互信息缩放定律

长文本处理能力的突破：互信息缩放定律与 L²M 条件 在追求更强大的 AI 系统过程中，大语言模型处理长上下文的能力一直是发展的关键瓶颈。尽管 DeepSeek、GPT-4 和 LLaMA-3 等顶尖模型已能处理数万 token 的文本，但学术界对「模型究竟需要何种能力才能有效理解长文本」这一根本问题仍缺乏理论指导。近日，麻省理工学院的研究团队提出了自然语言中隐藏的互信息缩放定律（Mutual Information Scaling Law），并由此提出了长上下文语言建模的 L²M 条件（Long-context Language Modeling condition），为理解大语言模型的长文本...