标签：可解释性

人工智能的卓越发展与洞察 人工智能的快速发展得益于对技术和产业本质的深刻洞察。机器之心推出全新视频栏目“智者访谈”，邀请领域内的专家，解析AI核心技术与行业趋势，为从业者提供深入的认知，激发创新思考。本期节目邀请了北京大学智能学院教授王立威，探讨机器学习理论对AI未来发展的深远影响。 市场对AI泡沫破裂的担忧 近期美股科技巨头市值大幅缩水，引发了市场对AI泡沫破裂的担忧，特别是在大模型领域。尽管当前AI成果令人惊叹，但其过程中的诸多问题仍需解决。大语言模型（LLM）的通用能力是一个意外收获，Transf...

Anthropic公司宣布了一项重大突破，成功揭示了人工智能模型内部的工作机制，特别是在大型语言模型Claude Sonnet中理解数百万个概念的方式。这一成就标志着对现代生产级AI模型的可解释性有了首次深入洞察，有助于提升模型的安全性。研究团队使用了“字典学习”方法，将神经元激活模式转化为可解释的特征，使得模型的内部状态变得更加清晰。 以往，AI模型被视为黑匣子，其决策过程难以理解，这引发了对其安全性、可靠性的质疑。 Anthropic通过分析发现，模型能够理解和运用多种概念，但单个神经元并不单独代表特定概念，而是多...

纽约大学的研究揭示了一种AI的新能力，即AI能够在不依赖人类步骤的情况下，通过隐藏的“心算”过程解决复杂任务。研究团队发现，即使将AI的推理步骤替换为无意义的“……”符号，AI在某些任务中的表现仍然能够显著提高。这一发现挑战了以往认为AI需要模仿人类分解任务的观念，并引发了关于AI推理机制的讨论。 研究人员通过设计3SUM和2SUM-Transform两个任务来测试这一理论，发现填充“……”的AI模型在长序列任务中保持高准确率，即使没有看到人类的解题步骤。此外，实验还显示，填充token的隐藏层表示包含与下游任务相关的隐性计算，...

港科大（广州）的研究团队推出了一款名为LightGPT的大模型，专门用于交通信号控制（TSC），能分析路口交通状况并优化信号灯配置。该模型基于LLMLight框架，该框架利用大模型的泛化能力，提供实时交通状况和先验知识提示，实现透明化的信号灯控制决策。实验证明，LLMLight在多个数据集上表现出优秀的性能和泛化性，优于GPT-4。框架和模型已开源。LLMLight解决了传统方法依赖人力和黑盒决策的问题，通过模仿学习微调和策略优化，使模型能理解和适应实时交通动态。未来研究将探索多模态信息和群体协同的应用。