港大发布OpenCity：利用Transformer与图神经网络实现智慧城市的交通预测与零样本预测的新突破

精确的交通预测与城市规划

精确的交通预测对于实现高效的城市规划和交通管理至关重要，有助于优化资源分配并改善出行体验。然而，现有的预测模型在面对未知区域和城市的零样本预测任务，以及长期预测时，表现并不理想。这些问题主要源于交通数据在空间和时间上的异质性以及显著的分布变化。为了解决这些挑战，我们开发了一个多功能、强鲁棒性和高适应性的时空基础模型——OpenCity。

OpenCity的设计与特点

OpenCity结合了Transformer和图神经网络，以捕捉和规范来自不同数据源的潜在时空模式，从而增强在不同城市环境中的零样本泛化能力。通过在大规模、多样化的交通数据集上进行预训练，OpenCity能够学习到丰富且具有泛化能力的特征表示，适用于多种交通预测场景。实验结果表明，OpenCity在零样本预测方面表现出色，并且具有良好的可扩展性，有望成为一种能够适应所有交通预测需求的解决方案。

现有挑战

当前交通预测模型面临的挑战主要包括空间泛化能力不足、时间泛化与长期预测困难以及通用表征学习的问题。OpenCity通过融合多种技术手段，有效解决了这些挑战，特别是在零样本预测和快速适应方面表现突出。此外，OpenCity展示了强大的扩展潜力，能够在几乎不需要额外训练的情况下适应新的未知场景。

方法与框架

OpenCity的整体框架包括用于分布偏移泛化的时空嵌入、时空上下文编码以及时空依赖建模等部分。其中，TimeShift Transformer架构专门用于编码时间依赖性，能够捕捉周期性和动态交通趋势。通过综合考虑时间和空间的上下文信息，OpenCity能够更深入地理解影响交通模式的各种因素，从而提供更精确的预测。

实验结果

实验结果表明，OpenCity在零样本学习领域实现了显著进展，无需额外微调即可超越多数基线模型。在多个数据集上，OpenCity能够保持在前两名，显示出卓越的跨任务泛化能力和长期预测表现。此外，消融实验验证了各个组件的重要性，进一步证明了OpenCity在不同场景下的有效性。

总结与展望

本文提出了一种名为OpenCity的可扩展时空基础模型，旨在解决交通预测中的多种挑战。通过引入Transformer编码器架构和大规模交通数据集上的预训练，OpenCity在各种下游任务中表现出色，特别是在零样本预测方面。未来的研究将进一步优化OpenCity的性能，并探索其在更多城市环境中的应用潜力。

本文来源：