华为推出新SOTA方法，精准预测电信用户行为建模——基于GTS-LUM框架的多模异构数据与多尺度时序处理技术

专门应对电信行业用户行为建模的复杂挑战，华为 GTS 部门 AI 算法团队推出了一款名为 GTS-LUM 的创新解决方案，能够实现移动通信用户的精准行为洞察与多跳预测。在实验中，GTS-LUM 的表现显著优于 Meta 的 HSTU 和字节跳动的 HLLM。

GTS-LUM 的全称是 Global Technical Service-Large User Model，其核心优势体现在以下几个方面：基于海量用户行为序列数据的自监督学习、采用多模异构 Encoder-Adapter-LLM Decoder 架构、通过 Q-former 实现语义空间和业务空间的知识对齐、创新性地引入多尺度时序处理机制、针对多用户运营场景进行后训练，并精准捕捉用户业务级浅层语义。

实验结果显示，在所有评估指标上，GTS-LUM 均显著优于基线模型，成为该领域的最新 SOTA（State of the Art）。以下是更多技术细节解析。

GTS-LUM 方法解析

随着电信市场渗透率逐渐接近饱和，挖掘存量用户价值与提升用户留存率已成为运营商的核心战略目标。电信用户在网行为产生的海量数据（日均 PB 级）为数据分析提供了新的可能性。然而，传统机器学习方法受限于模型规模，预测精度存在明显瓶颈。

与成熟的互联网推荐场景不同，电信行业的用户行为建模具有以下特殊性：

1. 长周期决策机制
电信服务作为社会基础设施，具备强连续型需求。用户的决策行为（如套餐变更或携号转网）通常受长期服务体验驱动（如网络稳定性、资费合理性等），而非短期兴趣驱动。这种特性使得传统的基于近期行为的采样策略难以有效应用。

2. 多模异构数据特点
电信用户的行为数据呈现多样性，包括用户-用户、用户-产品、用户-位置、用户-渠道以及用户-网元交互等信息。时间粒度涵盖秒级（实时信令）、日级（业务办理）和月级（账单）等多个维度。同时，目标任务也表现出高度异质性，例如用户流失预警、套餐升级预测和营销响应建模等。

这些复杂特性导致现有技术面临以下主要瓶颈：
– 跨时间尺度建模能力不足；
– 多模异构数据表征能力有限；
– 各运营任务之间的目标分离严重，缺乏统一模型架构。

为解决这些问题，华为 GTS 部门 AI 算法团队提出了 GTS-LUM 技术方案。

GTS-LUM 技术架构

GTS-LUM 的核心技术架构包括以下几个关键模块：

1. 多尺度时序处理机制
GTS-LUM 通过多层级时间划分融合语义策略优化用户行为序列建模。具体而言，基础层级将每日划分为若干典型时间区间（如早高峰、午间时段等），并在周期层级叠加工作日/周末的周级维度特征。通过这种方式，形成对用户行为发生事件的复合语义描述。随后，按照指定时间切片范围对用户行为进行处理汇聚，并在序列末端添加特殊分隔符 [SEP] 作为边界标识。这种设计增强了模型的时间感知能力。

2. 多模异构框架
GTS-LUM 构建了多模态协同的用户行为嵌入框架，精准捕捉用户业务级浅层语义。在语义特征维度，通过预训练语言模型生成文本向量嵌入，并执行谱聚类以提取可解释的行为语义编码。在业务特征维度，采用 Node2Vec 算法处理图数据，以及 TableGPT2 框架处理终端设备和地理位置等属性维表。此外，引入 Q-Former 适配器实现跨模态对齐，通过对比学习任务完成知识迁移。

3. 目标感知建模
GTS-LUM 进一步优化了用户表征学习过程，通过目标感知建模突出与任务场景最相关的历史行为。在注意力计算阶段，目标标签作为先验条件动态调整历史行为的注意力权重分布；在表征生成阶段，利用 Decoder 的自回归架构实现渐进式特征优化。

工业级验证效果

在某省级运营商的真实场景中，使用 Ascend 910B2 NPU 对约 20w 用户数据进行训练和推理。实验结果表明，GTS-LUM 在所有评估指标上均显著优于基线模型。相较于 Meta 的 HSTU 方案，GTS-LUM 平均提升了 107.86%；相较于字节跳动的 HLLM 方案，则提升了 31.38%。这些改进充分证明了融合多模态输入以及开放世界知识与特定业务知识对齐的重要性。

更多详细实验结果，请参阅论文链接：[GitHub 链接](https：//github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf)

本文来源： IT之家【阅读原文】