国产加速框架TACO-LLM：如何实现推理效率超200%的提升与高性能优化，同时达到降本增效和易用性对齐vLLM？

自从2022年10月ChatGPT问世以来，大语言模型（Large Language Model，简称LLM）引发了全球科技企业的关注。这些模型不仅数量增多，参数规模也在不断扩大，导致计算需求急剧上升。例如，大语言模型通常包含百亿至万亿个参数，训练时需处理数万亿个Token，这对显卡等算力提出了极高要求，同时也带来了巨大的能源消耗。据斯坦福人工智能研究所的《2023年AI指数报告》显示，GPT-3一次训练耗电1287兆瓦时，排放552吨二氧化碳。预计到2025年，AI相关业务在全球数据中心用电量中的占比将从2%增至10%，到2030年，智能计算年耗电量将达到5000亿千瓦时，占全球发电总量的5%。

在实际应用中，大模型的定制化和运营成本成为新的核心矛盾。以Llama 3.1 405B为例，需要450GB显存；0.6B pixart在A800上生成4096px的图片需要3分钟。因此，如何在更多业务上应用大模型，降低成本，提高效率，成为行业普遍面临的问题。

推理引擎方案

在大语言模型与用户的交互过程中，推理框架是核心引擎，负责接收用户的请求并处理回应。当前业界正在探索如何高效利用计算资源，处理更多推理请求，优化现有架构，并推出新的异构算力解决方案。以下是几种常见的推理引擎方案：

– vLLM：伯克利大学开源的高速推理框架，采用PagedAttention高效管理内存，支持连续批处理和快速模型执行。
– Text Generation Inference (TGI)：Hugging Face推出的工具，支持Hugging Face Inference API和Hugging Chat上的LLM推理。
– TensorRT-LLM：NVIDIA推出的基于TensorRT推理引擎的工具，支持多种优化技术，如kernel融合、矩阵乘优化等。
– DeepSpeed：微软开发的分布式训练工具，支持大规模模型训练和推理，提供多种并行策略。
– LightLLM：基于Python的LLM推理和服务框架，以轻量级设计和高速性能著称。

尽管这些框架各有特点，但在成本控制方面仍有不足。为此，腾讯推出了TACO-LLM，为定制化、自建、上云、私有化提供完整部署方案和极致性价比。

TACO-LLM的优化方案

TACO-LLM（TencentCloud Accelerated Computing Optimization LLM）基于腾讯云异构计算产品推出的大语言模型推理加速引擎，通过充分利用计算资源的并行计算能力，提高语言模型的推理效能。其优化方案主要包括：

– Generation优化：采用并行解码技术，突破Transformer-Decoder架构下的限制，降低每条请求的延时。
– Prefill优化：使用Prefix Cache技术，结合GPU & CPU多级缓存，减少计算量，降低TTFT。
– 长序列优化：采用TurboAttention系列算子，提高长序列推理性能。
– 高性能量化算子：通过LLM量化技术，减少GPU内存占用，提升推理速度。

实际效果与应用案例

TACO-LLM在性能和成本方面具有明显优势。以Llama 3.1 70B模型为例，在使用4张Ampere实例的测试场景中，TACO-LLM的吞吐性能提升了1.8～2.5倍，运营成本降低了44～64%，且支持无缝切换。此外，TACO-LLM在多个实际场景中也表现出色，如微信某文本处理业务、某头部视频平台业务和顺丰某业务中，均实现了显著的性能提升和成本降低。

TACO-LLM不仅满足了高吞吐和低时延的需求，还帮助企业大幅降低成本，为大语言模型的应用提供了高效、经济的解决方案。未来，TACO-LLM有望在更多领域得到广泛应用，推动行业的发展和创新。

本文来源：