Model Serving

大模型推理服务冷启动加速:从首实例到批量扩容

围绕大模型推理服务的冷启动过程,分析首实例的模型预热、缓存与并发加载,以及批量扩容时的 P2P 模型文件分发和 GPU 权重直传。
2026-10-18
11 min read