Edwardesire
Posts
Light
Dark
Auto
Model Serving
大模型推理服务冷启动加速:从首实例到批量扩容
围绕大模型推理服务的冷启动过程,分析首实例的模型预热、缓存与并发加载,以及批量扩容时的 P2P 模型文件分发和 GPU 权重直传。
2026-10-18
11 min read
Tech
,
AI Infra