Avatar

About

Dev
Born and raised in Changsha; Engineer👨‍💻 / Gamer🎮 / ex-IBMer/ Still at ☁️

Recent Posts

大模型推理服务冷启动加速:从首实例到批量扩容

围绕大模型推理服务的冷启动过程,分析首实例的模型预热、缓存与并发加载,以及批量扩容时的 P2P 模型文件分发和 GPU 权重直传。
2026-10-18
11 min read

KubeCon China 2026技术观察:AI系统的资源调度与复用

结合KubeCon China 2026的四场技术分享,总结HAMi、Dynamic MIG、OpenKruise Agents与llm-d FMA如何围绕空间切分、生命周期与状态管理提高AI系统的资源复用率。
2026-09-22
19 min read

从空闲GPU到有效算力:大规模AI集群调度的演进

结合Alibaba超大规模AI集群研究和快手TIDAL实践,讨论GPU调度如何从分配空闲资源,演进为同时治理空间碎片、潮汐变化、网络拓扑和业务执行粒度的有效算力调度。
2026-07-31
14 min read