GPU on 黄文卓 | DevOps Engineerhttps://socake.github.io/tags/gpu/Recent content in GPU on 黄文卓 | DevOps EngineerHugo -- gohugo.iozh-CN17691281867@163.com (Wenzhuo Huang)17691281867@163.com (Wenzhuo Huang)© 2026 Wenzhuo HuangMon, 30 Mar 2026 09:08:00 +0800Ollama 在 K8s 上跑大模型：本地 LLM 的运维实践https://socake.github.io/posts/ollama-kubernetes-llm/Mon, 30 Mar 2026 09:08:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/ollama-kubernetes-llm/在 Kubernetes 上部署 Ollama 运行本地大模型，从 GPU 调度到 CPU 推理降级，再到运维场景的实际集成，记录完整的踩坑与实践过程。Volcano 批调度实战：AI 训练集群的 Gang Scheduling、队列与抢占https://socake.github.io/posts/volcano-gpu-batch-scheduling/Wed, 25 Mar 2026 15:30:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/volcano-gpu-batch-scheduling/K8s 默认调度器对 AI 训练极不友好。Volcano 把 HPC 调度理念搬进 K8s：Gang Scheduling、Queue、Fairshare、Preemption、拓扑亲和。这篇讲清楚它在 AI 训练集群的落地。LLM 生产服务化：vLLM 部署与 GPU 推理优化实战https://socake.github.io/posts/llm-production-serving-vllm/Tue, 13 Jan 2026 13:36:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/llm-production-serving-vllm/团队把 Ollama 搬上生产后，高峰期请求排队超过 30 秒，用户纷纷反映 AI 功能不可用。这篇文章记录我们迁移到 vLLM 的全过程，包括 PagedAttention、Continuous Batching 原理，以及 Kubernetes GPU 部署的完整配置。Kubernetes GPU 调度实战：AI 训练与推理基础设施https://socake.github.io/posts/kubernetes-gpu-scheduling/Wed, 05 Nov 2025 14:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/kubernetes-gpu-scheduling/GPU 是 AI 基础设施的核心资源，如何在 Kubernetes 上高效调度和管理 GPU 直接影响训练效率和推理成本。本文从底层驱动安装到上层调度策略，完整覆盖 K8s GPU 基础设施的搭建、监控和优化实践。