↓ 跳过正文

Ollama

Ollama 在 K8s 上跑大模型：本地 LLM 的运维实践

Ollama 在 K8s 上跑大模型：本地 LLM 的运维实践

2026-03-30·786 字·4 分钟

在 Kubernetes 上部署 Ollama 运行本地大模型，从 GPU 调度到 CPU 推理降级，再到运维场景的实际集成，记录完整的踩坑与实践过程。