跳过正文

AI

运维工程师的 AI 工具实践

运维工程师的 AI 工具实践

·642 字·4 分钟
从写 Shell 脚本、解读错误信息到辅助故障排查,分享运维工程师真实使用 AI 工具的高效场景、无效场景和 Prompt 技巧,以及各工具的适合场景。
LLM 应用安全:Prompt Injection 防御与 AI Guardrails 实战

LLM 应用安全:Prompt Injection 防御与 AI Guardrails 实战

·1010 字·5 分钟
我们的 AI 客服系统曾被一个用户用一句话绕过所有限制,让它泄露了内部知识库的敏感信息。这篇文章系统梳理 LLM 应用的安全威胁模型,以及我们在生产系统中实施的防御层次。
LLM 生产服务化:vLLM 部署与 GPU 推理优化实战

LLM 生产服务化:vLLM 部署与 GPU 推理优化实战

·865 字·5 分钟
团队把 Ollama 搬上生产后,高峰期请求排队超过 30 秒,用户纷纷反映 AI 功能不可用。这篇文章记录我们迁移到 vLLM 的全过程,包括 PagedAttention、Continuous Batching 原理,以及 Kubernetes GPU 部署的完整配置。