https://socake.github.io/tags/%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7/Recent content in 可观测性 on 黄文卓 | DevOps EngineerHugo -- gohugo.iozh-CN17691281867@163.com (Wenzhuo Huang)17691281867@163.com (Wenzhuo Huang)© 2026 Wenzhuo HuangSun, 12 Apr 2026 10:00:00 +0800https://socake.github.io/posts/bpftrace-performance-debug/Sun, 12 Apr 2026 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/bpftrace-performance-debug/strace 太重、perf 太原始、BCC 工具集要装一堆依赖——bpftrace 是这三者之间的平衡点。本文用四个真实场景讲清楚 bpftrace 的工作方式，帮你把它变成日常排查工具。https://socake.github.io/posts/langfuse-llm-observability/Sat, 14 Feb 2026 11:44:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/langfuse-llm-observability/讲清楚为什么LLM应用必须要可观测性，以及如何用Langfuse从链路追踪、Prompt版本管理、评估实验到成本分析做到全覆盖，包含Docker自托管部署和Python SDK完整集成示例。https://socake.github.io/posts/prometheus-alert-with-image/Tue, 23 Dec 2025 09:54:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-alert-with-image/收到告警只有一行数字，还要登录 Grafana 才能看趋势图——这是告警体验最大的痛点之一。本文介绍如何将 Grafana Image Renderer 与 Alertmanager Webhook 结合，实现告警消息自动附带趋势图的完整方案。https://socake.github.io/posts/prometheus-process-monitoring/Thu, 18 Dec 2025 11:20:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-process-monitoring/K8s 有完善的 Pod 监控体系，但裸机和 VM 上运行的进程如何监控？本文介绍 process-exporter 的部署与配置实践，覆盖进程组匹配、核心指标、告警规则设计及实际踩坑经验。https://socake.github.io/docs/kubernetes/%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E5%BB%BA%E8%AE%BE/Mon, 08 Dec 2025 15:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/docs/kubernetes/%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E5%BB%BA%E8%AE%BE/记录在多套 K8s 集群上建立统一可观测性平台的实践经验，包含 Prometheus 采集配置、告警规则设计、Grafana Dashboard 组织方式，以及跨集群日志聚合的 Loki 部署方案。https://socake.github.io/posts/%E5%91%8A%E8%AD%A6%E4%BD%93%E7%B3%BB%E8%AE%BE%E8%AE%A1/Tue, 18 Nov 2025 13:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/%E5%91%8A%E8%AD%A6%E4%BD%93%E7%B3%BB%E8%AE%BE%E8%AE%A1/从真实的告警噪音泛滥经历出发，分享如何用 SLI/SLO 重新设计告警体系，包括告警分级、规则设计原则、路由策略和复盘机制。https://socake.github.io/posts/metric-cardinality-governance/Sun, 28 Sep 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/metric-cardinality-governance/高基数是 Prometheus 生态里最常见的性能杀手。这篇把「为什么发生、怎么发现、怎么治理」讲清楚，并给出一套可推广的组织治理方案。https://socake.github.io/posts/ebpf-observability/Wed, 17 Sep 2025 12:36:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/ebpf-observability/eBPF 正在重塑云原生可观测性的底层基础。本文记录在 K8s 集群中落地 Cilium + Hubble 网络监控和 Tetragon 安全审计的实践经验。https://socake.github.io/posts/kiali-service-mesh-observability/Tue, 12 Aug 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/kiali-service-mesh-observability/Kiali 不只是画拓扑图的工具，它是服务网格的诊断中心。本文把 Kiali 2.x 在生产中的配置、用法、踩坑都写清楚。https://socake.github.io/posts/slo-sli-error-budget-practice/Fri, 01 Aug 2025 13:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/slo-sli-error-budget-practice/从 SLI 指标选取到 Error Budget 消耗速率告警，系统讲解 SRE 可靠性工程体系的落地实践，包括 Prometheus recording rules 计算 SLI、多窗口 burn rate 告警规则配置、SLO 违规复盘流程，以及与开发团队的协作策略。https://socake.github.io/posts/ebpf-network-observability-cilium-hubble/Wed, 30 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/ebpf-network-observability-cilium-hubble/Cilium Hubble 是 Kubernetes 下最接近交换机镜像端口的东西。本文讲清楚它的架构、关键配置和生产上如何读 flow 定位网络问题。https://socake.github.io/posts/victoriametrics-prometheus/Mon, 28 Jul 2025 13:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/victoriametrics-prometheus/Prometheus 撑不住了？本文对比 VictoriaMetrics 与 Prometheus 的核心差异，介绍 remote_write 无缝迁移方案，以及 VM 在资源占用、压缩率、查询性能上的实际提升。https://socake.github.io/posts/thanos-multi-cluster/Sat, 26 Jul 2025 11:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/thanos-multi-cluster/记录我们将三套 EKS 集群的独立 Prometheus 迁移到 Thanos 统一监控体系的全过程，重点覆盖选型决策、生产配置和踩坑总结。https://socake.github.io/posts/opentelemetry-practice/Sun, 20 Jul 2025 11:41:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/opentelemetry-practice/从为什么选 OpenTelemetry 讲起，给出 DaemonSet + Gateway 的 Collector 部署架构、关键配置和实际踩坑记录。https://socake.github.io/posts/grafana-tempo-distributed-tracing/Wed, 16 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-tempo-distributed-tracing/Tempo 是目前最便宜的分布式追踪后端。本文把架构、接入、TraceQL、tail sampling、成本优化、事故案例都串起来，供团队直接抄作业。https://socake.github.io/posts/observability-three-pillars/Mon, 14 Jul 2025 09:52:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/observability-three-pillars/监控告诉你系统挂了，可观测性告诉你为什么挂。本文从三支柱的核心差异出发，讲透 Prometheus+Loki+Tempo 的联动排障流程，覆盖 OpenTelemetry 采集标准、Exemplar 原理与配置，以及可观测性建设的优先级策略。https://socake.github.io/posts/distributed-tracing-jaeger-tempo/Thu, 10 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/distributed-tracing-jaeger-tempo/系统梳理 Jaeger 与 Tempo 的架构差异与适用场景，结合 OpenTelemetry SDK 插桩、TraceQL 查询、采样策略和 Traces/Metrics/Logs 关联，给出可落地的生产实战方案。https://socake.github.io/posts/pyroscope-continuous-profiling/Wed, 02 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/pyroscope-continuous-profiling/为什么 metrics/logs/traces 之外还需要 profiling，它解决的是什么问题，Pyroscope 的架构是什么，怎样以 2%~5% overhead 把它铺到整个 K8s 集群。https://socake.github.io/posts/grafana-mimir-long-term-metrics/Wed, 18 Jun 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-mimir-long-term-metrics/从一套 Prometheus HA pair 起步，一路扩到跨三地多活 Mimir，把 series 数从千万推到十亿级。本文把架构、配置、监控、事故按顺序讲清楚。https://socake.github.io/posts/loki-architecture-deep-dive/Thu, 05 Jun 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/loki-architecture-deep-dive/围绕 Loki 3.x 架构拆解写入、索引、查询三条链路，给出 schema_config、compactor、bloom、TSDB 的可直接复用配置，并复盘两次线上事故带来的调参经验。https://socake.github.io/posts/kafka-ops-practice/Mon, 07 Apr 2025 11:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/kafka-ops-practice/系统梳理 Kafka 运维核心技能：消费者延迟监控告警、消息堆积根因分析、分区扩容规划、Rebalance 风暴处理，以及 KEDA 基于 lag 自动扩缩的配置实践。https://socake.github.io/posts/grafana-api-automation/Tue, 18 Mar 2025 11:26:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-api-automation/手动点 UI 管理 Grafana Dashboard 在多环境场景下是噩梦。用 API 把 Dashboard 代码化，实现版本控制和环境同步，才是正确姿势。本文提供完整的 Python 工具脚本和实战踩坑。https://socake.github.io/posts/prometheus-service-discovery/Sat, 15 Mar 2025 09:30:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-service-discovery/在 K8s 环境里手动维护 Prometheus scrape targets 是不现实的，kubernetes_sd_configs 配合 relabel_configs 是解决这个问题的核心机制。本文从原理到实践，把这套体系讲透。https://socake.github.io/posts/k8s-logging-solution/Tue, 25 Feb 2025 11:01:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/k8s-logging-solution/记录我们团队从无到有建立 Kubernetes 日志采集系统的完整历程，最终选择 Fluent Bit + Fluentd + Elasticsearch 方案的技术依据，以及生产环境踩过的那些坑。https://socake.github.io/posts/prometheus-grafana/Fri, 06 Dec 2024 09:30:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-grafana/可观测性不是装几个监控工具，而是让系统在出问题时能快速定位根因。这篇文章从采集架构到 PromQL 到告警路由，覆盖我们在生产环境中实际遇到的 cardinality 爆炸、告警噪音等问题。