https://socake.github.io/categories/%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7/Recent content in 可观测性 on 黄文卓 | DevOps EngineerHugo -- gohugo.iozh-CN17691281867@163.com (Wenzhuo Huang)17691281867@163.com (Wenzhuo Huang)© 2026 Wenzhuo HuangThu, 30 Apr 2026 17:00:00 +0800https://socake.github.io/playbook/multi-cloud-alerting-consolidation/Thu, 30 Apr 2026 17:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/playbook/multi-cloud-alerting-consolidation/做告警最常见的状态不是没告警，而是有两套甚至三套并行运行的告警系统，渠道交叉、规则重叠、silence 写得到处都是。本文给出从混乱状态收敛成统一治理的完整路径，包含可直接 1:1 复制部署的全量 yaml、脚本与配置。https://socake.github.io/posts/prometheus-alert-with-image/Tue, 23 Dec 2025 09:54:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-alert-with-image/收到告警只有一行数字，还要登录 Grafana 才能看趋势图——这是告警体验最大的痛点之一。本文介绍如何将 Grafana Image Renderer 与 Alertmanager Webhook 结合，实现告警消息自动附带趋势图的完整方案。https://socake.github.io/posts/prometheus-process-monitoring/Thu, 18 Dec 2025 11:20:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-process-monitoring/K8s 有完善的 Pod 监控体系，但裸机和 VM 上运行的进程如何监控？本文介绍 process-exporter 的部署与配置实践，覆盖进程组匹配、核心指标、告警规则设计及实际踩坑经验。https://socake.github.io/posts/metric-cardinality-governance/Sun, 28 Sep 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/metric-cardinality-governance/高基数是 Prometheus 生态里最常见的性能杀手。这篇把「为什么发生、怎么发现、怎么治理」讲清楚，并给出一套可推广的组织治理方案。https://socake.github.io/posts/kiali-service-mesh-observability/Tue, 12 Aug 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/kiali-service-mesh-observability/Kiali 不只是画拓扑图的工具，它是服务网格的诊断中心。本文把 Kiali 2.x 在生产中的配置、用法、踩坑都写清楚。https://socake.github.io/posts/ebpf-network-observability-cilium-hubble/Wed, 30 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/ebpf-network-observability-cilium-hubble/Cilium Hubble 是 Kubernetes 下最接近交换机镜像端口的东西。本文讲清楚它的架构、关键配置和生产上如何读 flow 定位网络问题。https://socake.github.io/posts/victoriametrics-prometheus/Mon, 28 Jul 2025 13:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/victoriametrics-prometheus/Prometheus 撑不住了？本文对比 VictoriaMetrics 与 Prometheus 的核心差异，介绍 remote_write 无缝迁移方案，以及 VM 在资源占用、压缩率、查询性能上的实际提升。https://socake.github.io/posts/thanos-multi-cluster/Sat, 26 Jul 2025 11:37:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/thanos-multi-cluster/记录我们将三套 EKS 集群的独立 Prometheus 迁移到 Thanos 统一监控体系的全过程，重点覆盖选型决策、生产配置和踩坑总结。https://socake.github.io/posts/opentelemetry-practice/Sun, 20 Jul 2025 11:41:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/opentelemetry-practice/从为什么选 OpenTelemetry 讲起，给出 DaemonSet + Gateway 的 Collector 部署架构、关键配置和实际踩坑记录。https://socake.github.io/posts/grafana-tempo-distributed-tracing/Wed, 16 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-tempo-distributed-tracing/Tempo 是目前最便宜的分布式追踪后端。本文把架构、接入、TraceQL、tail sampling、成本优化、事故案例都串起来，供团队直接抄作业。https://socake.github.io/posts/observability-three-pillars/Mon, 14 Jul 2025 09:52:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/observability-three-pillars/监控告诉你系统挂了，可观测性告诉你为什么挂。本文从三支柱的核心差异出发，讲透 Prometheus+Loki+Tempo 的联动排障流程，覆盖 OpenTelemetry 采集标准、Exemplar 原理与配置，以及可观测性建设的优先级策略。https://socake.github.io/posts/distributed-tracing-jaeger-tempo/Thu, 10 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/distributed-tracing-jaeger-tempo/系统梳理 Jaeger 与 Tempo 的架构差异与适用场景，结合 OpenTelemetry SDK 插桩、TraceQL 查询、采样策略和 Traces/Metrics/Logs 关联，给出可落地的生产实战方案。https://socake.github.io/posts/pyroscope-continuous-profiling/Wed, 02 Jul 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/pyroscope-continuous-profiling/为什么 metrics/logs/traces 之外还需要 profiling，它解决的是什么问题，Pyroscope 的架构是什么，怎样以 2%~5% overhead 把它铺到整个 K8s 集群。https://socake.github.io/posts/grafana-mimir-long-term-metrics/Wed, 18 Jun 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-mimir-long-term-metrics/从一套 Prometheus HA pair 起步，一路扩到跨三地多活 Mimir，把 series 数从千万推到十亿级。本文把架构、配置、监控、事故按顺序讲清楚。https://socake.github.io/posts/loki-architecture-deep-dive/Thu, 05 Jun 2025 10:00:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/loki-architecture-deep-dive/围绕 Loki 3.x 架构拆解写入、索引、查询三条链路，给出 schema_config、compactor、bloom、TSDB 的可直接复用配置，并复盘两次线上事故带来的调参经验。https://socake.github.io/posts/alertmanager-webhook-api/Tue, 25 Mar 2025 09:52:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/alertmanager-webhook-api/Alertmanager 内置的通知渠道不支持钉钉、飞书等国内工具，Webhook 是扩展告警通知的标准方式。本文用 Python Flask 实现完整的 Webhook 接收器，涵盖消息格式化、降噪去重、Alertmanager API 集成和 K8s 部署。https://socake.github.io/posts/alertmanager-routing-config/Sat, 22 Mar 2025 12:27:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/alertmanager-routing-config/告警太多和告警太少一样有害。Alertmanager 的路由、抑制、分组机制是控制告警噪声的核心手段，本文从一个真实的多环境告警体系出发，讲清楚每个配置的意图和陷阱。https://socake.github.io/posts/grafana-api-automation/Tue, 18 Mar 2025 11:26:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/grafana-api-automation/手动点 UI 管理 Grafana Dashboard 在多环境场景下是噩梦。用 API 把 Dashboard 代码化，实现版本控制和环境同步，才是正确姿势。本文提供完整的 Python 工具脚本和实战踩坑。https://socake.github.io/posts/prometheus-service-discovery/Sat, 15 Mar 2025 09:30:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-service-discovery/在 K8s 环境里手动维护 Prometheus scrape targets 是不现实的，kubernetes_sd_configs 配合 relabel_configs 是解决这个问题的核心机制。本文从原理到实践，把这套体系讲透。https://socake.github.io/posts/efk-logging-practice/Wed, 05 Mar 2025 12:44:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/efk-logging-practice/讲清楚为什么要 Fluent Bit + Fluentd 两层架构，给出可直接参考的完整 ConfigMap 配置和 ES 索引模板设计。https://socake.github.io/posts/prometheus-grafana/Fri, 06 Dec 2024 09:30:00 +080017691281867@163.com (Wenzhuo Huang)https://socake.github.io/posts/prometheus-grafana/可观测性不是装几个监控工具，而是让系统在出问题时能快速定位根因。这篇文章从采集架构到 PromQL 到告警路由，覆盖我们在生产环境中实际遇到的 cardinality 爆炸、告警噪音等问题。