SRE 实践心得：从运维到 SRE 的思维转变

# 用 Prometheus 查过去 30 天的实际 P99 延迟
histogram_quantile(0.99,
  sum(rate(http_request_duration_seconds_bucket{job="api-server"}[30d])) by (le)
)

# 查历史成功率
sum(rate(http_requests_total{status!~"5.."}[30d]))
/
sum(rate(http_requests_total[30d]))

# 基于 SLO 的告警（而不是简单阈值）
groups:
  - name: slo-alerts
    rules:
      # 错误率告警（1小时窗口，快速告警）
      - alert: HighErrorRateFast
        expr: |
          (
            sum(rate(http_requests_total{status=~"5..",job="api-server"}[1h]))
            /
            sum(rate(http_requests_total{job="api-server"}[1h]))
          ) > 0.01
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "API 错误率超过 1%（1小时窗口）"
          description: "当前错误率 {{ $value | humanizePercentage }}，SLO 目标 0.1%"

      # 延迟告警
      - alert: HighLatencyP99
        expr: |
          histogram_quantile(0.99,
            sum(rate(http_request_duration_seconds_bucket{job="api-server"}[5m])) by (le)
          ) > 0.5
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "P99 延迟超过 500ms"

# 错误预算消耗速率告警
- alert: ErrorBudgetBurnRate
  expr: |
    (
      # 1小时窗口的消耗速率
      (1 - sum(rate(http_requests_total{status!~"5.."}[1h])) / sum(rate(http_requests_total[1h])))
      /
      0.001  # SLO 是 99.9%，错误预算是 0.1%
    ) > 14.4  # 14.4x 意味着 1小时内消耗了72小时的预算
  for: 2m
  labels:
    severity: critical
  annotations:
    summary: "错误预算消耗速率过高"
    description: "按当前速率，30天错误预算将在 {{ 30 / $value | humanizeDuration }} 内耗尽"

# 简单但有效：让团队每周记录花在 Toil 上的时间
# Toil 时间 / 总工作时间，SRE 建议不超过 50%

# 常见 Toil 类型统计（示例）
# 手动扩容：每次 10-15 分钟，每周 3-5 次
# 日志手动查询：每次 20 分钟，每天 2-3 次
# 证书手动续期：每次 30 分钟，每季度 10+ 次
# 数据库慢查询手动分析：每次 1 小时，每周 1-2 次

# 示例：手动扩容 → HPA 自动扩容
kubectl autoscale deployment api-server \
  --cpu-percent=70 \
  --min=3 \
  --max=50

# 示例：证书手动续期 → cert-manager 自动续期
helm install cert-manager jetstack/cert-manager \
  --namespace cert-manager \
  --create-namespace \
  --set installCRDs=true

# 用 Argo Rollouts 做金丝雀发布
apiVersion: argoproj.io/v1alpha1
kind: Rollout
spec:
  strategy:
    canary:
      steps:
        - setWeight: 5      # 先放 5% 流量
        - pause: {duration: 10m}
        - setWeight: 20
        - pause: {duration: 10m}
        - setWeight: 50
        - pause: {duration: 10m}
        - setWeight: 100
      analysis:
        templates:
          - templateName: success-rate
        startingStep: 2
        args:
          - name: service-name
            value: api-server

# 用 LaunchDarkly 或自己实现简单的功能开关
def process_payment(user_id: str, amount: float):
    if feature_flag.is_enabled("new_payment_flow", user_id):
        return new_payment_processor.process(user_id, amount)
    else:
        return legacy_payment_processor.process(user_id, amount)