K8S Pod Sidecar 应用场景之一-加入 NGINX Sidecar 做反代和 web 服务器-陌上烟雨遥

Kubernetes Pod Sidecar 简介

Sidecar

Sidecar 是一个独立的容器，与 Kubernetes pod 中的应用容器一起运行，是一种辅助性的应用。

Sidecar 的常见辅助性功能有这么几种：

服务网格 (service mesh) 代理
监控 Exporter（如 redis exporter)
ConfigMap 或/和 Secret Reloader（如 Prometheus 的 Config Reloader)
Auth Proxy（如 OAuth Proxy 等）
7 层反向代理和 Web 服务器
日志整合（审计日志单独发到某个日志渠道。..)
Demo 或 AllInOne 应用（如 nextcloud 或 Jaeger AllInOne 等示例应用）
…

这里选几个场景细说一下，在服务网格的情况下，sidecar 负责从应用程序本身卸载服务网格中所有应用程序所需的功能–SSL/mTLS、流量路由、高可用性等，并实施部署各种高级发布模式，如断路器、金丝雀和蓝绿等。

作为数据平面组件，sidecar 通常由服务网格中的某种类型的控制平面管理。当 sidecar 路由应用流量并提供其他数据平面服务时，控制平面在必要时将 sidecars 注入 pod 并执行管理任务，例如更新 mTLS 证书并在需要时将其推送到适当的 sidecars。

日志整合场景下，Sidecar 被用来将多个应用实例的日志信息汇总并格式化为一个文件。

接下来进入本次的正题：将 NGINX （或 Caddy 等）作为 Sidecar 使用，主要用做反代和 web 服务器

Web Server Sidecar

场景假设

假设有这么一个场景：

我在使用原生的 Prometheus AlertManager, 我已经有 Ingress. 我现在想要做 2 件事：

提升 AlertManager UI 的并发能力（增加 buffer, cache; 启用 gzip 等）
AlertManager 的某个 js（假设是 script.js), 我做了一点修改，但不希望侵入式地修改原生 AlertManager 二进制文件，而是把修改后 js 放到 nginx 的 www 目录，让 nginx 来用不同的 location 进行处理。

这种场景下，显然 Ingress 是无法同时满足的。这时候就可以在 AlertManager Pod 里加个 NGINX 的 sidecar 来实现。

具体如下

NGINX Sidecar 典型使用步骤

创建 NGINX Conf 的 configmap; （监听 8080, 反向代理到后端的 9093)
创建 alertmanager script.js 的 configmap;
修改原 AlertManager 的 StatefulSets, 增加：
1. NGINX Sidecar
2. 3 个 volumes: 其中 2 个就是用于挂载上面的 ConfigMap, 另外一个 EmptyDir 用于挂载 nginx cache
修改 AlertManager Service 的端口，从 9093 改为 8080, name 从http 改为 nginx-http
（可选）修改其他部分，如 Ingress 等，调整端口。

NGINX Conf 的 ConfigMap

具体如下：

apiVersion: v1 kind: ConfigMap metadata: name: alertmanager-nginx-proxy-config labels: app.kubernetes.io/name: alertmanager data: nginx.conf: |- worker_processes auto; error_log /dev/stdout warn; pid /var/cache/nginx/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; log_format main '[$time_local - $status] $remote_addr - $remote_user $request ($http_referer)'; proxy_connect_timeout 10; proxy_read_timeout 180; proxy_send_timeout 5; proxy_buffering off; proxy_cache_path /var/cache/nginx/cache levels=1:2 keys_zone=my_zone:100m inactive=1d max_size=10g; server { listen 8080; access_log off; gzip on; gzip_min_length 1k; gzip_comp_level 2; gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript image/jpeg image/gif image/png; gzip_vary on; gzip_disable "MSIE [1-6]\."; proxy_set_header Host $host; location = /script.js { root /usr/share/nginx/html; expires 90d; } location / { proxy_cache my_zone; proxy_cache_valid 200 302 1d; proxy_cache_valid 301 30d; proxy_cache_valid any 5m; proxy_cache_bypass $http_cache_control; add_header X-Proxy-Cache $upstream_cache_status; add_header Cache-Control "public"; proxy_pass http://localhost:9093/; if ($request_filename ~ .*\.(?:js|css|jpg|jpeg|gif|png|ico|cur|gz|svg|svgz|mp4|ogg|ogv|webm)$) { expires 90d; } } } }

AlertManager script.js ConfigMap

详细内容略。

先通过浏览器将script.js 下载下来。然后按需修改：

apiVersion: v1 kind: ConfigMap metadata: name: alertmanager-script-js labels: app.kubernetes.io/name: alertmanager data: script.js: >- ...

修改 StatefulSets

修改的部分内容如下：

apiVersion: apps/v1 kind: StatefulSet metadata: name: monitor-alertmanager spec: template: spec: volumes: # 增加 3 个 volumes - name: nginx-home emptyDir: {} - name: html configMap: name: alertmanager-script-js items: - key: script.js mode: 438 path: script.js - name: alertmanager-nginx configMap: name: alertmanager-nginx-proxy-config items: - key: nginx.conf mode: 438 path: nginx.conf containers: # 增加 NGINX sidecar - name: alertmanager-proxy args: - nginx - -g - daemon off; - -c - /nginx/nginx.conf image: "nginx:stable" ports: - containerPort: 8080 name: nginx-http protocol: TCP volumeMounts: - mountPath: /nginx name: alertmanager-nginx - mountPath: /var/cache/nginx name: nginx-home - mountPath: /usr/share/nginx/html name: html securityContext: runAsUser: 101 runAsGroup: 101

修改 Service 端口

如下：

apiVersion: v1 kind: Service metadata: name: monitor-alertmanager labels: app.kubernetes.io/name: alertmanager spec: ports: - name: nginx-http protocol: TCP # 修改以下 2 项 port: 8080 targetPort: nginx-http