本篇内容主要来自内部的一次分享，也是最近工作的一些总结。 1. 常见的故障处理流程 如上图是一次典型的运维异常处理流程。 按照时间线，有如下关键时间点: 发生故障 发现故障 响应故障 定位故障 恢复故障 发生故障到发现故障，指的是被系统检测到，主要涉及到指标的采

1. 现象 业务反馈应用 app-a 的接口慢，查看日志发现是某一个 Pod 慢，删除该 Pod 让其更换节点就好。 从监控指标可以看到，Pod 的 CPU 使用率确实有剧增。 但该 Pod 没有达到 Limit 的限制，没有被限流 CPU。 接着看节点的 CPU 监控，发现节点的 CPU 使用率也有剧增。 并且增加的部分是 System C

1. 自动签发 Ingress 证书 安装 cert-manager 1 2 3 4 5 6 7 8 9 10 kubectl apply -f https://raw.githubusercontent.com/jetstack/cert-manager/release-0.10/deploy/manifests/00-crds.yaml kubectl create namespace cert-manager kubectl label namespace cert-manager certmanager.k8s.io/disable-validation=true helm repo add jetstack https://charts.jetstack.io helm repo update helm install \ --name cert-manager \ --namespace cert-manager \ --version v0.10.0 \ jetstack/cert-manager 创建一个全局的签发机构 新建文件 issuer.yaml 1 2 3 4 5 6 7 8 9 10 11 12 apiVersion: certmanager.k8s.io/v1alpha1 kind: ClusterIssuer metadata: name: letsencrypt-prod namespace: cert-manager spec: acme: server: https://acme-v02.api.letsencrypt.org/directory email: [email protected] privateKeySecretRef: name: letsencrypt-prod http01: {} 创建签发机构 1 kubectl apply -f issuer.yaml 签发证书 新建

1. 一个小需求 经常遇到一些小的需求，但是实现起来并不简单。这里就有一个文件上传的简单需求，分为下面几个步骤： 用户在页面上传一个大文件 大文件会被暂存在内网的 Ceph 后台任务，将 Ceph 中的大文件，下载到 Docker 内 后台任务，将 Docker 中的大文件，上传到外网的 COS 后台使用的