运维老炮儿私藏的服务器调优 tech 黑科技
|
跟人吵架——老板蹲在工位边上盯后台订单列表,手机举着直播承接页的首屏,说“你这加载条转三圈才出来,用户早去点外卖了”。我手还在敲 sysctl.conf,回他:“你把外卖APP也配个 keepalive_timeout 300 看看它敢不敢卡。”他没接话,扭头问设计:“那个轮播图动效能不能再加0.1秒缓动?”设计抬头看了我一眼,又低头抠 AE 时间轴——那会儿仓库那边传来胶带声,啪嗒、啪嗒、啪嗒,像在给服务器健康检查打节拍。 去年国庆。不是十一当天,是前夜八点——我们那个会员付费页突然开始掉单。不是崩,是阴掉:用户点了“立即开通”,页面静默两秒,跳回登录态;客服发的语音里全是“您刚刚是不是点了开通但没跳转?”;后台订单列表里,支付成功状态永远卡在“pending”那栏,刷十次有七次不刷新。我切进 nginx access_log,第一眼就扫到大量 499;再切 netstat -an | grep :443,TIME_WAIT 堆到 8000+;tcpdump 抓包出来一瞅,SYN 包全在客户端那头被掐断——不是我们的错,是三家 ISP 同时调了路由策略,但客户只认“你们的页打不开”。 运维老炮儿私藏的服务器调优 tech 黑科技?呵。所谓黑科技,就是把内核参数当万金油涂,tuning 变 tuning show,以为改了 fs.file-max 就能扛住峰值,改了 vm.swappiness=1 就算亲手拧紧了性能阀门。其实呢?我记不清具体数字,反正没多少。真扛压的从来不是那几行 sysctl 设置,是你没动过的 /etc/security/limits.conf 里 soft nofile 65536 这一行——上周五客服主管冲进来问我“为什么用户续费失败弹窗报错是‘open too many files’”,我翻了三遍 error_log 才想起来,这台机器去年上线时漏加了 limits,靠 systemd 的 DefaultLimitNOFILE 顶了半年,直到上个月投手狂推“双十一直播承接页”,并发请求翻倍,文件句柄池当场见底。详情页划两下就走、加购了不下单、客服问了一句就没回——全在这一个没写进部署 checklist 的数字里。 桌上放着一沓没整理的单子,最上面是退货单,红笔圈出三单“未支付成功但扣款成功”,财务部昨天下午六点贴在打印机边上的。我拿起来对光看了看,纸背隐约透出前天写的调优清单草稿,写着“尝试启用 BBRv2,观察 retransmit rate”,后面用荧光笔狠狠划掉,旁边补了行小字:“测了,TCP retrans 没降,CDN 回源带宽升了17%——谁配的 Origin-Host 头,搞混了主备域名”。空调吹得纸一直在动,那张单子边角一直往上掀,像在替我翻白眼。 有只飞虫绕着灯转,嗡嗡的,频率和监控面板上 CPU idle 那根绿线抖动节奏一致。它撞玻璃三次,每次都是左上角——刚好对应 Grafana 里 nginx worker process RSS 占用异常飙升的那个时间戳。没人管它。手机一直在震没人接,来电显示是客服主管,语音留言已经三条,第二条结尾说:“有个用户在表单获客页填完手机号,等了四分半没收到验证码……”——我知道,那台负责发短信的微服务 pod 刚被 kube-scheduler 调度到内存超卖72%的节点上了,而它的 readinessProbe 还在检测 /healthz,根本不管 /metrics 中 redis queue length 已飙到 23K。这不是黑科技失效,是没人愿意在 k8s deployment yaml 里多写两行 resources.limits.memory: 1Gi。
文章配图,仅供参考 谁在旁边拆快递。纸箱刀刮着硬纸板,刺啦——声音很脆,让我想起 tcpdump 里看到的那个 FIN-ACK 包重传间隔:第一次等 200ms,第二次 400ms,第三次干脆变成 1.6 秒,最后 client 主动 reset。我们调了三次 nginx proxy_read_timeout,从60调到120调到180,越调,用户在漏斗图上那一格停留时间越长,越长,越没人点下一步。没人去查上游服务的 gRPC keepalive 最小时间戳设的是多少,只记得在 configmap 里把 “timeout: 60” 改成 “timeout: 180”,就像给漏水的桶刷三层漆。所以现在,我改干三件事:第一,每天早九点巡检所有节点的 ulimit -n 输出,截图存 Slack #infra-alert 频道,标题写“今日 file descriptor 比较图”,附一句“别碰它,这是底线”;第二,把每台新机器的 /etc/security/limits.conf 和 /etc/sysctl.conf 打包成 Ansible role,跑前必过 idempotent check,漏一项,CI 直接 fail;第三,要求所有业务方提需求时,必须在 Jira ticket 里贴出真实压测报告——不是 Postman 跑20并发那种,是 jmeter 跑真实路径 + 模拟弱网 + 注入 DNS 劫持故障。做不到?那就先用默认配置上线,出了问题,后台订单列表里哪一笔异常,我就从哪一笔的 trace_id 往回追,追到第一个没配资源限制的容器为止。 反正,今晚我要重新跑一遍那个没做完的测试:把 BBRv2 关掉,换回 CUBIC,然后在负载均衡器上强制把某个灰度流量组的 TCP window scale 设成 14。看看会不会有人在客服聊天记录里突然说:“诶,这次验证码秒到。”如果没秒到……那就说明,黑科技真没用,该修的还是那张没人签字的架构评审记录表,和桌上那沓最底下、印着“2023Q2 上线清单”的单子——它还没拆封。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


数据科学家建站无需懂运维?7年性能优化师揭秘技术真相
MySQL运维设计三合一:18年DW工程师的高可用建站实战
服务器调优选型避坑指南:19年踩过的5大隐性陷阱
建站新手必避的7大运维坑:第5个90%人忽略
编程合规风控的5个技术盲区(17年运维老炮儿亲历)
运维11年实战:三大支柱驱动运营中心提效升级
建站资源:11年运维老兵的弹性调配之道

