移动互联重构日常:服务网格驱动的范式转移
|
跟投手吵架那天,我正盯着后台订单列表第17页的“支付超时”那一列——第三行订单号末尾是8329,用户IP属地东莞,下单时间14:22:07,设备安卓14,微信浏览器,从直播承接页跳转进来,加购两次,结账页停留57秒,最后点了个X。不是返回,是直接关tab。我放大看时间戳,手抖了一下,手机震了三下没人接,旁边拆快递的人嘶啦撕胶带,声音像在刮我耳膜。 投手说:“你网格那堆Sidecar一跑,链路变长,首屏慢300ms,用户划两下就走、加购了不下单、客服问了一句就没回。”我点头,真点头,因为他说得对。去年五月份,到底发生了什么?我们把Envoy升级到1.26,开了mTLS默认强制,把所有Spring Boot老服务打包装进istio-proxy,结果五月七号凌晨三点,客服主管甩来一条语音,语速快得像在报火警:“三个客户同时问‘刚点支付怎么弹出‘连接异常’’——他们没截屏,但我听出来了,是那个蓝色错误Toast,不是我们前端写的,是istio-ingressgateway返回的503。”
文章配图,仅供参考 仓库那边传来胶带声,一下、两下、停顿,再一下。我切到Kiali看拓扑图,发现istio-policy(那个早该下线的旧版策略服务)还在被调用,每分钟47次,全来自一个埋了三年没动的SDK——它根本不知道什么叫x-b3-traceid,硬塞了个乱码进去,导致mixer崩了三次,下游服务集体超时熔断。不是代码写错了,是我们忘了删。不是架构不稳,是没人去翻部署清单里第4页第3列那个标着“待评估”的灰色小字。 桌上放着一沓没整理的单子,最上面那张是五月九号的退货单,SKU是L-0032(直播间主推款),备注栏手写:“客户说页面一直转圈,反复提交三次,扣了三次款,最后一笔成功了,前两笔到账了又退回来,银行短信发了六条。”——我们查日志发现:那三次请求,两次被重试策略吞掉,一次进了下游,但上游已经收不到ack,于是前端以为失败,又点了第二次。网格没拦错,它只是太老实,把“不确定”当“失败”处理,而我们的前端没监听retry-after头,只信loading图标消失那一刻。 空调吹得纸一直在动,那沓单子边角翘起来,扫过我左手腕。我不屑不是因为网格没用,是它逼我们第一次看清自己写的破代码长什么样:有个服务调第三方短信接口,超时设成15秒,可istio默认 outbound timeout是10秒,于是每次发短信,sidecar先砍一刀,再把504往回扔,后端还以为自己挂了,其实人家运营商API早就响了。我们骂网格延迟高,结果改完timeout配置,当天下午那个接口成功率从72%跳到99.3%——不是网格的问题,是我们当年抄文档时漏看了加粗的“请根据实际依赖调整”。 有只飞虫绕着灯转,嗡嗡,嗡嗡,停在屏幕右上角,就在Kiali那个红色告警三角旁边。我把它赶走,它又飞回来。这玩意儿和我们干的事差不多:撞玻璃,以为外面是出路。服务网格驱动的范式转移?转移个屁。它只是把原来藏在nginx配置里、藏在超时注释里、藏在测试环境没跑通但上线就OK的那些侥幸,全摊在Prometheus的metric里,摊在jaeger的trace里,摊在客服发来的第七条语音里,让你没法再说“可能网络问题”。它不重构日常,它只是让日常没法再糊弄。 漏斗图上的一格,从“加购→结算”这一段,去年五月之前是灰的,没人点开;五月之后它开始爆红,我们才第一次看到:38%的流量卡在checkout.js第214行,那个await callPaymentService()前面——不是接口慢,是JS等了一个永远收不到的resolve,因为mesh里那个virtual service把路径匹配写成了/checkout/,而前端发的是/checkout/v2/init,多了一个v2。路径没配对,请求被静默丢弃,控制台连error都不抛。我们修了三天,靠抓包+对比istioctl authz check + 看envoy access log里那串#-#-#-#-#的response_flag才抠出来。不是技术难,是没人愿意花两小时翻一遍200多个virtual service的YAML文件。 无所谓。反正没多少人真想改。老板问为什么没单,我们甩个Grafana看板链接过去,他点开看见红色峰值就点头,以为是“系统在抗压”;设计说按钮颜色影响转化,我们调出Session Replay,发现用户手指悬停在支付按钮上方1.7秒没点下去,不是嫌蓝,是底下那个加载中的旋转圈转了8秒还没停——而背后,是mesh里的destination rule里没配connection pool的http1MaxPendingRequests,导致连接池耗尽,新请求排队排到了宇宙尽头。我们改完,那个旋转圈变成0.4秒,但没人截图发群,因为那晚九点,客服主管已经下班了,她发的最后一条消息钉在群顶:“今天第12个问‘付款页面是不是坏了’的,我说不清。” 下一步?我把istio-inject标签从default namespace挪到staging,下周起,所有新服务必须先过istioctl analyze --use-kube --force。老服务?不碰。等哪天客服语音里又出现“蓝色Toast”,我再去翻那沓没整理的单子,找出第一张,看看上面有没有我的笔迹。没有就补上。现在,先去仓库拿胶带——刚才拆快递那人把最后一卷抽走了,我得自己封箱,寄出去的是周三刚压测完的mesh-gateway configmap diff patch,共17处修改,含3个已知bug workaround,2个未合入上游的PR引用,以及一行注释:“此处修复非真实问题,仅为避免客服第13条语音。” (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


移动互联时代智能分发新范式:消息抵达率提升300%
移动互联时代:数码科技重构数字身份安全边界
移动互联政策驱动数码科技发展新路径
移动互联时代,交互设计别再套用2010年旧逻辑
移动互联时代,多媒体开发方法亟需革新
移动互联时代:端云协同优化三大突破
5G已重构移动互联,4G思维该淘汰了