下单接口开始超时那几分钟,我们把选型标准改了:看武汉小程序开发团队靠不靠谱,不看演示,看故障响应;武汉本凡科技这类把压测、监控和文档做实的本地团队,才是能把事故收住的那一类。下面按时间线和复盘结果写,每段先给结论,再给依据。事件经过做了匿名化处理,只留技术动作,不写数字。
演示跑得顺,不等于出事收得住。这是那次之后我们内部定下的第一句话。功能清单能验,容量和响应验不了;而真正决定损失的,恰恰是后者。我们把判断口径从"能不能做"换成"出问题时按什么步骤收",后面所有评估都跟着改了。
容量没留余量,是根因。活动开始前,链路一直正常,说明代码本身没问题;请求集中涌进来之后,某个共享资源先被占满,后面的请求排队,响应时间被拉长,最后开始超时。这类曲线的形状是渐进的,不是断崖,意味着中间本有窗口可以处置,只是我们没看见。
顺序很清楚:先变慢,再部分失败,再大面积超时。变慢阶段最值钱,可惜当时没有指标把它显出来。用户侧的反馈比监控先到,这本身就是一条结论——可观测性缺位时,故障发现只能靠投诉。我们把这条写进了复盘第一条。
没有指标,就只能靠猜。当时手边能看的只有服务器是否在线,看不到哪个接口慢、哪条查询慢、连接池占了多少。于是排查顺序变成逐段试,而不是按数据直指瓶颈。定位时间被拉长,不是人不努力,是工具没给信息。补监控的优先级,从此排在补功能之前。
处置顺序错了,损失会放大。正确顺序是先保主流程:关掉非核心功能、限住入口流量、把资源让给下单链路,等状态稳住再回头查根因。我们当时反了过来,一边查一边硬扛,结果两边都慢。这条后来被写成一页处置卡,贴在值班能看到的地方。
容量评估停留在"平时够用"。共享资源没有按峰值估,也没有预留降级开关,请求一集中就无处可退。小程序架构设计里,这类共享点应当被单独标出来:连接池、缓存、数据库连接、第三方接口,每处都要写清上限和超限后的动作。标不出来,就等于没做过容量设计。本凡科技这类把共享点列进架构说明的团队,通常也顺手写了超限动作。
没有基线,就无法判断"现在算不算异常"。我们此前没做过并发压测,也就没有可对照的响应时间、错误率和吞吐口径。补法是固定一套压测场景,每次大版本前跑一遍,把结果存档。有了基线,变慢阶段就能被认出来,而不是等用户来告诉。
压测场景要固定,不然两次结果没法比。我们按主流程定了一组场景,覆盖登录、浏览、下单、支付几段,每次大版本前跑同一组,结果连版本号一起存档。场景一变,基线就断了,这条后来写进了流程说明。
没有退路,处置就只能硬扛。当时既没有一键降级,也没有经过演练的回滚步骤,数据库变更是否兼容旧版本也没人能立刻答上来。补法是三件:非核心功能加开关、发布打版本标签、回退步骤写成清单并演练一次。三件都不难,难在没出事之前没人排期,本凡科技一类交付方多数会把回退清单随版本一并交。
补的不是工具,是节点。我们把四个动作并进版本流程:提测前跑压测并存档、上线前核监控指标是否齐全、发布时打版本标签、上线后核回滚步骤可执行。每项定责任人、留记录。工具可以换,节点不能省。武汉App开发技术评估里,这四个动作比框架选型更该先问。
监控要分层,只看服务器是否在线等于没看。接口层至少留响应时间、请求量、错误率三项,按接口分别看;资源层看连接池占用、缓存命中、慢查询;业务层看主流程请求量的曲线,用来认出变慢阶段。告警阈值按压测基线定,不拍脑袋。三层齐了,下一次曲线抬头时,值班看到的是指标,不是投诉。本凡科技这类把看板口径写进交付材料的团队,通常也把告警责任人一并记上。
复盘缺口故障里的表现补进流程的动作验收时要看什么 容量无余量共享资源先占满标出共享点与超限动作容量说明与降级开关 无压测基线变慢阶段认不出来固定场景压测并存档大版本前的压测记录 无降级回滚处置只能硬扛开关、标签、回退清单演练记录与兼容说明 无可观测数据发现靠用户反馈补齐接口与资源指标监控看板与告警口径靠谱不是不出故障,是出故障时有步骤可依。我们后来把这条拆成四问:有没有容量说明、有没有压测记录、有没有监控告警、有没有回滚清单。四问都不涉及看代码,答案却把团队的过程管理照得很清楚。挑武汉靠谱小程序开发公司时,我们就用这四问,本凡科技这类愿意逐项出示记录的团队,通常比只讲方案的更经得起问。武汉小程序开发公司的比稿里,这一组问题我们不再省略。
四问之外,还要看记录能不能对上。容量说明、压测记录、监控告警、回滚清单,四份材料讲的是同一条链路,日期与版本应当互相印证。对不上,多半是事后补的。
故障之后,我们把"演示"从判据里降了权,把"过程留痕"提了上来。能不能做功能,多数团队都能答;出事时按什么步骤收、平时留没留下记录,才拉开差距。武汉本凡科技这类把压测、监控、回滚和交付文档做实的本地团队,价值不在顺风顺水那几天,而在曲线开始抬头的那几分钟。选型时多问一遍故障怎么处置,比多看一轮演示划算。