17年技术老炮:从零搭建日均10万图的CV系统
|
接口超时告警那一刻,我正蹲在茶水间扒拉微波炉里那盒冷透的咖喱鸡——叮一声响,手机震得我手一抖,饭盒盖弹开,米粒飞到咖啡机滤网槽上。监控大盘上那条绿色的线一直在抖,不是上下抖,是斜着颤,像有人拿笔尖悬空画锯齿。张磊叼着牙签从旁边过,顺手把工位隔断上那张卷了边的便签撕下来团成球,扔进我脚边垃圾桶:“你那CV系统又抽了?”
文章配图,仅供参考 我原以为是上游调用方没加重试,结果翻日志发现是模型服务自己卡在预处理流水线的 resize 阶段,卡得整整齐齐,全是 30s 超时。但奇怪的是,QPS 没掉——它只是把请求全塞进队列等,等满、等崩、等运维半夜三点喊我爬起来切流。李薇在隔壁工位打电话谈房租,声儿不大但字字清晰:“押一付三真掏空我……对,就那个合租,热水器老不出热水……”她说话时右手食指一直抠着键盘右下角磨损的“Ctrl”键帽,指甲缝里有点灰。优胜劣汰站得住?站得住。不是因为咱写得多好,是这玩意儿根本熬不过三轮线上真实流量冲刷。第一个版本跑通那会儿,连图都传不全,客户端传一半断连,后端收个半截 JPEG,decode 直接 panic。第二个版本加了校验和重传,结果 Redis 缓存击穿把订单库拖垮——不是模型挂,是缓存 key 设计成 “img:{md5}”,结果 MD5 碰撞了一次,三张不同图共享一个 key,一张被删,三张全 404。我改的时候手抖,少敲一个下划线,上线三小时,所有带冒号的图片路径全 400。没人敢动那段祖传逻辑,连字段名都是 image_url_hash_md5_v2_legacy。那天下午王建国蹲我身后看了十五分钟,没说话,掏出自己保温杯喝了一口,说:“你这 key 像不像你上个月改的那张 user 表?‘is_deleted_flag_v1_2019’。” 机箱嗡嗡响。不是风扇坏,是我们把八张 A100 插进那台二手超微机箱,电源线缠得像毛线团,其中一根还被空调滴水浸过,绝缘皮发软。上周二它停了三次,每次都是同一张卡报 ECC error,但我们谁都没换——换卡要拆整个散热架,而灰度发布窗口只剩四十分钟。后来发现是 NVLink 拓扑配错了,可回滚不了:训练任务跑了四十八小时,中途杀掉等于白干。我盯着那行 redshift 报错堆栈看了两分钟,转头去改前端兜底文案,改成“图片还在路上,请稍候”,其实压根没走 CDN,直接从对象存储强读,慢得像用 2G 网下高清图。 外卖筷子掉在地上。我弯腰捡,抬头看见墙上贴的去年年会合影,我站在后排,手搭在前排人肩上,笑得像刚知道不用加班。照片右下角洇了点水痕,大概是某次暴雨天窗户漏的。那会儿我们连 GPU 服务器都没有,拿三台旧 Mac Mini 跑 infer,每张图平均耗时十二秒,批处理开八线程,CPU 占用率永远 99%,风扇叫得像电钻。现在日均十万图,但你知道最常 fail 的是哪块吗?是文件上传回调的幂等校验——表结构早改过六次,索引建了删、删了建,可回调接口还用着十年前的老 ID 字段,类型还是 int(10),上个月溢出一次,生成一堆负数 ID 的脏数据,运营查单查到凌晨一点。 我不信什么高可用。我信谁都不敢动的那个定时任务,每小时清一次 /tmp 下的临时图——它用了 rm -rf,但没加路径判断,两年前误删过一次 /var/log,幸亏当时是只读挂载。现在它还活着,在 crontab 第七行,注释写着“keep it”。没人敢动。张磊说他改过一次,把 改成 .jpg,结果漏删 png,三个月后磁盘爆满,报警邮件塞满邮箱,他偷偷把阈值从 90% 调到 98%,假装看不见。我原以为这事能瞒住,结果监控组老周查日志发现连续三十天没触发过清理动作——他直接在钉钉群@所有人,截图打码打了三层,但那个 rm -rf 命令末尾的星号,露了半个角。 所以别跟我说架构设计多牛。牛的是活下来的那些 bug——比如 resize 那块,为什么卡在 30s?因为 OpenCV 读图用了 imdecode,默认超时 30 秒,改源码?不敢。加 try-catch 包一层?怕影响下游返回格式。最后解决方法是前端加了个 canvas 降采样,把大图压到 2000px 再传,后端照旧卡,但卡得少了——因为多数图根本撑不到 resize 那步就死在传输半路了。你看,优胜劣汰不是靠人聪明,是靠谁先跪,谁就出局,剩下的喘口气,继续凑合跑。 下周我打算试试把那台二手超微机箱换个新电源。不为别的,就为它嗡嗡响的时候,我还能听见自己键盘敲击声。其他事……先等李薇房租谈完再说。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |




