Linux深度学习环境搭建：从报错到运行的完整排障路径

　　老张昨天在工位上摔键盘你知道吗？就因为装CUDA的时候报错'unknown symbol in module'，他对着终端敲了俩小时sudo apt install，结果发现是驱动版本和内核不兼容——这破事儿我上周刚踩过，当时监控大盘上那条绿色的GPU利用率线抖得跟癫痫似的，我原以为重启下容器就能解决，结果发现是宿主机内核升级后没重编译驱动，那堆NVIDIA的.ko文件全成了废纸。

　　要说这深度学习环境搭建啊，就跟咱们后端处理接口超时似的——表面看是报错信息，往深了挖全是历史遗留问题。我上次装PyTorch，pip install的时候好好的，一跑训练就报'CUDA out of memory'，查日志发现是之前跑过的任务没释放显存，kill -9都杀不掉，最后发现是某个僵尸进程卡在/dev/shm里，那文件夹里全是.lock文件，删都删不动，最后直接重启服务器才搞定——你猜怎么着？重启完发现磁盘空间满了，原来之前下载的源码包全堆在/tmp里没清理。

　　咖啡机坏了那天更绝，我蹲在运维工位旁边看他们排查。报错是'libnccl.so not found'，我原以为重新装下NCCL就行，结果运维小哥说'这机器去年装过CUDA 10.2，后来升级到11.3没删干净，现在/usr/local/cuda里混着两个版本的库'——他说话的时候工位隔断上的便签卷了边，上面还写着'别动/etc/profile'，我瞅着那字迹像是三个月前离职的前端留下的。最后怎么解决的？把/usr/local/cuda整个删了，重新挂载NVIDIA的官方仓库，装完发现gcc版本又不对，又得降级到7.5，那过程比回滚一个脏数据的表结构还麻烦。

文章配图，仅供参考

　　外卖筷子掉地上那回，我正在调TensorFlow的分布式训练。报错是'Failed to get device attributes for PCIe Bus ID'，我盯着终端看了十分钟，发现是docker run的时候没加'--gpus all'——这破参数藏得比幂等接口的隐藏字段还隐蔽。更离谱的是，装完环境后跑第一轮训练，发现损失值不降反升，查了半天发现是数据加载器没shuffle，模型一直在过同一批样本——这比限流策略没生效还要命，至少限流还能报个429，这连个警告都没有。

　　我原以为这些破事儿都是新手才会踩，结果上周跟架构组的老李聊天，他说他们去年搭K8s集群跑深度学习，遇到个更绝的——某个节点上的Pod老是OOM，查内存使用发现正常，最后发现是/sys/fs/cgroup/memory里有个僵尸限制，是半年前某个测试脚本留下的，一直没清理。这就像咱们之前遇到的脏数据，表面看是当前接口的问题，实际是三个月前某个定时任务没加事务导致的。

　　要说这些环境问题为什么这么难搞，我觉得就跟优胜劣汰似的——能跑通的配置会被保留，跑不通的早就被删了，所以剩下的全是那些'偶尔能跑通'的奇葩组合。就像咱们后端，真正稳定的接口都是经过无数次灰度、回滚、限流才磨出来的，深度学习环境也一样，你永远不知道下一个报错是驱动版本、库路径、环境变量，还是某个隐藏的.bashrc配置。

　　上次装Horovod的时候，我直接在/etc/profile里加了export LD_LIBRARY_PATH，结果导致sudo命令报错'sudo: unable to initialize PAM'——后来发现是环境变量污染了sudo的上下文，那感觉比遇到缓存穿透还绝望。最后怎么解决的？把/etc/profile里的修改全撤了，改在~/.bashrc里加，还得提醒所有人'别用sudo -i，用sudo -s'——这比改产品需求文档还麻烦，至少产品还能被你说服，这破环境问题它不听劝啊。

　　现在我看那些深度学习框架的文档，第一眼先找'known issues'，第二眼看'troubleshooting'，第三眼才看'installation guide'——就跟咱们处理接口超时似的，先看有没有现成的限流方案，再看能不能降级，最后才考虑优化代码。不过话说回来，这些环境问题也不是全无好处——至少现在我对Linux的文件系统、环境变量、进程管理比对数据库表结构还熟悉，上次帮前端调Node.js环境，一眼就看出是npm版本和Node版本不兼容，那感觉比定位一个慢查询还爽。

　　所以下次再遇到深度学习环境报错，别急着查文档——先看看日志里有没有'deprecated'警告，再检查下/usr/local/里有没有混装的库，最后记得备份/etc/profile和~/.bashrc——我上次就是忘了备份，结果重装系统后花了两小时才把环境配回原来的样子。至于那些'偶尔报错'的情况，我的建议是：别纠结，直接回滚到上一个能跑的版本，等有空了再慢慢查——就像咱们处理线上事故，先止血再找原因，总没错的。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!