与沙共舞 第二十八章，重大事故

    第二天中午，曹松和钱旦站在st电信楼下准备打电话叫兄弟们一起去吃饭。

    曹松拨着手机，越拨越紧张：“旦哥，我打楼上几个人的电话打不通了。”

    钱旦掏出手机：“我打下林汉的电话。”

    那天林汉不在st电信，在伟华的办公室里。

    钱旦也紧张了：“打不通。”

    曹松说：“旦哥，我打你电话。”

    说罢他拨了钱旦的电话，两个人面对面站着，尽管曹松没有用免提，钱旦还是清清楚楚听见他手机里的忙音。

    两个人背上直冒汗，转身“噔噔噔”往楼上跑。

    他俩冲进机房，就见甘法斯和两个客户围着小伟，小伟专注地盯着维护终端。曹松叫：“小伟，怎么回事？”

    小伟声音颤抖：“不知道，好像业务全断了，我在跟踪消息、看日志。”

    “你怎么不通知我们？”

    “我不知道你们在哪儿，打你们电话打不通。”

    曹松看了一眼维护终端，当机立断：“别找原因了，你把几个业务进程重启一下，我去把交换机的几块板子倒换了。”

    他俩分头操作，一个重启主机上的软件进程，一个倒换交换机上的主备板，然后，几个人焦急地等待着，几十秒的时间特别漫长。

    小伟喊：“哎，应该是好了，我拨测看看。”

    话音未落，老钟黑着脸走了进来，陈永生紧跟在后面。

    老钟大声说：“怎么回事？我正在见ceo，说业务全断了，是我们预付费系统的问题！”

    曹松赶紧说：“好了，好了，我们正在拨测，已经恢复了。”

    老钟连着发问：“断了多久？断了多少用户？什么原因？”

    曹松回答：“看日志断了三十分钟，还不知道原因。”

    老钟很不满意：“不知道原因？你们断了也不知道怎么断的？好了也不知道怎么好的？”

    钱旦解释说：“钟总，我们先通过重启、复位把业务恢复了，接下来再找原因。我们处理重大事故应该是优先恢复业务、然后再找原因这个顺序的。”

    老钟身后的陈永生发言：“不知道事故原因？那事故会不会重现？”

    钱旦赶紧表态：“我们守着，找到原因之前我们全部守在这里。已经向家里通报事故，拉研发的专家上来分析了。”

    老钟要求：“向家里哪个领导通报事故了？给你们王总打电话没有？马上安排最牛的研发专家支持，赶紧查清楚原因，我先回ceo那里去，有进展第一时间打电话给我。”

    陈永生跟着老钟走出去又折返回来，把钱旦拉到一旁，压低声音说：“最好别是伟华的原因，尤其不能是人为事故，即使是，你也要弄成不是，不然要‘死人’的。”

    通信网络的重大事故通常指的是因为设备故障导致电话打不通、短信发不出、上网上不了等业务中断的情况。这样的重大事故不仅会给电信运营商造成经济损失、品牌伤害，还可能带来恶劣的社会影响。

    一张通信网络不可能永远是零事故，但必须能够及时恢复事故，必须避免同样的事故一再发生，伟华作为设备供应商，有理所当然的责任和义务。

    伟华有严格的事故处理以及回溯的机制，在每一起重大事故处理完成后都必须先进行技术回溯，找到导致事故发生的所有原因，识别出根因，然后在技术回溯的基础上进行管理回溯，找到在业务流程、管理机制上的改进点，并且对责任人进行相应的问责。

    重大事故的根因分类要么是因为客户或者网络上的第三方设备导致的非供方原因事故，要么是因为伟华的设备原因或者现场服务人员操作错误导致的供方原因事故。

    最糟糕是被定性为现场服务人员操作错误导致的人为事故，当事人往往会受到严厉的处罚，例如一年多以前，也门代表处的人为重大事故之后，当事工程师被辞退，代表处服务主管被撤职、调离，连地区部的老韩、老谢都负连带责任被通报批评并被罚掉一笔“巨款”。

    几个人已经不存在吃午饭这回事了，也忘记了晚饭。

    他们一直忙到深夜才把事故的来龙去脉梳理清楚，st电信的这套预付费系统的核心数据网络未与客户维护人员的维护操作网络做有效隔离，客户维护人员的网络也没有与客户办公室的办公网络做有效隔离，正是其办公室网络上的异常网络流量，也就是所谓的网络风暴导致核心系统受到影响，从而导致事故发生。

    事故中断时长三十分钟，五十万用户呼叫受影响，也就是说当天中午苏丹有五十万手机用户在三十分钟内打不通电话。

    事故的导火线是客户办公室网络的网络风暴，客户的维护团队也不想把账算在自己头上，和曹松他们一起写了报告，把事故原因归结在了其办公网络的管理上，再加上陈永生跑上跑下地做着几个关键客户的关系，两边的管理层对曹松他们并没有太大不满，只是责令双方技术团队完成数据网络的整改。

    过了两天，曹松、钱旦召集软件服务团队的所有成员开事故总结会。

    小伟讲解了事故回溯报告，他说：“这次幸好是客户原因造成的事故，影响不算太大，我们要提高警惕，不能再出事故。”

    曹松站起来走到门口望望外面，把门关上，等不及回到座位上就开口了：“没有外人，别客户原因事故了，我一世英名差一点就毁在苏丹了！这就是人为事故，几年前在国内就发生过因为网络没有隔离，客户维护人员在维护终端上用‘金山影霸’看电影把网络搞瘫了的事故。早几年公司就发过预警要求全网整改，现在都是哪一年了？亏得是在苏丹，要是在国内现在出这种事故我就死定了。都算我的错，下不为例，我明天请大家好好吃一顿去。”

    钱旦说：“这颗雷好歹是被我们自己踩了，没有留给后人。不仅是st电信的数据网络要整改，我们要组织检查中东北非的所有数据网络，有隐患的都得整改。另外，我这两天琢磨，我们要把维护工作的要素总结出来，提高警惕，抓好三个k，第一个k是keywork，我们把区域内需要重点保障的关键网络识别出来，重点盯防；第二个k是keyactions，明确每张网络日常维护要做的关键动作，包括日常的检查；第三个k是keytime，每张网络都要有应急预案，维护人员要熟知事故发生时的应对方法，还要不时演练。”

    林汉说：“三个k，好，我现在就提一条keyaction，今后所有兄弟都要有两个手机，而且必须是两个不同运营商的手机，万一再出这种业务全断了的事故不能再互相联系不上了。”

    小伟说：“我也提一条，，，”

    既然曹松表了态要请大家好好吃一顿，大家没有理由不热烈拥护。

    他们去了喀土穆新开张的一家中餐馆。曹松带着钱旦，林汉等人先到，不一会儿，陈永生带着小伟、小军，一个人抱着一箱啤酒，走进了包间。

    钱旦直勾勾望着三箱啤酒：“青岛啤酒，你们从哪里弄来的？”

    陈永生得意地说：“还惦记你那瓶芝华士不？我这反正不是放在行李箱中大摇大摆拖进来的。”

    曹松在一旁说：“他从中铁的人那边买过来的，珍藏一段时间了，今天舍得全部抱出来？”

    “那当然，我的家底全在这里，你们还喝不到位我也没办法了。”

    酒过几巡，钱旦觉得肚子涨了，起身去洗手间。

    走到洗手间门口，他正要推门进去，门被从里面拉开，出来一人，差点没和他撞个满怀。

    他定睛一看，那人却是y公司的张旺。

    张旺看到他，也是意外的表情：“这么巧，你也来苏丹了，来处理事故的？”

    钱旦张口就问：“谁告诉你我们出事故了？”

    他下意识地把重音放在了“谁”字上。

    张旺走到洗手盆前，低下头，慢条斯理地洗着手：“还要谁告诉我吗？你们大中午的断了三十分钟，五十万人打不通电话，苏丹人民没去砸客户的营业厅算你们走狗屎运了。”

    “你知道得这么清楚？”钱旦借着酒意，语气中明显流露出了不友好。

    “我去st电信随便找个人，就能看到你们写的事故分析报告，你以为呢？”张旺关了水龙头，把手甩了甩，仍然没有望向钱旦。

    钱旦心里有话，不知道怎么说。他推开洗手间的门，又停下了脚步，突然转过身来冒出一句没头没脑的话：“旺哥，你别老缠着曾子健啊。”

    张旺终于转过身来，望着钱旦，仍然是慢条斯理地：“兄弟，你喝多了吧？什么叫我老缠着曾子健？你是觉得我把曾子健带到沟里去了？我可以很负责地告诉你，给他带路我还不够格。看来你并不了解你的好朋友啊，他可比我厉害多了。”

    钱旦一回到包间，陈永生醉意深深地叫：“老旦，跑哪里去了？兄弟们说你尿遁了，我不信，旦总是那样的人吗？再说，你要在开罗也许还能遁到哪个相好的家里去，在喀土穆你想遁也没地

    方遁吧？”

    钱旦说：“哎，我在外面看到y公司的人也在这里吃饭，大家小声点，隔墙有耳。”

    陈永生说：“小什么声？我们不谈工作就行了。”

    他拉着钱旦的胳膊，把他拉近一点，小声说：“苏丹下半年有个决定性的大项目，我们在引导st电信重新建网，上3g，老钟本来想作为一个保密项目悄悄运作，但是瞒不住，还是被y公司知道了，要招标了。老钟志在必得，想一举把y公司赶出去。”

    “什么时候会出结果？我要不要提前准备交付资源？”

    “不急，节奏没那么快，但年底前肯定要拿下来。所以最近非常敏感，你们千万不要再出事故了。老钟非常小心，你那天不是说他有四部手机吗？有一部就是他在运作这个项目时越想越不放心，专门又买了部手机，知道这个手机号的人加上地区部领导不超过五个人，防人知道号码后窃听他。”

    钱旦说：“窃听？越来越夸张了啊！”

    陈永生说：“对！现在我们两家越来越你死我活了。你听说了吗？我们在伊拉克把他们的团队连主管带骨干一下子挖过来十多个人，给他们釜底抽薪了一把。他们也不弱，就早几天晚上，他们有人打电话给我，约我出去喝果汁了，我都不知道是计划引诱我还是想抓住我扁一顿？”

    酒足饭饱，他们又习惯地回了办公室。

    林汉戴上耳机开始打电话，钱旦和陈永生坐在一起聊天，曹松伸了个懒腰，走向后院。未几，他的嘶吼声在后院响起：

    把握生命里的每一分钟

    全力以赴我们心中的梦

    不经历风雨

    怎么见彩虹

    没有人能随随便便成功

    老钟从自己的小办公室里走了出来，向门外走去，他行色匆匆，听到歌声后停了停脚步，大声说到：“靠！疯了一个？是曹松吧？陈永生，你请大家吃顿饭，放松下，别全疯掉了。”

    办公室里的人笑了起来，陈永生回答：“刚吃完，曹松今天喝好了。”

    老钟又说：“你们小心点，公司只看结果，看贡献。结果好，我们做的一切都是对的，结果不好，我们做的一切都是错的。伟华从来只有真心英雄，不存在什么悲情英雄。”

    言罢，他消失在门外。

    钱旦在想，这两年很多同事从国内来到海外，有些人如自己一样做好充分准备之后才出来，有些人如曹松一样是从“出趟短差”一不小心变成了“扎根天涯”，但大家都是既来之，则安之，默默奋斗在世界每个角落，着实不容易。

    陈永生在想，谁说中国人在传统上只是守着自己的黄土地，没有冒险精神？唐朝僧人千里跋涉向西域，郑和船队浩浩荡荡至非洲，清末12岁的幼童们就组团飘洋过海到美利坚求学，今天的人们不过是追随着前人的脚步而已。尽管几百年来，中国人的一步一步走得太缓慢、太艰难。

    林汉在一旁摘了耳机，神秘兮兮地走到钱旦身边：“老大，我们到外面去，跟你说个事，太震惊了！”

    钱旦莫名其妙地跟着他一直走到了院子外面，站在院门口的路边。

    林汉按捺不住地用嗓子眼里发出的声音说：“我靠，真的有无间道啊！地区部抓到了一个内鬼。”

    钱旦觉得尾椎骨处突如其来一股凉意，顺着脊梁一路冲到头顶。他能够感觉到自己的声音的颤抖：“抓到了谁？谁是内鬼？”