首頁 現(xiàn)實(shí)

與沙共舞

第二十八章,重大事故

與沙共舞 令狐與無忌 4267 2020-10-18 02:57:13

  第二天中午,曹松和錢旦站在“ST電信”的樓下準(zhǔn)備打電話叫兄弟們一起去吃飯。

  曹松撥著手機(jī),越撥越緊張:“旦哥,我打樓上幾個(gè)人的電話打不通了?!?p>  錢旦掏出手機(jī):“我打下林漢的電話?!?p>  那天林漢不在“ST電信”,在“偉中”的辦公室里。

  錢旦也緊張了:“打不通?!?p>  曹松說:“旦哥,我打你電話。”

  說罷他撥了錢旦的電話。

  兩個(gè)人面對(duì)面站著,盡管曹松沒有用免提,錢旦還是清清楚楚地聽見他手機(jī)里的忙音。

  沒有風(fēng),時(shí)間凝固,兩個(gè)人背上直冒汗,轉(zhuǎn)身“噔噔噔”往樓上跑。

  他倆沖進(jìn)機(jī)房,就見甘法斯和兩個(gè)客戶圍著小偉,小偉專注地盯著維護(hù)終端。曹松叫:“小偉,怎么回事?”

  小偉的聲音顫抖:“不知道,好像業(yè)務(wù)全斷了,我在跟蹤消息、看日志。”

  “你怎么不通知我們?”

  “我不知道你們?cè)谀膬?,打你們電話打不通。?p>  曹松看了一眼維護(hù)終端,當(dāng)機(jī)立斷:“別找原因了,你把幾個(gè)業(yè)務(wù)進(jìn)程重啟一下,我去把交換機(jī)的幾塊板子倒換了?!?p>  他倆分頭操作,一個(gè)重啟主機(jī)上的軟件進(jìn)程,一個(gè)倒換交換機(jī)上的主備板,然后,幾個(gè)人焦急地等待著,幾十秒的時(shí)間特別漫長(zhǎng)。

  小偉喊:“哎,應(yīng)該是好了,我撥測(cè)看看?!?p>  話音未落,老鐘黑著臉沖了進(jìn)來,陳永生緊跟在后面。

  老鐘大聲說:“怎么回事?我正在見‘CEO’,說業(yè)務(wù)全斷了,是我們預(yù)付費(fèi)系統(tǒng)的問題?!”

  曹松趕緊說:“好了,好了,我們正在撥測(cè),已經(jīng)恢復(fù)了?!?p>  老鐘連著發(fā)問:“斷了多久?斷了多少用戶?什么原因?”

  曹松回答:“看日志斷了三十分鐘,還不知道原因?!?p>  老鐘很不滿意:“不知道原因?你們斷了也不知道怎么斷的?好了也不知道怎么好的?”

  錢旦解釋說:“鐘總,我們先通過重啟、復(fù)位把業(yè)務(wù)恢復(fù)了,接下來再找原因。我們處理重大事故應(yīng)該是優(yōu)先恢復(fù)業(yè)務(wù)、然后再找原因這個(gè)順序的?!?p>  老鐘身后的陳永生發(fā)言:“不知道事故原因?那事故會(huì)不會(huì)重現(xiàn)?”

  錢旦趕緊表態(tài):“我們守著,找到原因之前我們?nèi)渴卦谶@里。已經(jīng)向家里通報(bào)事故,拉研發(fā)的專家上來分析了。”

  老鐘要求:“向家里哪個(gè)領(lǐng)導(dǎo)通報(bào)事故了?給你們王總打電話沒有?馬上安排最牛的研發(fā)專家支持,趕緊查清楚原因,我先回‘CEO’那里去,有進(jìn)展第一時(shí)間打電話給我?!?p>  陳永生跟著老鐘走出去又折返回來,把錢旦拉到一旁,壓低聲音說:“最好別是‘偉中’的原因,尤其不能是現(xiàn)場(chǎng)導(dǎo)致的人為事故,即使‘是’,你也要弄成‘不是’,不然要‘死人’的!”

  通信網(wǎng)絡(luò)的重大事故通常指的是因?yàn)樵O(shè)備故障導(dǎo)致電話打不通、短信發(fā)不出、上網(wǎng)上不了等業(yè)務(wù)中斷的情況。這樣的重大事故不僅會(huì)給電信運(yùn)營(yíng)商造成經(jīng)濟(jì)損失、品牌傷害,還可能帶來惡劣的社會(huì)影響。

  一張通信網(wǎng)絡(luò)不可能永遠(yuǎn)是零事故,但必須能夠及時(shí)恢復(fù)事故,必須避免同樣的事故一再發(fā)生,“偉中”作為設(shè)備供應(yīng)商,有理所當(dāng)然的責(zé)任和義務(wù)。

  “偉中”有嚴(yán)格的事故處理以及回溯的機(jī)制,在每一起重大事故處理完成后都必須先進(jìn)行技術(shù)回溯,找到導(dǎo)致事故發(fā)生的所有原因,識(shí)別出根因,然后在技術(shù)回溯的基礎(chǔ)上進(jìn)行管理回溯,找到在業(yè)務(wù)流程、管理機(jī)制上的改進(jìn)點(diǎn),并且對(duì)責(zé)任人進(jìn)行相應(yīng)的問責(zé)。

  重大事故的根因分類要么是因?yàn)榭蛻艋蛘呔W(wǎng)絡(luò)上的第三方設(shè)備導(dǎo)致的“非供方原因事故”,要么是因?yàn)椤皞ブ小钡脑O(shè)備原因或者現(xiàn)場(chǎng)服務(wù)人員操作錯(cuò)誤導(dǎo)致的“供方原因事故”。

  最糟糕是被定性為現(xiàn)場(chǎng)服務(wù)人員操作錯(cuò)誤導(dǎo)致的“人為事故”,當(dāng)事人往往會(huì)受到嚴(yán)厲的處罰,例如一年多以前,也門子公司的人為重大事故之后,當(dāng)事工程師被辭退,子公司服務(wù)主管被撤職、調(diào)離,連地區(qū)部的老韓、老謝都負(fù)連帶責(zé)任被通報(bào)批評(píng)并被罰掉一筆“巨款”。

  幾個(gè)人已經(jīng)不存在吃午飯這回事了,也忘記了晚飯。

  他們一直忙到深夜才把事故的來龍去脈梳理清楚,“ST電信”的這套預(yù)付費(fèi)系統(tǒng)的核心數(shù)據(jù)網(wǎng)絡(luò)未與客戶維護(hù)人員的維護(hù)操作網(wǎng)絡(luò)做有效隔離,客戶維護(hù)人員的網(wǎng)絡(luò)也沒有與客戶辦公室的辦公網(wǎng)絡(luò)做有效隔離,正是其辦公室網(wǎng)絡(luò)上的異常網(wǎng)絡(luò)流量,也就是所謂的網(wǎng)絡(luò)風(fēng)暴導(dǎo)致核心系統(tǒng)受到影響,從而導(dǎo)致事故發(fā)生。

  事故中斷時(shí)長(zhǎng)三十分鐘,五十萬用戶呼叫受影響,也就是說當(dāng)天中午蘇丹有五十萬手機(jī)用戶在三十分鐘內(nèi)打不通電話。

  事故的導(dǎo)火線是客戶辦公室網(wǎng)絡(luò)的網(wǎng)絡(luò)風(fēng)暴,客戶的維護(hù)團(tuán)隊(duì)也不想把賬算在自己頭上。他們和“偉中”的團(tuán)隊(duì)一起寫了報(bào)告,把事故原因歸結(jié)在了其辦公網(wǎng)絡(luò)的管理上。

  再加上陳永生跑上跑下地做著幾個(gè)關(guān)鍵客戶的關(guān)系,兩邊的管理層對(duì)曹松他們并沒有太大不滿,只是責(zé)令雙方技術(shù)團(tuán)隊(duì)完成數(shù)據(jù)網(wǎng)絡(luò)的整改。

  過了兩天,曹松、錢旦召集團(tuán)隊(duì)所有成員開事故總結(jié)會(huì)。

  小偉講解了事故回溯報(bào)告,他說:“這次幸好是客戶原因造成的事故,影響不算太大,我們要提高警惕,不能再出事故。”

  曹松站起來走到門口望望外面,把門關(guān)上,等不及回到座位上就開口了:“沒有外人,別客戶原因事故了,我一世英名差一點(diǎn)就毀在蘇丹了!這就是人為事故,幾年前在國(guó)內(nèi)就發(fā)生過因?yàn)榫W(wǎng)絡(luò)沒有隔離,客戶維護(hù)人員在維護(hù)終端上用‘金山影霸’看電影把網(wǎng)絡(luò)搞癱了的事故。早幾年公司就發(fā)過預(yù)警要求全網(wǎng)整改,現(xiàn)在都是哪一年了?虧得是在蘇丹,要是在國(guó)內(nèi)現(xiàn)在出這種事故我就死定了。都算我的錯(cuò),下不為例,我明天請(qǐng)大家好好吃一頓去?!?p>  錢旦說:“這顆雷好歹是被我們自己踩了,沒有留給后人。不僅是‘ST電信’的數(shù)據(jù)網(wǎng)絡(luò)要整改,我們要組織檢查北非中東的所有數(shù)據(jù)網(wǎng)絡(luò),有隱患的都得整改。另外,我這兩天琢磨,我們要把維護(hù)工作的要素總結(jié)出來,提高警惕,抓好‘三個(gè)K’,第一個(gè)‘K’是‘Key Network’,我們把區(qū)域內(nèi)需要重點(diǎn)保障的關(guān)鍵網(wǎng)絡(luò)識(shí)別出來,重點(diǎn)盯防;第二個(gè)‘K’是‘Key Actions’,明確每張網(wǎng)絡(luò)日常維護(hù)要做的關(guān)鍵動(dòng)作,包括日常的檢查;第三個(gè)‘K’是‘Key Time’,每張網(wǎng)絡(luò)都要有應(yīng)急預(yù)案,維護(hù)人員要熟知事故發(fā)生時(shí)的應(yīng)對(duì)方法,還要不時(shí)演練?!?p>  林漢說:“‘三個(gè)K’,好!我現(xiàn)在就提一條‘Key Action’,今后所有兄弟都要有兩個(gè)手機(jī),而且必須是兩個(gè)不同運(yùn)營(yíng)商的手機(jī),萬一再出這種業(yè)務(wù)全斷了的事故不能再互相聯(lián)系不上了?!?p>  小偉說:“我也提一條……”

  既然曹松表了態(tài)要請(qǐng)大家好好吃一頓,大家沒有理由不熱烈擁護(hù)。

  他們?nèi)チ丝ν聊滦麻_張的一家中餐館。曹松帶著錢旦,林漢等人先到,不一會(huì)兒,陳永生帶著小偉、小軍,一個(gè)人抱著一箱啤酒,走進(jìn)了包間。

  錢旦直勾勾望著三箱啤酒:“青島啤酒,你們從哪里弄來的?”

  陳永生得意地說:“還惦記你那瓶芝華士不?我這反正不是放在行李箱中大搖大擺拖進(jìn)來的?!?p>  曹松在一旁說:“他從‘中鐵’的人那邊買過來的,珍藏一段時(shí)間了,今天居然舍得全部抱出來?”

  “那當(dāng)然,我的家底全在這里,你們還喝不到位我也沒辦法了?!?p>  酒過幾巡,錢旦覺得肚子漲了,起身去洗手間。

  走到洗手間門口,他正要推門進(jìn)去,門被從里面拉開,出來一人,差點(diǎn)沒和他撞個(gè)滿懷。

  他定睛一看,那人卻是張旺。

  張旺看到他,也是意外的表情:“這么巧,你也來蘇丹了,來處理事故的?”

  錢旦張口就問:“誰告訴你我們出事故了?”

  他下意識(shí)地把重音放在了“誰”字上。

  張旺走到洗手盆前,低下頭,慢條斯理地洗著手:“還要誰告訴我嗎?你們大中午的斷了三十分鐘,五十萬人打不通電話,蘇丹人民沒去砸客戶的營(yíng)業(yè)廳算你走狗屎運(yùn)了?!?p>  “你知道得這么清楚?”錢旦借著酒意,語氣中明顯流露出了不友好。

  “我去‘ST電信’隨便找個(gè)人,就能看到你們寫的事故分析報(bào)告,你以為呢?”張旺關(guān)了水龍頭,把手甩了甩,仍然沒有望向錢旦。

  錢旦心里有話,不知道怎么說。

  他推開洗手間的門,又停下了腳步,突然轉(zhuǎn)過身來冒出一句沒頭沒腦的話:“旺哥,你別老纏著曾子健?。 ?p>  張旺終于轉(zhuǎn)過身來,望著錢旦,仍然是慢條斯理地:“兄弟,你喝多了吧?什么叫我老纏著曾子?。磕闶怯X得我把曾子健帶到溝里去了?我可以很負(fù)責(zé)地告訴你,給他帶路我還不夠格??磥砟悴⒉涣私饽愕暮门笥寻。杀任覅柡Χ嗔??!?p>  錢旦一回到包間,陳永生醉意深深地叫:“老旦,跑哪里去了?兄弟們說你尿遁了,我不信,旦總是那樣的人嗎?再說,你要在開羅也許還能遁到哪個(gè)相好的家里去,在喀土穆你想遁也沒地方遁吧?”

  錢旦說:“我在外面看到‘F公司’的人也在這里吃飯,大家小聲點(diǎn),隔墻有耳?!?p>  陳永生說:“小什么聲?我們不談工作就行了?!?p>  他拉著錢旦的胳膊,把他拉近一點(diǎn),小聲說:“蘇丹下半年有個(gè)決定性的大項(xiàng)目,我們?cè)谝龑?dǎo)‘ST電信’重新建網(wǎng),上‘3G’,老鐘本來想作為一個(gè)保密項(xiàng)目悄悄運(yùn)作,但是瞞不住,還是被‘F公司’知道了,要招標(biāo)了。老鐘志在必得,想一舉把‘F公司’趕出去!”

  “什么時(shí)候會(huì)出結(jié)果?我要不要提前準(zhǔn)備交付資源?”

  “不急,節(jié)奏沒那么快,但年底前肯定要拿下來。所以最近非常敏感,你們千萬不要再出事故了。老鐘非常小心,你那天不是說他有四部手機(jī)嗎?有一部就是他在運(yùn)作這個(gè)項(xiàng)目時(shí)越想越不放心,專門又買了部手機(jī),知道這個(gè)手機(jī)號(hào)的人加上地區(qū)部領(lǐng)導(dǎo)不超過五個(gè)人,防人知道號(hào)碼后竊聽他?!?p>  錢旦說:“竊聽?越來越夸張了啊!”

  酒足飯飽,他們又習(xí)慣地回了辦公室。

  林漢戴上耳機(jī)開始打電話,錢旦和陳永生坐在一起聊天,曹松伸了個(gè)懶腰,走向后院。未幾,他的嘶吼聲在后院響起:

  把握生命里的每一分鐘

  全力以赴我們心中的夢(mèng)

  不經(jīng)歷風(fēng)雨

  怎么見彩虹

  沒有人能隨隨便便成功

  老鐘從自己的小辦公室里走了出來,向門外走去,他行色匆匆,聽到歌聲后停了停腳步,大聲說到:“靠!瘋掉了一個(gè)?是曹松吧?陳永生,你請(qǐng)大家吃頓飯,放松下,別全瘋掉了?!?p>  辦公室里的人笑了起來,陳永生回答:“剛吃完,曹松今天喝好了?!?p>  老鐘又說:“你們小心點(diǎn),公司只看結(jié)果,看貢獻(xiàn)。結(jié)果好,我們做的一切都是對(duì)的,結(jié)果不好,我們做的一切都是錯(cuò)的?!畟ブ小瘡膩碇挥姓嫘挠⑿郏淮嬖谑裁幢橛⑿?。”

  言罷,他消失在門外。

  錢旦在想:這兩年很多同事從國(guó)內(nèi)來到海外,有些人如自己一樣做好充分準(zhǔn)備之后才出來,有些人如曹松一樣是從“出趟短差”一不小心變成了“扎根天涯”,但大家都是既來之,則安之,默默奮斗在世界每個(gè)角落,著實(shí)不容易。

  陳永生在想:誰說中國(guó)人在傳統(tǒng)上只是守著自己的黃土地,沒有冒險(xiǎn)精神?唐朝僧人千里跋涉向西域、鄭和船隊(duì)浩浩蕩蕩至非洲、清末12歲的幼童們就組團(tuán)飄洋過海去求學(xué),今天的人們不過是追隨著前人的腳步而已。盡管幾百年來,中國(guó)人的一步一步走得太緩慢、太艱難。

  林漢在一旁摘了耳機(jī),神秘兮兮地走到錢旦身邊:“老大,我們到外面去,跟你說個(gè)事,太震驚了!”

  錢旦莫名其妙地跟著他一直走到了院子外面,站在院門口的路邊。

  林漢按捺不住地用嗓子眼里發(fā)出的聲音說:“我靠,真的無間道?。〉貐^(qū)部抓到了一個(gè)內(nèi)鬼。”

  錢旦覺得尾椎骨處突如其來一股涼意,順著脊梁一路沖到頭頂。他能夠感覺到自己的聲音的顫抖:“抓到了誰?誰是內(nèi)鬼?”

按 “鍵盤左鍵←” 返回上一章  按 “鍵盤右鍵→” 進(jìn)入下一章  按 “空格鍵” 向下滾動(dòng)
目錄
目錄
設(shè)置
設(shè)置
書架
加入書架
書頁
返回書頁
指南