華為在海外做這類項目，基本都是九死一生_風聞

作者：秦志強          

      海外大型數據中心項目交付難度大、變更頻繁、經營難控，同時合同條款苛刻，是海外最難做的項目之一。土耳其IDC6數據中心項目交付路上遇到的每一道坎，就像山路中的“十八道彎”，充滿曲折和艱辛，只有經歷過，挺過去，才能體會行到山窮處，坐看雲起時的開懷與淡然。

最後一天敲定施工合同

      2016年8月，經過一路角逐，華為在土耳其電信數據中心（IDC6）項目招標中笑到了最後。還沒來得及舉杯相慶，巨大的交付壓力就擺在面前：這是代表處集成的首個大型數據中心項目，2000平米的白區、2700KW 設計IT負載，當時沒有數據中心領域交付專家，地區部的專家資源也集中在白俄羅斯的數據中心項目上，人力嚴重不足。

      經再三考慮，代表處決定任命C&SI部門本地骨幹員工Mert Kilickap為項目PM，一名中方擔任TD，C&SI部門主管黎明君（黎叔）則主動請纓擔任項目PD。大家目標一致：一定要交付好首個局點，為土耳其數據中心業務發展立好樣板。

       客户要求業務快速上線，需要華為在6個月內完成項目交付。工期十分緊張，原計劃是11月份安排分包商進場施工，近一個月的時間，經過多次艱苦卓絕的談判，我們和主分包商E最終達成了主要的採購目標，但一直未能對合同條款達成一致，談判陷入僵局。

       離計劃進場只有兩天時，黎叔很焦急，如果再毫無進展，只怕要涼涼。項目組擬定了最後一輪談判的策略，採購主管馮沙唱白臉，PD黎叔唱紅臉，雙方在關鍵條款上進行了長達7個小時的拉鋸戰，分包商老闆還是堅持不接受延誤罰款條款。

      黎叔從話裏話外聽出了E的意思：E首次與華為合作，並不完全相信華為的數據中心交付能力，所以不願意在合同條款上承擔太多的風險。為了打消E的疑慮，項目組展示了華為在全球豐富的數據中心項目交付成功案例，以及對於本項目投入的技術團隊和充分的準備工作。這番展示給了E信心，E覺得和華為合作應該靠譜，最終接受了合同條款。

       簽完合同已是深夜十二點多，按計劃，分包商第二天就應該進場了，但是我們內部流程還未走完，來不及等到次日早上，凌晨一點，黎叔帶着歉意打電話給公司內部各個流程節點的合同評審人，逐一解釋並請求他們從被窩中爬起來評審合同。“折騰”到凌晨5點多，就差代表評審了，黎叔和馮沙得知代表會在早上6點多出差，他們又趕緊驅車趕到他居住的小區樓下，“逮着”他完成了合同評審。

       這個不眠夜，項目組完成了幾乎不可能完成的任務。早上9點，分包PO順利下發，分包商按計劃進場，交付終於可以開幹了！

一場百年一遇的暴雪

       2017年初，項目處於土建高峯期，現場上百號人正在進行緊張的交付。不巧的是，伊斯坦布爾下了一場百年不遇的暴雪。

      那場雪下了整整一夜，第二天積雪足有30公分厚，工人們還在為下這麼大的雪興奮，喝着茶抽着煙看着大雪紛飛，但轉頭就發現大事不妙，室外物料全部被大雪覆蓋，其他計劃的物料也無法發出，項目面臨停工的風險。但離給客户的承諾時間越來越近，我們耽誤不得。我找到工頭，希望繼續施工，工頭一開始不太情願，説氣温太低，工人凍手凍腳容易產生EHS事故。

      辦法總會比困難多，我靈機一動，讓他們把宿舍的取暖器全部搬到施工區域來維持温度，這樣施工得以繼續，雖説進度慢一點，但是比起停工還是要好很多。當時氣温零下十幾度，走道和施工出入口寒風刺骨，現場幾個交付兄弟輪番出去巡檢EHS和施工質量，凍得扛不住了就回辦公室取暖。這樣持續了大概兩週，積雪也慢慢融化，交付進度恢復正常。

      很感謝分包商夥伴，在如此惡劣的天氣下，我們的項目並沒有中斷，進度也沒有受太大影響。

​客户突然踩了剎車

       2017年2月3日，對項目組來説是一個黑色星期五。交付正熱火朝天之時，項目組收到一個壞消息：客户新上任CTO不看好數據中心業務前景，要求項目暫停，在沒有進一步通知之前，不允許繼續施工。

      等待了一個多月時，還沒有音訊，我們只好釋放了大部分現場資源，這期間我們一直和客户保持溝通，但直到7月初，客户才通知我們項目正式重啓。我們立即召集所有分包商商談重新入場的計劃，結果發現事情根本沒有我們預想的那麼簡單：分包商認為合同簽訂都快一年了，不能接受原合同價，要求漲價並索要停工期間的誤工補償。

       我們查看了國際原材料價格趨勢，發現從2016年10月到2017年7月，大宗材料價格確實有較大幅度的上漲，同時由於土耳其貨幣貶值，本地勞務價格也有上漲。如果按照原單價，項目將出現虧損。既然停工是客户發起的，那麼客户理應承擔這些停工損失。我們去找客户溝通，客户承諾不會讓華為有損失，要求我們先入場再談補償之事，但我們堅持補償損失後再入場交付是合理的訴求。

      僵持好幾周後，經過代表處與客户商談，落實了補償，同時客户也給出了最後期限，要求2018年2月28日必須完工，如延誤將鉅額罰款。

客户説延誤一天罰一百萬美金

       2017年9-12月是項目的爬坡期，那段時間地區部負責數據中心的同事都在忙着土耳其BTK數據中心項目的交付，我們項目現場交付的只有本地PM、本地技術專家和我，三個人頂着這麼大一個數據中心的交付，很多問題都跟丟了，項目到處冒火：分包商抱怨我們驗收付款太慢，沒法給工人支付工資，有幾次甚至直接停工；我們採購的電纜遲遲不能到貨，導致工人窩工，直接向交付副代表投訴；客户頻繁提出變更，指定品牌，華為內部流程又比較慢，客户不斷地跟系統部抱怨我們……

       到了12月底，從白俄數據中心項目中抽身出來的項目PCM張濤加入我們，擔任副PD，協助黎叔進行項目交付管理。那時候項目中好多重大問題都需要強有力的推動，濤哥的到來真是雪中送炭，一來就很犀利地推動問題閉環。有一次，為了一份客户指定的文件審批簽字，濤哥在領導開會的會議室前硬是等到晚上11點。這種雷厲風行的作風，讓很多問題很快得到解決，分包商遇到問題也積極向他求助，項目交付也逐漸順利了。

       客户項目Owner是一個非常嚴苛的人，特別注重承諾。眼看承諾的日期快到了，現場還有大量的硬裝沒完成，有一次他看完現場後，問黎叔：“你有能代表華為的官方授權嗎？” 黎叔説有，他立即説：“2月28號那天請把你們華為的律師帶到現場來，若項目沒完成我們就籤一下罰款文件，一天罰一百萬美金，謝謝！”然後和黎叔象徵性地握下手就走了。第二天，客户還邀請了法院人員來項目現場拍照取證。

       看來客户是鐵了心了，為了趕在2月28日完成硬裝，我們邀請了所有分包商老闆到現場開會，督促他們增加資源投入。在最後的那幾周，工人人數增加到300人，項目現場熱火朝天。我們每天和分包商過進展，制定第二天詳細計劃，一直忙到凌晨。我們的努力讓客户的現場管理人員看在眼裏，他們都留下來和我們一起加班，有問題及時澄清和確認。

       到了27日，現場主體硬裝完成了，只剩零星收尾。晚上，我們將主要區域打掃得乾乾淨淨，還找人連夜做了一段項目交付的延時攝像，在現場接待大廳循環播放，在緊張和期待中等待第二天的到來。28日，項目Owner來到現場檢查，剛開始一臉嚴肅，系統部主管明劍綱給客户詳細介紹每個系統的實施難度以及華為在交付過程中的努力，對於極少量沒有完成的工作，也逐條解釋了我們的下一步計劃。

      一邊聽一邊檢查的客户最後臉上終於露出了笑容，看到那段延時攝像尤為驚喜，對華為表示了感謝。我們每個人心裏那塊石頭終於落地了。

凌晨的簡易火鍋

       接下來就是準備測試，我們對質量和安全最大的擔心就是冷凍水系統漏水和電纜連接短路。我爬到空調底下，一台台檢查管道是否有漏水，同時將地板一塊塊掀開，檢查地板下主管道閥門處漏水情況。53台空調加幾百個閥門，檢查完之後人基本累散架了，還好這些都沒有問題。

       電氣安全我們則投入了更多的精力。項目有60多套低壓配電櫃，300多個開關，我和機關來出差的宋晶逐一進行了檢查，發現兩台UPS接線存在相間短路，低壓櫃一些開關相序錯誤，幸虧在上電前發現，否則後果不堪設想。我們將全部配電設備檢測了三遍，最終項目成功上電，沒有發生任何電氣事故。

       那一個月，現場有太多的工作：DCIM的安裝調測、空調控制方式更改、UPS和直流電源設備故障處理、電池性能測試、柴油發電機和冷水機組整改、分包商驗收以及其他分包PO談判，現場幾個中方同事基本都是忙到凌晨，連晚飯都顧不上吃，只能抽空多買一點肉、土豆之類的食材放在宿舍冰箱，凌晨回去後做簡易火鍋。雖然很累，但開心的是，我們的專業贏得了客户的認可。

一場與時間賽跑的整改

       2018年4月底，國際專業認證機構Uptime專家到項目現場進行建造認證測試，華為整體解決方案真正接受考驗的時候到了。按照測試程序進行的每一項測試都很成功，項目組很欣慰。但是第二天下午，一個失敗的測試狠狠地給我們澆了一頭冷水：在系統滿負載運行穩定後，我們需要進行冷凍水系統故障模擬測試，當一邊的閥門關閉後，從BMS系統監控屏上顯示機房温度卻一直在上升，5分鐘的時間從30℃上升到42℃，整個機房跟蒸籠一樣。

      我們火速暫停測試，排查原因，原來是一段管路連接錯誤，本該接到A路的，分包商接到B路去了。現在進行管路連接更換，不亞於對冷凍水系統進行一次“大手術”。我們按照平時的交付進度初步估算，整改至少需要2天時間，而Uptime專家返程時間早已經安排好，要是這次測試失敗，且不説得重新給Uptime下PO進行第二次測試，客户罰款肯定是免不了的。

       當時作為項目中方TD的我都絕望了，我們好不容易熬過2月28日那一關，如果因為此事導致客户罰款，那我在公司真是沒臉待下去了。

      當時濤哥打電話給分包商老闆，説明了事情的緊急性，要求他親自到場組織整改，我們對着整改步驟倒排了緊鑼密鼓的時間計劃，分析認為時間是來得及的。

      第三天下午4點，整個系統停機，3輛大罐車開啓兩個泄水口，將50多噸的乙二醇水溶液泄至罐車內；晚上8點泄水完畢，開始更改管道，為了確保管路一次性連接正確，我和地區部的專家Vitaliy通宵監督施工情況；第四天早上6點，管道更改完畢；上午12點，壓力測試正常。不得不提一下參與整改的十幾個工人，連續高強度工作了20個小時之後，基本都累趴下了，倒地就睡。

       之後我們再次進行故障模擬測試，關掉閥門之後，機房空調製冷輸出一切正常，問題被我們有驚無險地化解了。當天晚上10點多，Uptime專家完成了所有測試案例，這意味着我們通過了Uptime Tier III建造認證測試。

      技術專家Alexander説他認證過很多數據中心，其他項目也出現過一些問題，但沒有哪一個項目能像華為團隊一樣，在這麼短的時間內修復了這樣棘手的問題。夜裏12點，我們開車行駛在黑海之濱的高速公路上，我頭倚着車窗，看着滿天繁星，感覺到前所未有的放鬆。

       多少個日夜的堅守，終於換來了一點微薄的成績，項目的過程雖然曲折，但我們的堅持迎來了最後的勝利。

        

      2018年5月，客户CEO和CTO來到現場，看到這座獲得設計加建造雙認證的現代化數據中心已經可以正式對外運營增收，同時客户內部的老舊數據中心也可以進行遷移整合，很驚訝華為在這麼短的時間內完成了如此複雜的項目建設，當場對華為項目團隊表示感謝！

       濤哥説，在海外做大型數據中心項目，基本都是九死一生。此言不虛，過程固然很痛苦，但多點磨難，多點挫折，未來，我們的結果會更好。

來源：華為心聲社區

原文標題：《浪漫土耳其的“山路十八彎”——記IDC6數據中心項目交付》    

原文鏈接：http://xinsheng.huawei.com/cn/index.php?app=forum&mod=Detail&act=index&id=4233657