30萬「程序猿」的未來簡史:去O,上雲_風聞
Tech星球-Tech星球官方账号-聚焦互联网前沿科技和新商业。2020-06-12 18:08
呼蘭拜見DBA“師祖”,向30萬人喊話。
文 | Tech星球 張宇婷
“有一天醒來,我站上體重秤,顯示身體年齡57歲。”
不久前,脱口秀演員呼蘭決定不再兼職程序員工作。畢業於哥倫比亞大學精算專業的呼蘭,曾經在上海擔任創業公司CTO。上秤那天,他的“第一個想法是,再幹3年就可以退休了”。
6月9日,在一場名叫“頭號雲話題”的對話節目中,呼蘭碰到了另外一位“師祖級”程序員蓋國強。蓋國強輕鬆談笑,毫無焦慮感,甚至摸摸自己剛剃的髮型,打趣道,“我的髮型,已經是從青銅到王者”。節目被製作方傳到抖音、B站上,一些留言評論,這位髮型一看就是大神。
在中國超過30萬數據庫工程師(簡稱DBA)中,蓋國強的確是大神,甚至影響了整個職業羣體發展。曾經被Oracle(甲骨文)公司授予Oracle ACE Director(ACE 總監)稱號,這是Oracle公司對外部所能授予的最高技術榮譽,當他在2008年作為國內首位大咖獲得這個稱號時,商業數據庫正如日中天。
當年,騰訊、阿里巴巴、華為,所能想到的互聯網大廠,都以最高薪招聘數據庫工程師,甚至可以達到月薪10萬;而蓋國強建立了圈內最好的線上社區,出版了10多部業內追捧的Oracle業務手冊。令人想不到的是,他和呼蘭探討的話題竟然是:商用數據庫工程師,會不會在兩、三年後像恐龍一樣滅絕?
疫情中的三種流量峯值
“需要焦慮的不是程序員,而是傳統廠商……” 坐在蓋國強身邊的李飛飛説。花名飛刀,快言快語,李飛飛是有全球影響力的達摩院首席數據庫科學家,阿里巴巴副總裁,阿里雲數據庫負責人。
左為雲和恩墨、ACOUG創始人蓋國強,右為阿里雲數據庫負責人李飛飛
蓋國強點點頭説:“得DBA者得天下”,誰能讓30萬人更快擁抱雲原生,誰的數據庫就將取得未來的市場。全球權威的技術諮詢公司Gartner預計,2023年前,75%的數據庫會跑在雲端,不再是公司採購的設備上。
正在度過的疫情中,直播帶貨、在線教育、在線娛樂,屢屢突破流量峯值。三個似乎毫不相關的場景背後,是同樣的數據大量併發交互。這背後的雲原生數據庫,承受了普通人也能感知的一些考驗。
6月6號晚,劉濤(花名劉一刀)在淘寶直播單場破2.2億元的銷售額,創下明星直播帶貨的新記錄。劉一刀入職阿里後,四場直播,場場觀看人數都破億。其中,每一筆交易,都要同時錄入10幾個關鍵數據,包括資金、庫存、用户等各個維度,出錯一個,買不到貨的“剁手黨”一定會跳起來。
前一個週末,在線教育獨角獸猿輔導,例行模擬考試,百萬量級學生同時在線參加。這類考試,系統會10分鐘內直接評分,並生成智能診斷分析報告。
猿題庫產品技術總監張文治告訴Tech星球(微信ID:tech618),每天至少會2.5億道題目的數據產生,學生、家長、老師,都在產生數據的鏈路上。通過大量數據進行教學交互分析,也是猿輔導的強項。
由於境外地區仍然居家隔離,讓在線娛樂需求陡然增加,遊戲出海領頭羊莉莉絲、TapTap等繼續在東南亞、日本市場獲得高速增長。同時,玩家數量和時長的增加,讓實時數據驅動運營的難度增大。
這些場景下,大量級的數據交互,目前都跑在阿里巴巴的數據庫產品上。天貓雙11是更大的場景,其中PolarDB產品甚至每秒支持8700萬次交易事務。
如果由一家公司去購買傳統商業數據庫,再部署在自己服務設備上,完全無法做到實時、低成本。商業數據庫的收費按年計算,商業談判週期按月度起算,上述場景的數據峯值,都是在幾天甚至一天之內發生。
傳統商業數據庫時代,還要花費DBA大量搬磚精力進行安裝部署、升級擴容等基礎性工作。任何數據的提取、分析也都需要人工操作,而未來的數據管理趨勢是智能化。數據管理工作,因為雲和AI正在變得更加智能化,架構師、算法工程師成了當下的熱門職業。
雲原生數據庫技術革命,聯動着DBA人羣的職業發展。以蓋國強為代表的,以使用Oracle為主的30萬數據庫技術人才(行業社區估算),要同時經歷這場雲原生技術的變革洗禮。
6月9日,李飛飛也公佈了大量阿里雲客户的意願,今年要幫助1000家企業替代傳統數據庫(業內普遍稱為“去O”),10000套傳統數據倉庫上雲。
「Hi,師祖」
由於蓋國強在數據庫領域工作了20年,他拿出一張手機截圖,年輕一代已經常用“師祖”的稱呼跟他説“hi”。
“看清走勢,雲是一個大趨勢”,這位曾經摘得商用數據庫至高榮譽的人,卻在2014年成為最早一批轉型雲數據庫的工程師。
早在2011年,蓋國強和自己在運維社區中認識的幾個朋友,成立了創業公司“雲和恩墨”,把“雲”這個字寫進公司的名字裏。
蓋國強公司「雲和恩墨」合照
蓋國強在Oracle商用數據庫圈子裏太有名了,以至於他將自己的公司和雲綁定在一起,讓業內人士感覺“挺反認知的”。
2014年恐怕是創業幾年後,印象最為深刻的一年。當年7月,北京下了一場罕見的大雨;另一面,一個客户投入了半年多時間的項目上線在即。
7月20日,就在項目上線的第二天,系統出現了嚴重的性能問題,頻繁崩潰。當客户找到蓋國強時,滿懷期待的問,到底有沒有辦法徹底解決,在變更發佈中循環往復出現的性能故障。
抱着認真的責任感,還有過往的經驗,蓋國強和團隊拿出全部的技術積累診斷優化系統,將引發問題的SQL進行了全面的優化。雖然最後系統恢復,但蓋國強和客户深度覆盤:要從根本上杜絕上線故障,一定要在變更發佈前進行嚴格的SQL無死角地毯式排查。
“打死我也不做!”
誰知,在交代接下來的工作時,團隊中一位剛剛從阿里雲來加盟,被蓋國強在圈內名氣吸引的技術專家,竟然反駁道。
“我願意用產品化的方式實現出來,發揮技術的最大優勢,而不再是像以前一樣用人力循環往復。”他説道。
蓋國強以為,憑藉自己多年的經驗,前置的審核排查消滅問題,已經是最好的解決方案;他想不到的是,一個剛剛入職的年輕員工卻用互聯網的方法,更進一步,改變了他的認知。
覆盤公司過去三年的發展歷程,確實,如今越來越多的用户上了雲,一位金融客户在當時已經將核心業務搬到雲上。但彼時蓋國強的公司還在靠着人力提供服務,成功的項目甚至還帶點“個人英雄主義的色彩”。
可這能讓公司走多遠呢?
蓋國強反思,”是否可以通過一種雲上的產品,將技術普適化?”
選擇,因為相信還是因為看見?
“退回到過去,最難的是前瞻”,蓋國強對Tech星球(微信ID:tech618)説。
16年前,2004年的淘寶曾經有着全球最大的 Oracle 集羣,但互聯網發展的速度太快,阿里巴巴對數據的需求超過了IOE(IBM小型機、Oracle數據庫、EMC存儲)的極限。2008年,時任阿里巴巴首席架構師、阿里雲CTO王堅首次提出“去IOE”,但當時,阿里巴巴內部從技術大牛到一線實習生,都覺得去IOE是不太靠譜的事情。
在曲折中前進,阿里巴巴能夠“去IOE”的成功背後,是阿里巴巴三任CTO的合力。除了當時CTO王堅,還包括前任阿里巴巴CTO、現任阿里雲總裁行癲在淘寶的推動,以及現任CTO魯肅在支付寶金融平台上的努力。
2014年的時候,技術大拿蓋國強當然知道,阿里巴巴脱離商用數據庫過程中經歷的所有難題。倒退回2014年,行業大勢是沒能看得清楚的。如今已是全國第一、全球第三的阿里雲,在當時不過成立5年,沒有像今天這樣成功。
蓋國強很佩服Salesforce創始人貝尼奧夫,這家SaaS公司與Oracle、AWS齊名,是引領了雲技術的開創性公司。
貝尼奧夫在1999年創立Salesforce,推出“no software(消滅軟件)”的口號,當時亦沒有人相信。
“未來是什麼?未來不是現實,未來只是潛在的現實;只有我們直面它、相信它,併為之奮鬥,它才可能成為現實。”2014年之後,蓋國強和公司決定,把所有的收入,投入到面向雲時代的產品研發中。創始團隊不拿錢,全部砸到研發中。
新的行動,需要從無到有建立研發團隊,把所有的錢投入到未知的產品研發上去。
幸運的是,蓋國強的創始團隊竟然沒有分歧,甚至有核心成員表達了更加激進向雲轉型的想法。
這種高度的一致,源自創世團隊的五位成員,都曾是蓋國強成立的技術社區中的網友。當初的技術社區主題是Oracle商用數據庫,今天幾位網友又一起攜手轉型。
但並不是沒有困難。
蓋國強回憶,那時需要大量投資,風險很大。
“如果做產品,進入到你們不熟悉的領域。你是阿里還是騰訊,哪有技術底氣?你們的經驗哪裏來?你們的創意來自哪?你們有研發團隊?”客户不斷質疑。
團隊甚至走過了一段彎路。
一個產品的轉型先鋒隊,一年人工成本就要三五百萬。一開始兩年的時間,沒有取得太大的成績,上千萬投入就打了水漂。
轉型後的公司逐漸形成了六大產品。結果和當初的設想是否完全一樣,已不重要,難得的是堅持下來了。
蓋國強的公司通過靠人力輸出服務,進化到輸出產品,雲化產品。從圍繞私有化場景提供服務,逐漸演進到兼顧公有云服務。
科技創業很殘酷,有時候往往行業只認前三名,你必須有足夠的前瞻、人才和產品,還要轉化為客户認同的價值。
蓋國強最早意識到要轉型,作為技術分享者,在各種公開場合,他毫不吝嗇的分享自己的觀點。這甚至讓他們前瞻性的產品在同期產生了更多的競爭者。
他的邏輯是:我做的不好,願意被淘汰,我做的好自然有回報,競爭者讓我加速進步。“説白了,不自己革命,被別人革命更慘”,蓋國強説道。
進化不是從石頭縫「蹦」出來的
王堅曾多次説:“‘去IOE’最難的就在於人。每一次的技術轉換,我們都是在革自己的命。如果沒有同事們當時敢於嘗試的勇氣,阿里的技術難題都可能扛不過去。”
可以理解,一個學了大半輩子Oracle的程序員,突然要學習開源數據庫、雲數據庫,意味着一切要重新開始。
以前蓋國強寫了很多本關於Oracle的書,那些書在豆瓣上早期評分接近8分。但這幾年,這些書翻閲的人變少了。
天變了。
可能蓋國強足夠聰明,除了自己轉型,他當時帶着公司的DBA們開始轉型。
“我從來沒有把過去的成績,看成一個負擔或者標籤。在IT的技術領域,是不斷成長快速向前的。”
“靠人的交付有差異,靠產品就不會。”
“但從商業數據庫,到雲端原生數據庫技術,我並不認為這會帶來什麼挑戰。挑戰是在心裏。”
過去十年,是科技行業進化的黃金十年,但DBA這個羣體並沒有想象中進步地快。
20年前DBA做的是數據庫的安裝、備份、巡檢;20年後做的事情還是這些。但實際上,今天的雲數據庫已經可以把基礎的工作用新的形式替代掉。DBA從業人員可以從瑣碎的工作中脱身,演進為數據架構師、數據分析師、算法工程師。
回到開篇提到的呼蘭和蓋國強的對話。呼蘭認為:從傳統商用數據庫到雲原生數據庫,對於程序員來説,就像是開的車,從燃油車升級成電動車。數據庫本身的核心優化、事務處理、SQL的交互是沒有大的變化。但云上原生數據庫標準、語法、生態一致且好用,技術上不擔心被鎖死。這和傳統商用數據庫有本質區別。
極客脱口秀演員 呼蘭
5G和IOT時代來臨,也稱作AIOT。這將給行業帶來進一步的變化,數據更加複雜化,數據向流的方式轉變。雲端邊一體,對於IOT數據的處理產生新的挑戰。
雲原生數據庫不是從石頭縫子“蹦”出來,是過去四十年間,數據庫的積累之上產生的,雲數據庫更多是從開源發展起來的。數據庫的理論和原理沒有被顛覆,本質相通。DBA進入到雲數據庫領域,難度並沒有那麼高,只要完成思想的轉變,轉變過程是非常快的,難的是心理上的畏懼感。
“因為人天然擔憂和畏懼新的挑戰”,蓋國強説。
從傳統商用、開源到雲原生數據庫,真正改變的是,資源的使用方式。雲其實是提供新的算力,可以彈性伸縮即時獲取。
企業更喜歡買固定資產,對軟件資產認知不足。放棄固定資產採購轉為雲上採購,把可以管理的數據資源搬到雲上,又是一個巨大的挑戰。“挑戰人性,人對於變化的畏懼。”
“在IT這個世界裏,你學習的慢就是退步。別人是百米衝刺,你慢悠悠就會被淘汰。如果我們跑在行業後面,就幫助不了用户。”
“我們要解放人,不做搬磚的苦力活,‘革命’才有能力做更有價值的事情”,蓋國強認為,並不是技術革了你的命,而是不進步的技術會革掉你的命。
搞技術的人,從入行到專家,三年時間可以掌握一個新技能。一種風潮的形成,從造勢到成為趨勢,大約就是三年。
三年前,認識到開源數據庫、雲原生數據庫是未來,蓋國強要求公司所有人學習數據產品掌握技能,“大家最開始是牴觸的”。
到了今年,他已經不再要求了。叫他“師祖”的年輕人們反而覺得,如果你不讓我學習PolarDB (阿里雲自主研發的新一代雲原生數據庫)是在阻礙我的前途,你是不是對我有意見?
未來簡史,數據庫生態加速
數據庫經過幾個發展階段,分分合合。
如今,加上開源數據庫、雲上數據庫,數據庫行業再次進入到羣雄爭霸的階段。
在傳統數據庫時代,DBA的生活狀態一般是熬夜加班,每一套數據庫的腳本和演練,實施、測試,至少要做半年。每一個“五一”、“春節”等假日,7*24小時工作,一旦出現問題,趕去救火。
DBA為什麼要過這樣的生活?如果有一種新的技術可以將升級遷移變成自動的,不需要熬夜加班搞測試,將省下來的時間用於學習,為什麼要揪着過去的苦日子不放?
DBA這個羣體是保護數據庫的,國產數據庫、開源數據庫在實踐中要靠DBA,整個生態的推動。DBA可以自信地認為,自己是雲廠商之爭中最炙手可熱的香餑餑。
第一次聽説PolarDB公測後,猿輔導產品技術總監張文治就覺得,這個產品的分佈式特點,可能會適合於集中學習考試這樣的場景。猿輔導運營在線模擬測試已經頗有心得,疫情期間,這個能力被老師、學生認可,在此之前,數據庫運維團隊和阿里雲團隊一起,在2天左右時間,就完成了數據庫的擴容。
張文治認為,新型雲原生數據庫,近幾年確實可以讓數據團隊更專注於業務,團隊不斷擴大,在公司也獲得更大認同,但是,也要同時注意雲原生數據庫和開源數據庫的差異,這樣在問題追查中,更遊刃有餘。
幾年間,阿里雲還研製了DTS、ADAM、DAS等一整套幫助數據遷移和自動運維的工具包。即便從Oracle數據庫遷移,往往也只需要修改5%不到的代碼量,另外,雲原生數據倉庫AnalyticDB也可以很好的解決各類數據分析場景的調整。
從傳統數據庫到雲數據庫,技術的轉變是實實在在的,但不是暴風雨的前夜,海鷗搏擊暴風雨,而是春雨隨風潛入夜。
數據庫看似古老的領域,在IT界已經有40年曆史的數據庫,就像這個領域的恐龍。但這個’恐龍’卻不會滅亡,只是會向新的方向轉型進化。
DBA是否會覺得在雲計算時代,自己不再重要?被拋棄?
事實上,恰恰相反。在數據庫從業人員行業裏,有一句話:數據庫最後一公里,得DBA者得未來。
阿里雲數據庫負責人李飛飛則説,“得生態者得未來”。