中國高科技公司又再做一件治標不治本的事情?_風聞
九九归一-02-14 14:21
【本文來自《 北京:支持頭部企業打造對標ChatGPT的大模型》評論區,標題為小編添加】
這麼搞,感覺又是在治標不治本。人工智能被大眾認識,那是alphaGo,然後是alphaGo2打敗韓國圍棋九段李世石。那時候,人工智能採用的CNN和DNN計算機神經元網絡,後來有了RNN,當然最看好還是2015後的LSTM神經元網絡,它是一種RNN的變種。人們曾經很看好這個LSTM,但是隨着2017年穀歌的transformer模型的出現,所有重點轉向了這個最新的Transformer,GPT的全稱是,Generative Pre-training Transformer, 説明這個GPT也是採用了 Transformer的模型,Transformer 這個字,在遊戲裏,翻譯成 變形金剛,這裏有些翻譯成模型,有些翻譯成轉換器,Generative Pre-training Transformer 直譯就是 預先訓練的可自我生成內容(或者説答案)的轉換器。
谷歌在設計這個transfomer的初衷是為了解決語言翻譯的問題,當發言者説出第一個字,要預測他後面可能説的字,比如,有個笑話裏説的, 有人在台上發言説,”我是省委書記,“停頓了一下,下面的人以為他是省委書記,拼命鼓掌,他接着説,”派來的“,下面的人,頓時鴉雀無聲,作為人工智能等待機器人,它也要判斷,第一句話之後,後續可能出現的句子,並對此做出及時反應,而不是像過去,要等到整個句子講完才翻譯。這個問題,跟當初的alphaGo遇到的問題類似,當菜鳥棋手,下一步棋,他可能就只能看到下一步,而帶段位的棋手至少可以看30-40步,而alphaGo可以看到百步以後,這裏面真正的牛,是CNN神經元網絡。而谷歌的Transformer利用了很多的CNN。
Transformer是谷歌的核心技術,是為了自然語言處理和翻譯設計的,而OpenAI這家的公司利用了這個技術完成了今天的ChatGPT,如果中國的高科技公司只是看到了ChatGPT的成功,跟着ChatGPT的模式,去學習OpenAi 在聊天機器人的模式,而忽略了OpenAI是如何從通用的Transformer入手,把谷歌提供的最基礎的東西學到手,並用在自己應用上發揚光大,那還不是在做一件治標不治本的事情?