説説這幾年我做人工智能研究的一些體會_風聞
和光同尘-32分钟前
【本文由“印加節度使”推薦,來自《IT崗位天塌了!Claude 4震撼發佈:AI編程大模型再進化》評論區,標題為小編添加】
- 印加節度使
- 我不懂這個,但是據我道聽途説所知,這個認識並不對,無論行業大模型還是通用大模型,都是無監督學習作為預訓練、監督學習作為訓練主體,而且現在監督學習的部分都有向自監督學習也就是SSL過渡的趨勢,數據標註等你説的目前高度人工密集的部分在長遠看肯定會走向淘汰,至少是人工需求收縮到極低水平。
至於越精深越需要人,這是現在DL架構本身的侷限性造成的,在自然語言模型領域就像猴子掰苞谷是RNN架構的固有侷限性、一本正經的胡説八道是Transformer架構的固有侷限性一樣。我傾向於這個特徵是否能維持下去取決於機器學習底層架構是否能有進一步突破,這種突破能在我這一代人工作的年代裏到達什麼程度。如果發生了進一步的架構設計上的突破,那麼我説的可能就更接近現實;如果沒有,那麼你説的可能更接近現實。比如空軍的發展,印巴空戰的結果已經很明顯,飛行員不僅是制約空戰性能最大的物理短板,而且作為孤立結點已經不可能改變戰局,他們繼續在座艙裏存在的僅剩價值是短延時、不受干擾、低功率和便宜(目前相比搬一座計算中心和發電機組到飛機上去而言,放幾千兩黃金在座艙裏顯然功耗和價格都低得多)。並不是説AI就一定能怎麼樣,摩爾定律到頂導致硅基半導體為基礎的這一條技術路線走到頭,最終達到一個人腦需求與電腦能力的平衡,然後人類依託之重新配置自己的社會分工,是有可能的,當年航天事業剛興起時很多人也幻想立即實現移民火星、銀河帝國、卡爾達肖夫等級文明等等,後來才意識到人類在地球上可供養的宇航資源和可支撐的可靠人造平台複雜程度都有極限,在自然發展的情況下其實連個月球基地都搞不定,維持個可複用穿梭工具(不管是航天飛機還是星艦獵鷹長八九十之類的玩意兒)甚至空間站都還有很長的路要走。但即使是這種情況,我傾向於長遠來看,非人類內部交互性工作(也就是所謂“理工科”尤其排除醫學等特例後那種“純理工科”的應用領域)對普通層次人類勞動的需求確實會越來越少,如果想想我國五十年代中後期共產主義暢想曲時代和八十年代初科幻熱期間對現在社會的物質想象,再看看現在真實的社會分工,這就是最大的區別,“水漲船高”對一些優秀個體的個人體驗或許能實現,對社會整體是並沒有實現的。這可能是將來的人類社會需要解決的現實問題。
一些未來概念性的東西我也説不好,就説説這幾年我做人工智能研究的一些體會吧。
1.行業大模型訓練離不開大量人工輔助是長期趨勢。我做了挺長時間行業專用模型自監督學習的研究,本來抱了很大希望但基本沒有太好的進展。我覺得這就好像一個普通人的成長或許可以讓他到社會上自己摸爬滾打,但要培養一個頂尖科學家是需要導師和正規的科研訓練的,至少在培養效率上比自學要高太多了。未來人工智能靠自我迭代成長為頂尖科學家超越人類無所不能的這種願景,目前看還找不到實現的途徑。
2.Transformer架構只是在自然語言的應用,特別是知識問答的場景有一定優勢,實際上知識問答在行業裏只是入門級的應用。行業裏更需要一些深層次的應用,比如透明決策、行為分析、路徑規劃等等,這些需要不同的模型,比如圖神經網絡GNN就更適合行為分析,我的研究主要在這個方向。隨着應用的深入需要各種細分的模型就更多,開發量也更大,做AI本質上還是在做軟件開發。
3.説個有趣的事,本來我們以為有了AI會淘汰一批人,結果發現反而培養了更多人。例如每當有重大事件的時候我們都要派相當一批高水平的專業人員去駐場,但現在我們可以派更多剛入門的新同事去,因為他們遇到不懂的情況可以馬上問AI,AI立刻給他們解答,他們成長的很快。這是從另一個途徑降低了人力成本,我們一開始是沒想到的。