關於ChatGPT有很多不對的理解,如中國開發不出,又如聊天錯誤很多_風聞
陈经-亚洲视觉科技研发总监-02-09 20:22
1.一般不懂人工智能算法的,就容易神話AI,神話美國。ChatGPT這個水平的聊天機器人,中國公司做出來沒有問題,數據、算力、算法都是夠的。
2.其實美國那邊不少公司都做了大型語言模型,2020年GPT-3業界都是知道的,都覺得不錯,都用Transfomer模型去做,有不少語言模型突破。出圈的關鍵是OpenAI用了人工對話微調訓練,把機器的對話理解能力提升上去,可以給普通人用了。很多公司都在計劃做聊天機器人,很快就會一堆。
3.以前別的公司不做,是因為模型特別大,上千億個參數,訓練一次要花1億,如果不覺得有特別大意義,很難立項去做。現在效果出來了,很意外,出乎預料地好到出圈了,那別的公司就願意花大錢研究了,知道方向了。算法也不是秘密,行業交流很多,無法保密的。
4.芯片算力的問題,可以用雲來解決,並行就是説多個芯片一起幹。中國超算以前搞到世界第一就是堆芯片的路線,單個CPU或者GPU芯片不夠,就堆多一些。
5.還有些人説,ChatGPT犯了很多錯,聊天胡編,沒有的事亂説,還雙標,同一個事對中美標準不同。這有兩個原因,一個是一些對話不是ChatGPT,是山寨版或者編造的。
6.更大的原因是,大家測試的基本是ChatGPT的中文對話,這個訓練明顯不足,不是重點,也沒有對中國放開測試。英文對話表現要好多了,是有人工測試很多微調,花了很多錢來訓練,還人工對訓練素材進行糾正(如黃色、反LGBT之類的政治敏感素材要剔除,很注意政治正確),花很大精力。而且訓練素材是2021年以前的。
7.預計中國公司開發的聊天機器人表現會好多了,會以中文聊天為主,測試會很多,花錢去微調素材,無監督訓練變成部分有監督。監督越多,效果越好,等於好老師教出好學生,沒教過或者內容不對,機器人就會亂説。
