ChatGPT標註數據比人類便宜20倍，80%任務上佔優勢 | 蘇黎世大學_風聞

　　Pine 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　又一“人類飯碗”被AI搶走，還是和訓練AI息息相關的：

　　數據標註。

　　蘇黎世大學研究發現，在ChatGPT面前，無論成本還是效率，人類可以説是毫無優勢：

　　成本上，ChatGPT平均每個標註成本低於0.003美元，比眾包平台便宜20倍；

　　效率上，在相關性、立場、主題等任務中，ChatGPT也是以4:1的優勢“碾壓”人類。

　　論文發出後，有網友調侃，“生成訓練數據需要人工”的説法已經成為過去式了。

　　還有人直呼“古籍修復數字化工作是不是有希望提速了”。

　　還有人看熱鬧不嫌事大，直接發推稱：

　　這是直接端了平台工作者的飯碗。

　　話説回來，ChatGPT是怎麼搶了數據標註工作者的“飯碗”的？

　　ChatGPT在80%任務上佔優勢

　　首先得先了解下數據標註工作的具體內容。

　　簡單來講，數據標註就是給社交媒體上的內容數據貼標籤，將其以不同主題或者概念進行分類，或是對其立場以及情緒進行判別。

　　這些經過標註的數據就可以用作NLP模型的訓練集或是評估標準。

　　以往，這類工作都是交由人工處理的，比如説MTurk就是專門進行數據標註的一個眾包平台。

　　在MTurk這類眾包平台內部，還會有更加精細的分工，比如説會有經過專業訓練的數據標註者以及眾包工作者。

　　前者在產出高質量數據上具有優勢，但自然成本也更高，而後者雖然更便宜但質量也會隨任務難度波動。

　　於是研究團隊就開始着手研究大語言模型（LLM）在這方面的潛力，並且對比了沒有額外訓練（zero-shot）的ChatGPT（基於GPT-3.5）和MTurk在數據標註上的性能。

　　這項對比基於研究團隊此前收集到的2382條推文樣本。

　　ChatGPT和MTurk分別將推文以“相關性、立場、主題、政策、實用性”這五種任務進行標註。

　　評估的標準有兩條：

　　準確性：ChatGPT和MTurk眾包工作者相較於正確標註的百分比；

　　編碼者間的一致性信度：用ChatGPT、MTurk眾包工作者以及專業數據標註者任意二者之間的一致性來計算；

　　結果呢也顯而易見，在準確性上，ChatGPT有五分之四的任務都要優於MTurk眾包工作者。

　　在一致性信度上，ChatGPT全部任務都超過了專業數據標註者。

　　成本方面，開頭也已經提過，ChatGPT平均每條比人工便宜20倍，何況AI還能24*7無休。

　　不過對於研究團隊得出的這個結論並不是所有網友都買賬，有人表示：

　　這五條任務都太單一了，難度也是。僅憑這一點就得出這樣的結論可靠性存疑。

　　甚至還有網友嘲諷了起研究樣本太少來：

　　（竟然）只用2382條推文做樣本。

　　“飯碗威脅”不止數據標註

　　現在，AI會不會完全取代某一類工作還不好説，但它會在一定程度上影響人類工作是毋庸置疑的。

　　上週，OpenAI就發佈過一份分析報告，稱有80%的工作都會在一定程度上受到ChatGPT的影響，19%的崗位會受到ChatGPT的嚴重衝擊。

　　並且薪資越高的職業受到的衝擊就越大。

　　OpenAI還進一步列出了會被影響的具體職業，從大到小依次是：

　　翻譯從業者、文字創作者（包括詩人、作家等）、公關人員、數學家、税務編制人員、區塊鏈工程師、財務工作者、媒體從業者……

　　****△圖源：OpenAI

　　除此之外，OpenAI的CEO奧特曼也不止在一個場合下説過“AI會取代現有的部分工作”。

　　前不久，MidjourneyV5大升級也是讓不少人類畫師直呼飯碗不保。

　　emmmmmm，你覺得你的飯碗還保得住嗎？

　　論文地址：

　　https://arxiv.org/abs/2303.15056

　　參考鏈接：

　　https://twitter.com/arankomatsuzaki/status/164052197060840243