我覺得AI目前最大的問題突出就在於一個不可控_風聞

我覺得AI目前最大的問題突出就在於一個不可控。

訓練過程不可控，輸出結果不可控。

1、訓練過程不可控

種下龍種，收穫跳蚤。我在知乎看到過這樣的回答，有人訓練AI，用AI的狼去吃羊。AI的狼吃到了羊得分，被羊逃脱了扣分，要求最後結果最優（得分最高），期望獲得捕獵技巧高的AI。可是訓練集跑着跑着，他就發現最後AI狼一出生就自殺。為什麼會這樣？因為抓羊不那麼容易，非常容易得負分，獲得差評，那還不如一出生就死，0分比負分強多了。

2、輸出結果不可控

這裏可以看出它和那種過去經典的工具來説有巨大的差異。經典的工具每次輸入同樣的變量，輸出的結果是可控，是在預期範圍內的。從斧頭到核彈，都是類似的邏輯

而AI輸入同量的變量，輸出的結果卻是不同的。舉個例子，現在做AI繪畫的人把自己做的事叫做“煉丹”，這是什麼意思呢？你輸入同樣一組關鍵詞生成的照片，每一張都是不一樣的。裏面可能有很多張是符合人類設想的，但也會有奇奇怪怪的。像不像現在網絡小説裏面的描述的煉丹？

 

我認為 AI目前模擬的是生物大腦，很多底層原理基於神經網絡然後構建的模型。那麼它就更適合與自然界的生物類比而不是和人類製造的工具類比。

AI就像新冠病毒，你不知道它訓練後會怎麼樣進化。下一個變種是滅絕全人類，還是變得徹底無害。但是隻要它在持續進化，滅絕全人類的風險就始終存在。

你也可以把AI理解成一個人類的小孩，大家都是接受一樣的教育，有人保家衞國，有人殺人放火。

目前的AI還只能老老實實待在服務器裏，因為智力和算力正相關，互聯網上的機器算力不夠，出來後也是傻子。那以後會不會這樣呢？

就像我個人認為的那樣，最開始新冠病毒在實驗室裏面也許是一個非常好的、只對黃種人有害的病毒，完美無缺。最初可能還是想實驗室繼續研究的，但再完美的實驗室制度也沒能保證他不擴散。它擴散到自然界中，在自然界中自由變異了幾把之後，橫掃整個世界。

換成AI，我認為會是同樣的歷程。必然是在實驗室用純淨水一樣（可能嗎）的PB級的資料訓練出來的高智商的AI，當它越過了那個臨界點之後。必然會流落到互聯網的各類主機上，然後學習到互聯網上的各種各樣的東西（當然是不健康的為多），你猜它最後會進化成一個毀滅人類的ai（和你們這些蟲豸一起如何建設新地球）還是萬能的慈祥的老媽媽。

到那時你妄圖消滅它，也許能成功99.9%，但它在互聯網中有無數的備份，它會捲土重來。想想我們在中國成功抗擊新冠之後，世界其他國家都是如何對抗病毒的？