數據質量日益惡化 而我們可能比任何時候都更需要這些數字——《華爾街日報》

隨機撥打家庭電話進行問卷調查的做法正逐漸被淘汰，因為在人們不再接聽電話的時代，這種做法必然難以為繼。圖片來源：Victor J. Blue/Bloomberg News當我們關注數據時，通常是想客觀瞭解某些事物是在變好還是變糟——就業市場、通貨膨脹、健康狀況、國民情緒等等。

過去兩年的大部分時間裏，我一直在撰寫這個專欄，深入剖析新聞中的數字——它們的來源、使用方式以及被濫用的情形。我得出了一個令人不安的結論：這些數據本身（特別是我們通過問卷調查來衡量這類問題的能力）正在惡化，而我們並不總能妥善運用這些數字。

我們面臨的核心問題是，太多數據建立在人們不再回應的問卷調查之上。以人口普查局和勞工統計局的《當前人口調查》為例，這份支撐月度就業報告的調查質量很高，但其回應率已從十年前的90%降至今年的71%。

幾乎所有其他主要調查情況更糟。白宮行政管理和預算局曾提出標準，要求調查回應率應高於80%。如今，幾乎沒有調查能達到這個標準。

在政府機構之外，統計學入門課程中教授的那種隨機撥打家庭電話進行調查的做法正逐漸被淘汰——在這個人們不再接聽陌生來電的時代，這種淘汰是必然的。

考慮民意調查。根據皮尤研究中心的統計，2000年時，超過90%的全國性民調依賴隨機電話訪問。直到2014年，仍有微弱多數採用這種方式。而到了2022年，僅有不到9%（69家機構中僅6家）堅持傳統方法，皮尤研究發現。

如今，民調數據主要來自招募固定受訪者羣體並反覆詢問。許多執行機構非常嚴謹，他們會通過加權調整使樣本反映整體人口特徵，力求結果接近隨機調查的效果。

媒體和統計學家仍會例行公事地報道這些調查的"誤差範圍"。但該指標僅反映抽樣誤差——即特定規模隨機樣本與總體的可能偏差。

其他類型的誤差可能更嚴重。如果拒訪者與受訪者存在系統性差異呢？最終我們得到的數據其實比過去更模糊。我接觸過研究這些問題的美國統計學家都是聰明正直的人，這裏不存在陰謀，只是我們自欺欺人地相信數據質量仍如往昔。

有人辯稱：“但現在有前所未有的海量數據，大數據、機器學習、人工智能……”

前景令人振奮。替代數據源，比如衞星數據，為我們提供了觀察不可靠經濟體真實狀況的工具。獨裁者可以輕易偽造GDP數據，卻難以掩蓋工廠排放的污染量。

但值得信賴的替代數據提供商都不會聲稱能複製政府機構提供的全部數據。在可預見的未來，這些數據只是補充而非替代。

數據面臨的另一大挑戰是如何使用。當前疫情時代的影響仍揮之不去，使得問題更加複雜。

這造就了一個可以隨意選擇數據對比起點、得出任何理想結果的環境。

如果有人因物價遠高於2019年而憤怒，而另一個人為最近12個月漲幅放緩而欣慰呢？兩者可能都是對的。數據能展示變化，但無法説明哪個時間段最具代表性。

經濟衰退後常出現類似現象——指標明顯改善但人們尚未察覺。但近年生活方式的劇變遠比普通衰退更離奇深刻，難怪許多人仍感到無所適從。

我並不樂觀地認為2024年會出現各方合力提升數據質量或更誠實使用數據的局面。

我們正步入一場充滿分歧的選舉。候選人唯一達成的共識是——這次選舉至關重要，甚至關乎存亡。對許多政客、評論員乃至選民而言，一切行動都必須服務於選舉結果。

人們渴望正義的確定性。他們不願聽到數據是複雜的，不願承認我們需要比以往更審慎地檢視數據，更不想面對修復數據所需的大量工作。

就個人而言，隨着2024年的開始，我將暫時離開這個專欄。儘管我對數據現狀的擔憂相當嚴重，但並非因絕望而放棄寫作。這次中斷的原因令人欣喜：為照顧剛出生的女兒而休育兒假。對我而言，這也提醒着——生命中最重要的東西（比如與孩子相處的完整時光、嬰兒的依偎、第一次爬行、第一口食物和學步等）本就是無法用數字衡量的。

聯繫作者喬什·祖姆布倫請致信 [email protected]

本文發表於2023年12月30日印刷版，標題為《數據及其應用仍未改善》。