Science 的《全球公民誠信排名》遺漏了太多變量,讓中國成了倒數第一_風聞
观察者网用户_239226-2019-06-24 08:34
很多回答在這個問題上集中於討論「中國人用不用郵件」,我覺得這沒什麼意義。
首先,你只知道中國人用郵件用得少,但你並不知道其他39個國家的郵件使用情況如何,他們使用郵件的密度如果比中國還少呢,怎麼去解釋?
其次,作者在他的補充材料裏專門寫到了對於郵件使用的討論:
Differences in Email Usage Since our measure of civic honesty relied on recipients contacting the owner by email, one concern is that differences in exposure to email communication could be responsible for cross-country differences in reporting rates.
Yet, we focused on drop-off locations in urban places and included institutions where email communication is common. In particular, hotel staff should be able to communicate via email in all parts of the world. Consequently, if email experience is a key driver of differences in reporting rates, we should see substantially less heterogeneity when we restrict our sample to hotels.
However, Fig. S13 shows that this is not the case. We still observe large differences in reporting rates across countries when focusing on hotels only.
As a further robustness check, we included the share of firms that use email to interact with their customers and suppliers in a country (from the World Bank Global Enterprise Survey) as an additional control variable to construct the regression-adjusted measure of civic honesty.25 Fig. S14 shows that the differences between countries remain large, and the regressionadjusted ranking is almost identical to the unconditional ranking (Spearman’s ρ = 0.950, P < 0.001 for the NoMoney condition, and ρ = 0.932, P < 0.001 for the Money condition). This suggests that experience with email communication was not a major driver of cross-country differences in reporting rates.
結合上下文,大致的意思是,作者一共選了五種上交錢包的地點,銀行、劇院、酒店、警察局、郵局,這裏面的銀行、劇院、警察局和郵局的工作人員確實可能會因為郵件的使用而造成國別差異。
但酒店不是,作者選擇的基本上都是每個國家最大的城市,這些地方的酒店工作人員是必定會使用郵件與全球旅客進行溝通的,因此作者只看了那些上交給酒店工作人員的錢包的報告率,這應該能很大程度上縮小因為郵件使用而造成的影響,結果是這樣的:

看起來和原圖沒啥區別,次序變化也不太大。
然後作者又使用了另一個來源,來自World Bank Global Enterprise Survey的郵件使用率來控制報告率,去掉郵件影響後再排序,結果是這樣的:

次序上還是沒有什麼差別。
因此,從郵件這點對論文發起質疑,不會有什麼效果。
不僅僅是郵件,很多答案提到的「忙碌」,在作者的論文裏也有控制。他控制了每一個收到錢包的工作人員的如下特徵:
性別、年齡、忙碌程度、是否是本地人、是否會説英語、是否聽明白了需要做什麼、是否友善、桌上是否有電腦、在場是否有其他工作人員、在場是否有其他顧客、是否有監控、是否有保安。
所以,在發起質疑前,我建議還是先通讀一遍整個論文的補充材料,畢竟是發表在Science上的論文,他把絕大多數漏洞還是堵上了的,
但這並不是説明這篇論文的解釋就沒有問題了。
真正的問題是——把錢包上交到工作人員處,然後工作人員去寫郵件通知,這個過程,和誠信有多大關係?他到底和什麼東西有關係?
假設我們去採訪這些工作人員:什麼時候你願意去為了一個這樣的「名片夾」給陌生人發送郵件?什麼時候不願意?
我腦補了一下這兩個問題回答:
當我難得看見有人來上交錢包的時候,我會很重視這個事情,發送郵件。
當我對失物上交見怪不怪時,我可能不回去寫這個郵件
換句話説,人們做任何事,背後的刺激都是要超過一個閾值才會去動手做,這個刺激的閾值可以理解為每天這些工作人員所經歷的「背景噪聲」。
那麼如何來對這些工作人員每天的「背景噪聲」做一個度量呢?我沒有想到特別棒的指標,但是這個城市的「人口密度」應該是一個相關的變量。
人口密度越大的地區,人們之間的接觸和交流越密集,這類事件的噪聲閾值就越高,寫郵件聯繫錢包失主的概率就越低。
舉一個不太恰當的例子,獨生子女政策剛剛實行時,總有人覺得獨生子女比較脆弱敏感又「事兒逼」,理由就是沒有和兄弟姐妹相處交流,總把人與人之間的小事兒當成大事情處理。那麼在那些人煙稀疏的地區和人口密集的地區,可能也會存在類似的現象。
但現在這還只是一個猜測,為了驗證是否正確,我從18頁開始,再去各個國家統計局逐個國家收集最大兩個城市的人口密度,並與最後的分數交互(分數是按照圖大致估算的):

該圖和我們的判斷相吻合,這個關係是顯著存在的,左上角的高聯繫率地區,人口密度相對來説都比較低,右下角的低聯繫城市都位於高人口密度地區。我以截距為80畫了一條擬合線,他的擬合程度為0.2946(圖中excel對指定截距的擬合計算了錯誤的r2)
那麼,如果這個聯繫率確實因為「背景噪聲」高度相關因而和人口密度相關的話,那些距離擬合線比較遠的國家,才是真正需要關注的國家。
比如在線的左邊,距離最遠的依次是哈薩克斯坦、馬來西亞、阿聯酋、肯尼亞、加納、南非,這些國家為什麼在同樣的人口密度下,聯繫率低了那麼多?
比如在線的右邊,印度為啥又以如此高的人口密度獲得了那麼高的聯繫率?
作者在補充材料裏面使用郵件使用率和人均GDP做了兩個調整,大意是使用這兩個變量對排名進行調整後,和原始排名的相關程度分別高達0.9和0.75,即作者想説明的這個「誠信程度」是和郵件使用和經濟發達程度關係不大的。
但如果使用地區人口密度進行調整,則會出現另一番景象:

調整後的排名和調整前的相關程度立刻下降到0.19了,印度和中國排名變成了第一和第二名。
也就是説,這些設施所在地區的人口密度所導致的「背景噪聲」,一定是一個需要考慮的alternative explanation,在對失主聯繫率的影響上,他比郵件的使用和地區經濟發展程度更為重要。
用與錢包失主的聯繫概率來衡量誠信程度,我覺得是一個挺好的主意,作者也控制了很多變量,堵上了很多漏洞。但是我認為還是可以有很多可以改進的地方,現在的結果,距離真正的「誠信」的度量還有一段距離,可能還有一些被遺漏的變量,希望作者有機會能夠繼續對其加以修改。