百度的致命抓取異常？你重視過嗎？_風聞

在這些年的SEO診斷中，我這裏發現不低於20%的網站都存在着一個嚴重的抓取問題，但是奇怪的是，卻始終得不到大多數人的重視。而研究透徹並分享這個問題的人，更是沒有發現。今天這篇文章，我們就來看一下這個問題。

什麼問題呢?

連接超時，或者抓取超時，如果你的網站出現過這個問題，至今沒有處理到位的，就把這篇文章轉載一下吧。

很多人説，不就是幾十次的超時嗎?有什麼大不了的，如果這樣認為，那麼真的是活該網站做不好了，正常的網站是什麼樣的呢?我們來舉個例子：

這是一個權重4的站點，哪怕十多萬次的抓取，卻仍舊沒有出現過一次的抓取錯誤!如果你的每日抓取錯誤量超過10次(十天半個月就出現一次錯誤，或者連續多天出現的)，就真的應該嚴肅處理一下這個問題了，因為當前問題的存在，已經長期的制約了網站的發展上限，甚至因為這個問題，誘發網站的降權，都一點不奇怪。

為什麼會出錯?

有人説，不用理會，這就是一個BUG，因為我在網站的LOG日誌中，並沒有發現這個問題。之前在百度站長的VIP羣裏，有人這樣解釋過。但是我想説的是：百度無法抓取到網站，你的網站LOG日誌，能統計到這樣的錯誤嗎?所以，上述解釋是完全説不過去的。

那麼，為什麼會出現這樣的錯誤呢?

A，DNS問題，無論是蜘蛛還是用户訪問網站，首先就需要域名的DNS做了正確的解析，然而解析是解析了，你能確定DNS真的穩定嗎?不少站點的錯誤，正是因為DNS不穩定而造成的。尤其是那些又做域名註冊，又搞‘域名搶注’的平台，這樣的平台，更容易出現DNS解析不穩定的情況，尤其是在搶注高峯期。具體哪些品牌，這個就不點名了，如果你的域名在這些平台中，賀貴江強烈建議你將其轉出。

B，頁面太大，有一些網站的部分頁面達到了四五六七八兆的情況，甚至還見過極少的網站出現過一個頁面有10MB大小。這樣的頁面，更容易出現鏈接超時。正常情況，並不建議網站的頁面大小超過3MB，同時建議網站服務器啓用GZIP壓縮。

C，帶寬不足，這是一個很常見的情況，不少站點出現鏈接超時都是因為帶寬不足而引發的。我們知道1M的帶寬峯值下載是128KB，如果網站是1M接入，頁面大小是256KB，如果同時2個人在打開頁面，那麼就需要4秒才可以下載完畢。如果帶寬是2MB，頁面大小是1024KB，一個人打開網站需要8秒，可如果是10個人同時打開呢?所以帶寬這裏，一定要做足。站長或者企業都應當觀察一下站點的平均帶寬，以及峯值帶寬情況，如果經常出現‘帶寬峯值’類型的訪問，那麼就一定要升級帶寬了。

D，首字節時間，可能很多同學沒有聽説過這個問題，它指的是從發送請求到WEB服務器的時間+WEB服務器處理請求並生成響應花費的時間。有一些站點，首字節時間居然都可以達到5MS，這樣的情況，網站還能正常嗎?

1、對於首字節時間這裏，我們應當注意：避免網站與其他網站共享同一個服務器其他網站會佔用自身網站服務器處理時間。

2、CDN減少內容和訪問者之間的“距離”將靜態內容分發到CDN，CDN的內容自動複製到各個位置，在地理上更接近用户，從而減少TTFB的時間。注意的是，已定要設置‘緩存時間’針對於網站訪問較慢的頁面或欄目。

3、避免網站使用虛擬主機系統如網站在一段時間未有流量產生，系統會推遲或暫停虛擬服務器，當新訪客進入時，將重新進行服務器備份處理(10s或更長時間);

4、後端優化軟件性能減少服務器生成的響應到瀏覽器的時間，比如：操作碼緩存、服務器端緩存、本地緩存、W3總緩存等。

最後，我們總結一下：

首先是為網站找一家靠譜的DNS服務商，我們建議是阿里雲，其次是穩定的CDN服務商，阿里、百度智能雲、騰訊雲，都可以。最後就是網站服務器，儘量不要選擇使用虛擬主機，且儘量避免多個站點使用相同服務器。

作者：賀貴江

來源：盧鬆鬆博客，歡迎分享