python爬取知乎那些神評論數據_風聞

對於很多年輕人來説，知乎也是一個必不可少的社交軟件，知乎上面有很多的話題大家都願意參與討論，也有很多的神評論。有些問題下面的回答數竟有上萬條，實在太多了忍不住了，好想知道大家都評論了些什麼。所以這種情況下就可以發揮下我們的爬蟲技術了。

首先需要明確需求，爬什麼數據？這裏我們可以直接爬取知乎首頁上推薦的評論比較多的問題，包括該問題下評論的用户的歸屬地、用户的暱稱、用户的性別、用户回答的贊同數、用户回答的評論數。爬蟲我們之前寫過很多遍了，思路都差不多，而且知乎網站對爬蟲還是很友好的反爬機制並不是很嚴。這裏我只是簡單的用到代理IP和隨機ua，那些上萬評論數的問題很快就爬取完了。全部源碼獻上，關於代碼的解釋，可以搜索億牛雲詳細瞭解，這裏就不再贅述了，如果還有問題，可以私信或者評論問我。

#! -*- encoding:utf-8 -*-

   import requests

   import random

   # 要訪問的目標頁面

   targetUrl = “http://httpbin.org/ip"

   # 要訪問的目標HTTPS頁面

   # targetUrl = “https://httpbin.org/ip"

   # 代理服務器(產品官網 www.16yun.cn)

   proxyHost = “t.16yun.cn”

   proxyPort = “31111”

   # 代理驗證信息

   proxyUser = “username”

   proxyPass = “password”

   proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % {

       “host” : proxyHost,

       “port” : proxyPort,

       “user” : proxyUser,

       “pass” : proxyPass,

   }

   # 設置 http和https訪問都是用HTTP代理

   proxies = {

       “http”  : proxyMeta,

       “https” : proxyMeta,

   }

   #  設置IP切換頭

   tunnel = random.randint(1,10000)

   headers = {“Proxy-Tunnel”: str(tunnel)}

   resp = requests.get(targetUrl, proxies=proxies, headers=headers)

   print resp.status_code

   print resp.text爬取結果簡單的進行了整理，因為問題的太多，爬取的數據也比較多，所以整理好後下次分享給大家參考。爬蟲學習就是要多實踐，爬取各種有難度的網站去解決更多反爬機制，這樣才能讓自己的爬蟲技術有提升。