python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫

2021年09月05日21:59:07 科技 1767

前幾節課我們通過requests庫進行了簡單的網頁採集和百度翻譯的操作,這一節課我們繼續進行案例的講解--python爬蟲實例教程之豆瓣電影排行榜,這次的案例與上節課案例相似,同樣會涉及到JSON模塊,異步加載以及局部加載方式等內容,接下來我們一一講解操作方法。


1.主要獲取的內容


我們主要通過豆瓣電影排行榜(https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=

這個網站獲取到影片的相關信息,如鏈接、片名、評分等內容(如下)


python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞


2.分析解題思路


首先我們打開我們要爬取的網址,我們會發現通過拖動鼠標滑塊,電影是不斷被加載出來的,並且網址不發生變化,因此我們是不是能立刻聯想到上節課做的案例百度搜索有異曲同工之處--ajax異步,因此我們獲取網址信息、headers、關鍵詞等信息,不能再通過all查看,而是選擇xpath查看(如下圖)


python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞


3.書寫代碼


第一步,導入requests模塊


python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞


第二步,獲取url、參數、headers等信息


上面我們已經分析了,該網頁採用ajax異步,因此我們通過xpath獲取url、參數、headers信息(如下)


python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞

python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞


我們從上圖中也了解到該網頁的請求類型為get,響應類型方式為JSON,因此代碼如下:


python爬蟲實例教程之豆瓣電影排行榜--python爬蟲requests庫 - 天天要聞


需要注意的是:


(1)網址中去掉了“limit=1”因為在參數中已經包含了“limit”


(2)參數中“limit”對應的值改為了100,原因是“limit”代表着電影的篇數,我們不只想獲取1部電影的信息,我們想獲取100部,當然數字可根據需要更改


了解更多

科技分類資訊推薦

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相 - 天天要聞

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相

兼具宜商氣度與家用溫情的科技豪華旗艦MPV,第二代騰勢D9迎來西安地區正式亮相。新車依託全球新能源MPV冠軍底蘊,以第二代刀片電池、雙閥雲輦-C、天神之眼5.0智駕等核心技術全面升級,兼顧商務體面與家庭舒適,為西北高端用戶帶來一站式全能出行解決方案。
採購禁入!科華數據材料造假被拒門外 - 天天要聞

採購禁入!科華數據材料造假被拒門外

本報(chinatimes.net.cn)記者胡雅文 北京報道這家趕上AI算力風口的公司,因投標材料造假,被相關採購方列入禁入名單兩年,其此前提出的複議申請也被正式駁回。相關採購平台近日發布公告,明確駁回科華數據股份有限公司(下稱“科華數據”,002335.SZ)此前提交的複議申請。早在一年前,科華數據已被認定在“信息通信樞紐...
快評樂道L80:15萬元級買大五座,這波值得沖? - 天天要聞

快評樂道L80:15萬元級買大五座,這波值得沖?

日前,樂道L80正式發布並開啟預售,其整車購買預售價為24.58萬元起,租電購買預售價則低至15.98萬元起。面對大型SUV市場“細分再細分”之競爭趨勢,這款樂道年度重磅新車都有哪些優勢?又能否成為“大五座SUV革新之作”?下面,圈哥就帶大家全方位感受。
成都直擊凱威德:純電全尺寸SUV的張揚與大氣 - 天天要聞

成都直擊凱威德:純電全尺寸SUV的張揚與大氣

4月22日,凱迪拉克以奧斯卡級盛典規格,將上海保利大劇院點亮為璀璨舞台,在品牌代言人倪妮與全場嘉賓的共同見證下,凱迪拉克全尺寸純電公路旗艦——凱威德耀然上市。新車共推出長續航四驅Pro、高性能四驅Ultra兩款配置,官方售價區間為46.88萬-50.88萬元。