python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库

2021年09月05日21:59:07 科技 1767

前几节课我们通过requests库进行了简单的网页采集和百度翻译的操作,这一节课我们继续进行案例的讲解--python爬虫实例教程之豆瓣电影排行榜,这次的案例与上节课案例相似,同样会涉及到JSON模块,异步加载以及局部加载方式等内容,接下来我们一一讲解操作方法。


1.主要获取的内容


我们主要通过豆瓣电影排行榜(https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=

这个网站获取到影片的相关信息,如链接、片名、评分等内容(如下)


python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻


2.分析解题思路


首先我们打开我们要爬取的网址,我们会发现通过拖动鼠标滑块,电影是不断被加载出来的,并且网址不发生变化,因此我们是不是能立刻联想到上节课做的案例百度搜索有异曲同工之处--ajax异步,因此我们获取网址信息、headers、关键词等信息,不能再通过all查看,而是选择xpath查看(如下图)


python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻


3.书写代码


第一步,导入requests模块


python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻


第二步,获取url、参数、headers等信息


上面我们已经分析了,该网页采用ajax异步,因此我们通过xpath获取url、参数、headers信息(如下)


python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻

python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻


我们从上图中也了解到该网页的请求类型为get,响应类型方式为JSON,因此代码如下:


python爬虫实例教程之豆瓣电影排行榜--python爬虫requests库 - 天天要闻


需要注意的是:


(1)网址中去掉了“limit=1”因为在参数中已经包含了“limit”


(2)参数中“limit”对应的值改为了100,原因是“limit”代表着电影的篇数,我们不只想获取1部电影的信息,我们想获取100部,当然数字可根据需要更改


了解更多

科技分类资讯推荐

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相 - 天天要闻

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相

兼具宜商气度与家用温情的科技豪华旗舰MPV,第二代腾势D9迎来西安地区正式亮相。新车依托全球新能源MPV冠军底蕴,以第二代刀片电池、双阀云辇-C、天神之眼5.0智驾等核心技术全面升级,兼顾商务体面与家庭舒适,为西北高端用户带来一站式全能出行解决方案。
采购禁入!科华数据材料造假被拒门外 - 天天要闻

采购禁入!科华数据材料造假被拒门外

本报(chinatimes.net.cn)记者胡雅文 北京报道这家赶上AI算力风口的公司,因投标材料造假,被相关采购方列入禁入名单两年,其此前提出的复议申请也被正式驳回。相关采购平台近日发布公告,明确驳回科华数据股份有限公司(下称“科华数据”,002335.SZ)此前提交的复议申请。早在一年前,科华数据已被认定在“信息通信枢纽...
快评乐道L80:15万元级买大五座,这波值得冲? - 天天要闻

快评乐道L80:15万元级买大五座,这波值得冲?

日前,乐道L80正式发布并开启预售,其整车购买预售价为24.58万元起,租电购买预售价则低至15.98万元起。面对大型SUV市场“细分再细分”之竞争趋势,这款乐道年度重磅新车都有哪些优势?又能否成为“大五座SUV革新之作”?下面,圈哥就带大家全方位感受。
成都直击凯威德:纯电全尺寸SUV的张扬与大气 - 天天要闻

成都直击凯威德:纯电全尺寸SUV的张扬与大气

4月22日,凯迪拉克以奥斯卡级盛典规格,将上海保利大剧院点亮为璀璨舞台,在品牌代言人倪妮与全场嘉宾的共同见证下,凯迪拉克全尺寸纯电公路旗舰——凯威德耀然上市。新车共推出长续航四驱Pro、高性能四驱Ultra两款配置,官方售价区间为46.88万-50.88万元。