当前位置:滚动 > >正文

【爬虫案例】用Python爬大麦网任意城市的近期演出!_世界新要闻

一、爬取目标

大家好,我是@马哥python说 ,一枚10年程序猿。

今天分享一期python爬虫案例,爬取目标是大麦网近期演出活动:


(资料图)

https://search.damai.cn/search.html?keyword=

二、展示爬取结果

爬取结果截图:

含10个字段:

页码,演出标题,链接地址,演出时间,演出城市,演出地点,售价,演出类别,演出子类别,售票状态。

演示视频:

以上。

三、讲解代码

首先,导入需要用到的库:

定义一个请求头:

其中,cookie的获取方式如下:

定义请求地址url:

定义请求参数params,从PayLoad中获取:

发送请求,并且用json格式解析数据:

以"演出标题"字段为例:

其他字段同理,不再赘述。 

最后是保存到csv文件:

其中,encoding参数设置为utf_8_sig,目的是防止csv文件产生乱码,不便读取。

整个代码中,还含有:设置sleep随机等待、判断循环停止条件、防止多次写入表头、用户input输入过滤条件、往csv文件名添加时间戳等功能,篇幅有限,详细请见原始代码。

四、同步视频

代码演示:

五、获取完整源码

爱学习的小伙伴,本次分析过程的完整python源码及结果数据,我已打包好,并上传至我的微信公众号"老男孩的平凡之路",后台回复"爬大麦"即可获取。

我是@马哥python说,一名10年程序猿,近期持续分享python干货中!

标签:

推荐阅读