自从学会爬虫之后是不是有一种我什么都想爬一下的冲动?今天小千就来教大家如何去抓取qq音乐的歌手数据,项目实操多练习能更快提升自己哦。
今天的项目目标就是获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接,由浅入深,层层递进,非常适合刚入门的同学练手。主要涉及的库有:requests、json、openpyxl。
项目步骤
1.了解 QQ 音乐网站的 robots 协议(安全)
只禁止播放列表,可以操作
2.进入 QQ 音乐主页
3.输入任意歌手,比如张杰
4.打开审查元素(快捷键 Ctrl+Shift+I)
5.分析网页源代码 Elements,发现无歌曲信息,无法使用 BeautifulSoup,如下图所示,结果为空。
6.点击 Network,看数据在不在 XHR(无刷新更新页面),我的经验是先看 Size 最大的,然后分析 Name,查看 Preview,果然在里面!
将response格式化后显示内容如上
7.点击 Headers,拿到相关参数。如下图,仔细观察url 与 Query String Parameters 参数的关系,发现url 中的 w 代表歌手名,p 代表页数
其中:p=1&n=10&w=%E5%BC%A0%E6%9D%B0
8.通过 json 代码实现,首先小试牛刀,爬取第一页的数据,url 直接复制过来。成功!
其中:分析json获取歌曲列表,获取播放链接
9.引入 params 参数,实现指定歌手、指定页数的查询。
注意代码url为上一步url中“?”之前的部分, params两边的参数都需要加 ’’,requests.get 添加 params,参数(也可顺便添加 headers 参数)
10. 添加存储功能,保存到本地(Excel)。也可保存为 csv 格式或存入数据库,操作类似。
总结
爬取qq音乐比爬取豆瓣等网站稍难,所需信息不在源代码中,需查看xhr。
通过xhr爬取数据一般要使用json,格式为:
res = requests.get(url),json = res.json(),list = json['']['']
仅供练手参考,不建议爬取太多数据,给服务器增大负荷
学习Python,可以参考千锋Python培训班推出的Python开发学习路线,结合千锋Python培训机构名师精心录制的全套Python视频教程,可以让你对学习Python需要掌握的知识有个清晰的了解,并快速入门Python开发。千锋Python培训机构视频教程分为三个大块:Python基础视频教程、Python高级视频教程、Python高手晋级视频教程。视频讲解通俗易懂,入门Python开发仅用此套视频足矣。想要获取免费Python学习路线和学习资料可以添加我们的Python技术交流qq群:790693323 加群找群管理领取即可,Python相关技术问题也可以加群解决,等你来哦~~~~
相关文章
了解千锋动态
关注千锋教育服务号
扫一扫快速进入
千锋移动端页面
扫码匿名提建议
直达CEO信箱