自从学会爬虫之后是不是有一种我什么都想爬一下的冲动？今天小千就来教大家如何去抓取qq音乐的歌手数据，项目实操多练习能更快提升自己哦。

      今天的项目目标就是获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接，由浅入深，层层递进，非常适合刚入门的同学练手。主要涉及的库有：requests、json、openpyxl。

      项目步骤

      1.了解 QQ 音乐网站的 robots 协议（安全）

      只禁止播放列表，可以操作

      2.进入 QQ 音乐主页

      3.输入任意歌手，比如张杰

      4.打开审查元素（快捷键 Ctrl+Shift+I）

      5.分析网页源代码 Elements，发现无歌曲信息，无法使用 BeautifulSoup，如下图所示，结果为空。

      6.点击 Network，看数据在不在 XHR（无刷新更新页面），我的经验是先看 Size 最大的，然后分析 Name，查看 Preview，果然在里面！

      将response格式化后显示内容如上

      7.点击 Headers，拿到相关参数。如下图，仔细观察url 与 Query String Parameters 参数的关系，发现url 中的 w 代表歌手名，p 代表页数

      其中：p=1&n=10&w=%E5%BC%A0%E6%9D%B0

      8.通过 json 代码实现，首先小试牛刀，爬取第一页的数据，url 直接复制过来。成功！

      其中：分析json获取歌曲列表，获取播放链接

      9.引入 params 参数，实现指定歌手、指定页数的查询。

      注意代码url为上一步url中“？”之前的部分， params两边的参数都需要加 ’’,requests.get 添加 params，参数（也可顺便添加 headers 参数）

      10. 添加存储功能，保存到本地（Excel）。也可保存为 csv 格式或存入数据库，操作类似。

      总结

      爬取qq音乐比爬取豆瓣等网站稍难，所需信息不在源代码中，需查看xhr。

      通过xhr爬取数据一般要使用json，格式为：

      res = requests.get(url)，json = res.json()，list = json['']['']

      仅供练手参考，不建议爬取太多数据，给服务器增大负荷

      学习Python，可以参考千锋Python培训班推出的Python开发学习路线，结合千锋Python培训机构名师精心录制的全套Python视频教程，可以让你对学习Python需要掌握的知识有个清晰的了解，并快速入门Python开发。千锋Python培训机构视频教程分为三个大块：Python基础视频教程、Python高级视频教程、Python高手晋级视频教程。视频讲解通俗易懂，入门Python开发仅用此套视频足矣。想要获取免费Python学习路线和学习资料可以添加我们的Python技术交流qq群：790693323  加群找群管理领取即可，Python相关技术问题也可以加群解决，等你来哦~~~~

上一篇

手把手教你用Python找到身边隐藏的wifi

下一篇

5分钟带你详解python函数式编程与闭包