什么是爬虫？爬虫是模拟客户端发送网络请求，接收到与该请求对应的响应，按照一定规则自动抓取互联网信息的程序。理论上只要客户端(主要指浏览器)能做的，爬虫都能做。

　　爬虫的用途

　　1、数据收集，提取目的数据

　　2、软件测试，测试很多技术和python爬虫也是交叉的

　　3、12306抢票、商品抢购等

　　4、刷票类

　　5、短信轰炸

　　6.网络攻击(基于tcp-ip)

　　7、web漏洞扫描器

　　爬虫只需要学习爬虫的知识？

　　没那么简单。通常，大多数告诉您这些快速观点的人都有其他意图。今天我就来告诉大家“一个合格的爬虫需要学习哪些技术”？我们应该重点掌握哪些技术？

　　网页知识

　　html、js、css、xpath知识，虽然简单，但一定要懂。在分解它们之前，您需要知道这些页面是如何构建的。

　　HTTP

　　知识通用爬虫你需要模拟浏览器的操作才能获取网页的信息。如果有些网站需要登录才能获取更多信息，您必须先登录，并提交登录账号和密码。

　　部分网站登录后需要保存cookie信息，才能继续获取更多信息。

　　正则表达式

　　有了正则表达式，我们就可以更好的对网页信息进行切分，得到我们想要的数据，所以也需要了解正则表达式。

　　一些重要的爬虫库

　　url，url2

　　beautiul Soup

　　数据库

　　我们需要一个地方来保存从数据库中爬取的数据。您可以使用文件或数据库。这里我会使用mysql，比较适合爬虫的MongoDB数据库，以及分布式使用的redis数据库。

　　爬虫框架

　　PySpider 和 Scrapy 这两个爬虫框架都很NB。简单的爬虫可以使用urllib、urllib2和正则表达式来完成，但是高级的爬虫就不得不使用这两个框架。这两个框架需要单独安装。以后一起学习。

　　反爬虫

　　有时候你想禁止别人爬取你的网站数据，可以做一些反爬虫的处理操作。比如百度查不到淘宝上的数据，从而避免了搜索引擎的竞争，而淘宝可以制定自己的一套竞价排名。

　　分布式爬虫

　　使用多个redis实例来缓存每台主机上爬取的数据。

　　关于“什么是爬虫以及爬虫的用途”就先介绍到这里，想要从事爬虫相关工作，需要每一方面都要学好，这就需要我们在平时的学习中多积累，才能灵活运用知识点。

上一篇

python什么方向比较好？

下一篇

初学Python需要安装哪些软件？