网络爬虫(又称为做网页蜘蛛，网络机器人，在FOAF社区中间，更经常的叫做网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网!这个过程是不是像蜘蛛沿着网一样爬?这也是“爬虫”名字的来历。
在了解爬虫的过程中，由于对这项技术缺乏系统了解，“小白”们难免会被纷繁生僻的知识点折腾地眼花缭乱、蒙头转向。有的人打算先搞懂基本原理和工作流程，有的人计划从软件的基本语法入门，也有人打算弄懂了网页文档再来……在学习抓取网络信息的道路上，许多人因为中途掉进陷阱最终无功而返。所以呢，掌握正确的方法的确非常重要。既然爬虫这么强大，这样的话爬虫程序到底可以用来做什么呢?
网络爬虫程序可以做的事
1. 获取网页
获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库能够让我们非常简单的发送各种形式的请求。
2. 提取信息
获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做深度的筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以使用BeautifulSoup库(bs4)等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。
3. 保存数据
提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以借助pandas库保存为常常出现在大家视野里的xlsx数据，如果有图片等非结构化数据还可以借助pymongo库保存至非结构化数据库中。
4. 调研
比如要调研一家电商公司，想知道他们的商品销售情况。这家公司声称每月销售额达数亿元。要是你使用爬虫来抓取公司网站上所有产品的销售情况，这样的话你就可以计算出公司的实际总销售额。除此之外，要是你抓取所有的评论并对其进行分析，你还可以发现网站是否出现了刷单的情况。数据是不会说谎的，尤其是海量的数据，人工造假总是会与自然产生的不同。过去，用大量的数据来收集数据是非常困难的，但是现在在爬虫的帮助下，许多欺骗行为会赤裸裸地暴露在阳光下。
5. 刷流量和秒杀
刷流量是python爬虫的自带的功能。当一个爬虫访问一个网站时，如果爬虫隐藏得很好，网站无法识别访问来自爬虫，这样的话它将被视为正常访问。结果，爬虫“不小心”刷了网站的流量。
除了刷流量外，还可以参与各种秒杀活动，包括但不限于在各种电商网站上抢商品，优惠券，抢机票和火车票。当前，网络上很多朋友专门使用爬虫来参与各种活动并从中赚钱。
这样的行为一般叫做“薅羊毛”，这样的人被叫做“羊毛党”。不过使用爬虫来“薅羊毛”进行盈利的行为实际上游走在法律的灰色地带，希望大家不要尝试。