2.2　爬虫的意义

现如今大数据时代已经到来，网络爬虫技术成为这个时代不可或缺的一部分，企业需要数据来分析用户行为、自己产品的不足之处以及竞争对手的信息等，而这一切的首要条件就是数据的采集。网络爬虫的价值其实就是数据的价值，在互联网社会中，数据是无价之宝，一切皆为数据，谁拥有了大量有用的数据，谁就拥有了决策的主动权。网络爬虫的应用领域很多，如搜索引擎、数据采集、广告过滤、大数据分析等。

图2-1　网络爬虫象形图

1）抓取各大电商网站的商品销量信息及用户评价来进行分析，如图2-2所示。

图2-2　电商网站的商品销售信息

2）分析大众点评、美团网等餐饮类网站的用户消费、评价和发展趋势，如图2-3所示。

图2-3　餐饮类网站的用户消费信息

3）分析各个城市中学区房的比例，以及学区房比普通二手房价格高出多少，如图2-4所示。

图2-4　学区房的比例与价格对比

以上数据是通过前嗅ForeSpider数据采集软件爬下来的，有兴趣的读者可以尝试自己爬一些数据。