(python爬虫与数据分析)(python爬虫源码)

为什么要用爬虫？

截至到这篇文章，前面已经用五讲的内容跟小伙伴们分享了爬虫的基础知识、多页面爬取、数据去重、数据格式清洗和数据入库的内容，详细文章链接如下，有需要的伙伴可自行浏览，如有问题也可随时留言。

我自己通过这些练习已经基本上掌握了常用的爬虫技能，相信跟着一起玩的朋友们也有了些许收获。

Python爬虫技术

但是，我们学习知识的过程是需要不断回顾、总结和思考的，只有这样，才能把知识点掌握得更加牢固，同时也能更好地搭建起自己的知识脉络。

那么在经历了五次练习之后，回到最本质的问题上思考下：我们为什么需要爬虫？我自己认为，只有想清楚了这个问题，才能有动力去把爬虫掌握好。

就我自身而言，我学习爬虫的目的比较直接，就是能够及时、全面、主动地收集到自己持仓或者关注股票的信息，使得自己能够在重要时间节点或者事件上得到预警，避免成为睁眼瞎。毕竟，我因为这类问题已经损失了几十万。虽然现在很多财经或者券商APP都可以提供信息预警功能，但是维度相对单一，还是会有所遗漏，有必要自己利用爬虫搭建一套舆情监控工具。

当然，可能大家使用爬虫的目的不尽相同，但是还是希望有需要的小伙伴们能够在我的文章中找到一些问题的答案，同时能够一起总结、复盘，多多交流，使得我们的目标达成，这是最令人开心的。

爬虫的应用流程

本文是前面五篇爬虫文章的总结文章，在回答了为什么要用爬虫之后，我针对自己的爬虫应用场景，对具体的应用流程进行了总结，如下图所示。

爬虫应用流程图

后续规划

目前，仅仅是利用比较基础的request库进行了目标数据的爬取，后续会研究scrapy等框架的应用。但是我一直以来的观点都是对我自己而言，满足业务需求的就是最优选择，当然从技术人员的角度考虑又另当别论的。

不管使用什么爬虫技术，输入和输出都是明确的，输入就是目标数据源—现阶段是关注股票的百度资讯和股吧网页，输出就是符合数据分析需要的字段。

scrapy框架

一起来总结

以上就是我对过去五篇爬虫文章的总结和复盘，欢迎大家交流下自己的想法，如有问题，可随时留言，期待您的宝贵建议和意见。

学习啦~~~