Python爬虫部分开篇概念讲解

在学习Python爬虫部分，需要你已经学过Python基础和前端的相关知识。

开发环境介绍：

•  window10 操作系统
• Python解释器3.8
• 集成开发环境pycharm

数据的来源及作用

数据的来源有哪些？

• 用户产生的数据： 百度指数
• 政府统计的数据： 政府数据
• 数据管理公司： 聚合数据
• 自己爬取的数据： 爬取网站上的某些视频

数据的作用

• 数据分析
• 智能产品的练习数据
• 其他（比如买卖）

 爬虫的相关概念

 a) 爬虫的概念

爬虫就是应用程序，从网上下载各种各样的资源。
换句话说就是使用编程语言编写一个用于爬虫web或者app的数据应用程序。
怎么爬取数据呢？

• 找到要爬取的目标网站，发起请求
• 分析url是如何变化的和提取有用的url
• 提取有用的信息

爬虫什么数据都可以爬吗？
当然不能，需要遵守一定的规则和协议

可以看一下京东的：

有些是允许的，有些是不允许的。

b) 爬虫分类

• 通用爬虫

百度等搜索引擎，从一些初始的URL扩展到整个网站，主要为门户站点搜索引起和大型网站服务采集数据

• 聚焦网站爬虫

主题网络爬虫，选择性爬取根据需求相关的页面的网络爬虫

• 增量式网络爬虫

对已经下载的页面采取更新知识和只爬新产生的。

c) 爬虫的原理

•  通用的爬虫原理

• 聚焦网络爬虫原理

 

d) 各种语言写爬虫的对比

•  php对多线程，异步支持不是很友好，并发能力弱。速度和效率低
• java： 代码量大，而且重构成本比较高，任何改动都会导致大量的改动，而爬虫需要经常修改采集代码
• Python： 开发效率高，代码简洁，支持的模块多，和HTTP请求和html解析模块非常丰富，还有scrapy,scrapy-redis框架，让开发爬虫更简单。