索取 python 爬虫文章

python中其实有很多爬虫库，比如常见的urllib、requests、bs4、lxml等，如果你是初次初学者爬虫，可以了解一下requests和bs4（beautifulsoup）这两个库，它们比较简单易学，requests是用来请求页面的，beautifulsoup是用来解析页面的， 我将使用这两个库作为基础。简单介绍python如何抓取网页静态数据和网页动态数据，实验环境win10+，主要内容如下：

Python 从网页中抓取静态数据。

打开网页的源码，对应的网页结构如下，非常简单，所有字段内容都可以直接找到：

2.对于上面的网页结构，我们可以写相关的**来抓取网页数据，很简单，先根据URL地址，使用请求请求页面，然后使用beautifulsoup解析数据（根据标签和属性定位），如下：

程序运行截图如下，数据已抓取成功：

Python 抓取网页动态数据。

很多情况下，网页数据是动态加载的，直接抓取网页是不可能提取任何数据的，所以需要抓取并分析报文，找到动态加载的数据，一般是json文件（当然也可能是其他类型的文件，比如xml、 等等），然后请求解析这个json文件，就可以得到我们需要的数据了，这里是爬取人人贷款上分散的标准数据的例子：

1.这里我们假设我们抓取的数据如下，主要包括五个字段的年利率、贷款标题、期限、金额和进度：

2.按 F12 调出开发者工具，依次点击“Network”->xhr“，F5刷新页面，可以找到动态加载的JSON文件，具体信息如下：

3.然后，对于上面的抓包分析，我们可以编写相关的**来抓取数据，基本思路类似于上面的静态网页，先使用请求请求json，然后使用python自己的json包对数据进行解析，如下所示：

程序操作截图如下，数据已获取成功：

至此，我们已经完成了使用 python 对网页数据进行抓取。 总的来说，整个过程非常简单，对于初学者来说，请求和美汤，非常容易学习，容易掌握，你可以学习使用它，以后熟悉之后就可以学习scrapy爬虫框架了，这样可以显着提高开发效率，非常好，当然，如果网页里有加密， 验证码等，这需要自己琢磨，研究对策，网上也有相关的教程和信息，有兴趣的可以搜索一下，希望以上内容对大家有所帮助，也欢迎大家评论留言。

我个人认为，对于新手来说，学习python用以下4个库抓取网页就足够了：（第四个真的不行，当然，在某些特殊情况下可能做不到）。

2.解析网页：熟悉jquery的人可以使用pyquery

3.使用请求提交各种类型的请求，支持重定向、cookie 等。

4.使用 Selenium，您可以在浏览器中模拟类似用户的操作，并处理由 JS 动态生成的网页。

这个库和几个库都有自己的功能。 一起，它可以完成抓取各种网页并对其进行分析的功能。 具体用法请参考其官方网站手册（上面链接）。

做事就是要对状态进行驱动，如果你没有什么特别的要抓，新手学习可以从这个级别开始**。

目前已经更新到第五级了，通过前四级后，应该已经掌握了这些库的基本操作。

实在打不通，下面我们来看一下解决方法，第四关会用到并行编程固定。 （串口编程完成第四关会很费时），第四、第五关只是没问题，解决方案还没发布......

学完这些基础知识，学习 scrapy 这个强大的爬虫框架会比较流畅。 这是它的中文介绍。