爬虫如何使用phantomjs无头浏览器解决网页源代码经过渲染的问题(以scrapy框架为例)

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

一.浏览器的构成

许多开发商提供了商用的浏览器来解释和显示Web文档，而所有这些浏览器几乎都使用相同的体系架构。每一种浏览器(browser)通常由三部分构成：一个控制程序，客户协议和一些解释程序。控制程序从键盘或者鼠标接受输入，并使用客户端程序访问文档。获取文档以后，控制程序使用解释程序将文档显示在屏幕上。客户机协议可以是主流协议之一，如FTP或者HTTP。解释程序可以是HTML，Java或者JavaScript，这取决于文档的类型。

渲染（计算机术语）：渲染在电脑绘图中是指用软件从模型生成图像的过程。模型是用严格定义的语言或者数据结构对于三维物体的描述，它包括几何、视点、纹理以及照明信息。

所以浏览器也存在一个 “ 渲染 ” 的问题：构建网页的代码和服务器所发回的网页源代码不一致。

那么问题来了，如何获得经过浏览器解释后的代码呢？

二.phantomjs的使用

1.phantomjs简介：

头浏览器：一个完整的浏览器内核,包括js解析引擎,渲染引擎,请求处理等,但是不包括显示和用户交互页面的浏览器。

2.PhantomJS的使用场景
PhantomJS的适用范围就是无头浏览器的适用范围。通常无头浏览器可以用于页面自动化，网页监控，网络爬虫等：

页面自动化测试：希望自动的登陆网站并做一些操作然后检查结果是否正常。
网页监控：希望定期打开页面，检查网站是否能正常加载，加载结果是否符合预期。加载速度如何等。
网络爬虫：获取页面中使用js来下载和渲染信息，或者是获取链接处使用js来跳转后的真实地址。

3.phantomJs的安装

安装教程：https://blog.csdn.net/qq_39382769/article/details/79754930

注意：直接使用pip安装selenium模块的话，很容易发生网络连接的问题，推荐使用清华源

安装命令：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium (直接复制到cmd敲击回车即可)

phantomJs的安装官网在国外，国内直接访问，不用vpn的话，很难下载的。所以如果有下载困难的小伙伴，可以在评论区留下自己的邮箱地址，我会定期查看，到时候看到了直接私发给有需要的小伙伴

4.使用phantomjs获取经过渲染的源代码