python爬虫涉及的相关库有哪些-创新互联

这篇文章主要介绍了python爬虫涉及的相关库有哪些，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

以下是Python爬虫涉及的相关库

请求库，解析库，存储库，工具库

1、请求库：urllib/re/requests

（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：

没有报错信息输出，说明环境正常

（2） requests安装

2.1 打开CMD，输入 pip3 install requests

2.2 等待安装后，验证

（3） selenium安装（驱动浏览器进行网站访问行为）

3.1 打开CMD，输入 pip3 install selenium

3.2 安装chromedriver

网址：https://npm.taobao.org/

把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后，验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

2. 解析库：

2.1 lxml (XPATH)

打开CMD输入pip3 install lxml或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件，命令行执行pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

2.3 pyquery（类似jquery语法）

打开CMD，pip3 install pyquery

验证安装结果

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

安装：pip3 install pymysql，安装后测试：

3.2 pymongo（操作MongoDB，key-value）

安装 pip3 install pymongo

验证

3.3 redis（分布式爬虫，维护爬取队列） 安装：pip3 install redis

验证：

4.1Django（分布式爬虫维护系统）pip3 install django

4.2jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）安装 pip3 install jupyter

验证：打开CMD，jupyter notebook

之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印

感谢你能够认真阅读完这篇文章，希望小编分享python爬虫涉及的相关库有哪些内容对大家有帮助，同时也希望大家多多支持创新互联成都网站设计公司，关注创新互联成都网站设计公司行业资讯频道，遇到问题就找创新互联成都网站设计公司，详细的解决方法等着你来学习!

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、网站设计器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。