成都创新互联网站制作重庆分公司

小说网站爬虫

小说网站爬虫第一天

成都创新互联是一家专业提供兴安企业网站建设,专注与网站设计制作、成都网站设计H5开发、小程序制作等业务。10年已为兴安众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

从今天开始,学习一下爬虫的知识,爬取小说网站。

第一天:

网站:http://www.bxwx9.org

小说:大主宰

小说网站爬虫

语言:IDEA+java

jar包:maven工程,所以放上dependencies,每一个jar包的作用大家去研究一下小说网站爬虫

项目结构:

小说网站爬虫

需求:获取小说的章节列表中的标题和URL

原理:

  • 用谷歌浏览器F12查看网页的内容,找到章节列表所在的元素

    小说网站爬虫

  • 使用标签选择器来选择需要的内容

    小说网站爬虫

    代码如下操作:

    小说网站爬虫

    中文乱码的解决:

    小说网站爬虫

运行的效果图:

小说网站爬虫

明天继续!!!!


网站标题:小说网站爬虫
URL链接:http://cxhlcq.com/article/gcjdjg.html

其他资讯

在线咨询

微信咨询

电话咨询

028-86922220(工作日)

18980820575(7×24)

提交需求

返回顶部