Skip to content

Latest commit

 

History

8 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 

Repository files navigation

爬取网络小说

概述

娱乐所做,网络小说爬虫,能爬取目标网站一定量的网络小说

遵守robots协议

运行

创建数据库的脚本已放至根目录,进入项目根目录,运行以下命令以创建数据库:

pip install scrapy
python createDatabases.py

spiders/spider.py文件里的start_requests函数中设置目标范围,默认10000-10100, 然后运行以下命令启动爬虫:

scrapy crawl novel

novel是spider/spider.py 文件中Spider类的name属性,可自定义

爬取速度

45分钟共爬取101篇小说,共计28959章

About

scrapy网络小说爬虫

Resources

Stars

2 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages