scrapy如何在python爬虫中建立目录?
在看一本新书的时候,有些人会习惯的去看一下书本的目录,这样对全书的大概框架也会有一个了解,可见目录的作用是不可小觑的。那么,我们在scrapy框架中有可以建立目录的方法吗?小编在尝试进行python爬虫运行的时候偶尔发现了它的使用,借着这个机会分享给各位小伙伴。
scrapy代码目录
运行:
scrapy startproject tutorial
即可自动创建官方标准的代码目录。
tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
其中:
tutorial/: 该项目的python总模块。
tutorial/items.py: 项目中的item文件,编写爬取的字段名称等;
tutorial/pipelines.py: 项目中的pipelines文件;
tutorial/settings.py: 项目的设置文件,较为重要;
tutorial/spiders/: 放置spider代码的主目录;
想要给自己的文件做目录的小伙伴可以动手尝试一下这种方法,毕竟操作不是很繁琐,python小白也可以放心尝试。更多Python学习推荐:JQ教程网Python大全。
您可能感兴趣的文章:
Python 爬虫学习系列教程
python爬虫一般都爬什么信息
《Python2爬虫入门教程指南》(系列教程)
scrapy和python有什么关系
scrapy如何在python爬虫中建立目录?
Python3爬虫利器:Scrapy-Redis的安装
如何用scrapy框架构建python爬虫?
Python2爬虫入门之如何学习爬虫
python3爬虫中如何搭建scrapy框架?需要注意什么?
怎么用python的爬虫框架scrapy的命令行?