教程集 www.jiaochengji.com
教程集 >  Python编程  >  Python入门  >  正文 python scrapy框架是异步还是多线程?

python scrapy框架是异步还是多线程?

发布时间:2020-12-07   编辑:jiaochengji.com
教程集为您提供python scrapy框架是异步还是多线程?等资源,欢迎您收藏本站,我们将为您提供最新的python scrapy框架是异步还是多线程?资源

小伙伴们很喜欢给小编出各种难题,比如今天关于框架,有小伙伴在浏览时,看到别人咨询异步还有多线程,因为自己也不是很理解,于是把问题转发给小编看,小编仔细看了下,虽然跟我们现在课程学习并没有什么相互关联的内容,但是既然这么感兴趣,以及为了解决小伙伴疑惑,决定为大家讲解下。

什么是异步:

工作涉及一次执行多个IO操作。

什么是多线程:

多线程:允许单个任务分成不同的部分运行

相互之间是有一定的相似之处的,那我们接下来解说下 scrapy框架,然后大家自己来抉择下哈~

Scrapy框架是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

scrapy.cfg
project/
 __init__.py
 items.py
 pipelines.py
 settings.py
 middlewares.py
 spiders/
 __init__.py
 spider1.py
 spider2.py
 ...复制代码

Scrapy数据流是由执行的核心引擎控制,流程是这样的:

1、爬虫引擎获得初始请求开始抓取。

2、爬虫引擎开始请求调度程序SCHEDULER,并准备对下一次的请求进行抓取。

3、爬虫调度器返回下一个请求给爬虫引擎。

4、引擎请求发送到下载器DOWNLOADER,通过下载中间件下载网络数据。

5、一旦下载器完成页面下载,将下载结果返回给爬虫引擎。

因此大家可以抉择出来了嘛?关于这个框架到底是异步还是多线程呢?其实我们也不必针对于到底分清哪个是哪个,我们只需要知道,我们使用的框架还有这些功能可以怎么使用即可哦~

您可能感兴趣的文章:
Python3爬虫入门:Scrapy 框架
python中的scrapy框架是什么?为什么要学?
python scrapy框架是异步还是多线程?
python怎么一次性下载多个文件
Python3爬虫利器:Scrapy的安装
2020年8个效率最高的爬虫框架
python的爬虫框架scrapy原理是什么?
scrapy和python有什么关系
Python2爬虫入门之如何学习爬虫
零基础Python学习路线图,Python初学者必须要了解,让你少走弯路

[关闭]
~ ~