三程（进程、线程、协程） & 三器（迭代器、装饰器、生成器）
进程
https://www.cnblogs.com/xiaonq/p/7905347.html#i3
- 进程是资源分配的最小单位（ 内存、cpu、网络、io）
- 一个运行起来的程序就是一个进程
- 什么是程序（程序是我们存储在硬盘里的代码）
- 硬盘（256G）、内存条（8G）
- 当我们双击图标，打开程序的时候，实际上就是通过I/O操作（读写）内存条里面
- 内存条就是我们所指的资源
- CPU分时
- CPU比你的手速快多了，分时处理每个线程，但是由于太快然你觉得每个线程都是独占cpu
- cpu是计算，只有时间片到了，获取cpu，线程真正执行
- 当你想使用 网络、磁盘等资源的时候，需要cpu的调度
- 进程具有独立的内存空间，所以没有办法相互通信
- 进程如何通信
- 进程queue(父子进程通信)
- pipe（同一程序下两个进程通信）
- managers（同一程序下多个进程通信）
- RabbitMQ、redis等（不同程序间通信）
- 进程如何通信
- 为什么需要进程池
- 一次性开启指定数量的进程
如果有十个进程，有一百个任务，一次可以处理多少个（一次性只能处理十个） - 防止进程开启数量过多导致服务器压力过大
- 一次性开启指定数量的进程
线程
- 有了进程为什么还需要线程
- 因为进程不能同一时间只能做一个事情
- 什么是线程
- 线程是操作系统调度的最小单位
- 线程是进程正真的执行者，是一些指令的集合（进程资源的拥有者）
- 同一个进程下的读多个线程共享内存空间，数据直接访问（数据共享）
- 为了保证数据安全，必须使用线程锁
- GIL全局解释器锁
- 在python全局解释器下，保证同一时间只有一个线程运行
- 防止多个线程都修改数据
- 线程锁（互斥锁）
- GIL锁只能保证同一时间只能有一个线程对某个资源操作，但当上一个线程还未执行完毕时可能就会释放GIL，其他线程就可以操作了
- 线程锁本质把线程中的数据加了一把互斥锁
- mysql中共享锁 & 互斥锁
- mysql共享锁：共享锁，所有线程都能读，而不能写
- mysql排它锁：排它，任何线程读取这个这个数据的权利都没有
- mysql中共享锁 & 互斥锁
- 加上线程锁之后所有其他线程，读都不能读这个数据
- 有了GIL全局解释器锁为什么还需要线程锁
- 因为cpu是分时使用的
- 死锁定义
- 两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去
协程
-
什么是协程
- 协程微线程，纤程，本质是一个单线程
- 协程能在单线程处理高并发
- 线程遇到I/O操作会等待、阻塞，协程遇到I/O会自动切换（剩下的只有CPU操作）
- 线程的状态保存在CPU的寄存器和栈里而协程拥有自己的空间，所以无需上下文切换的开销，所以快、
-
为甚么协程能够遇到I/O自动切换
- 协程有一个gevent模块(封装了greenlet模块)，遇到I/O自动切换
-
协程缺点
- 无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上
- 线程阻塞（Blocking）操作（如IO时）会阻塞掉整个程序
-
协程最大的优点
- 不仅是处理高并发（单线程下处理高并发）
- 特别节省资源（500日活，用php写需要两百多态机器，但是golang只需要二十多太机器）
- 200多台机器一年
- 二十多天机器一年
select、epool、pool
-
select
- 只能处理1024个连接（每一个请求都可以理解为一个连接）
- 不能告诉用户程序，哪一个连接是活跃的
-
pool
- 只是取消了最大1024个活跃的限制
- 不能告诉用户程序，哪一个连接是活跃的
-
epool
- 不仅取消了1024这个最大连接限制
- 而且能告诉用户程序哪一个是活跃的
装饰器
-
什么是装饰器?（What）
-
装饰器本质是函数，用来给其他函数添加新的功能
-
特点：不修改调用方式、不修改源代码
-
-
装饰器的应用场景？（Where）
-
用户认证，判断用户是否登录
-
计算函数运行时间（算是一个功能、在项目里用的不多）
-
插入日志的时候
-
redis缓存
-
-
为什么使用装饰器？（Why）
- 结合应用场景说需求
-
如何使用装饰器？（How）
- 装饰器求函数运行时间
```bash
import time
def timer(func): #timer(test1) func=test1
def deco(*args,**kwargs):
start_time = time.time()
func(*args,**kwargs) #run test1
stop_time = time.time()
print("running time is %s"%(stop_time-start_time))
return deco
# @timer # test1=timer(test1)
def test1():
time.sleep(3)
print("in the test1")
test1()
- 三级装饰器
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import time
def auth(auth_type):
print("auth func:",auth_type)
def outer_wrapper(func):
def wrapper(*args, **kwargs):
print("wrapper func args:", *args, **kwargs)
print('运行前')
func(*args, **kwargs)
print('运行后')
return wrapper
return outer_wrapper
@auth(auth_type="local") # home = wrapper()
def home():
print("welcome to home page")
return "from home"
home()
生成器
-
什么是生成器?(What)
- 生成器就是一个特殊的迭代器
- 一个有yield关键字的函数就是一个生成器
- 生成器是这样一个函数，它记住上一次返回时在函数体中的位置。
- 对生成器函数的第二次（或第 n 次）调用跳转至该函数中间，而上次调用的所有局部变量都保持不变。
-
生成器哪些场景应用？（Where）
-
生成器是一个概念，我们平常写代码可能用的并不多，但是python源码大量使用
-
比如我们tornado框架就是基于 生成器 协程
-
在我们代码中使用举例
-
比如我们要生成一百万个数据，如果用生成器非常节省空间，用列表浪费大量空间
-
import time
t1 = time.time()
g = (i for i in range(100000000))
t2 = time.time()
lst = [i for i in range(100000000)]
t3 = time.time()
print('生成器时间：',t2 - t1) # 生成器时间： 0.0
print('列表时间：',t3 - t2) # 列表时间： 5.821957349777222
-
为什么使用生成器
- 节省空间
- 高效
-
如何使用
#!/usr/bin/python
# -*- coding: utf-8 -*-
def read_big_file_v(fname):
block_size = 1024 * 8
with open(fname,encoding="utf8") as fp:
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时，read 调用将会返回空字符串 ''
if not chunk:
break
print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)
迭代器
-
什么是迭代器(What)
-
迭代器是访问集合内元素的一种方法
- 总是从集合内第一个元素访问，直到所有元素都被访问过结束，当调用 __next__而元素返回会引发一个，StopIteration异常
-
有两个方法：iter next
-
__iter__ : 返回迭代器自身
__next__: 返回下一个元素
您可能感兴趣的文章：
python装饰器是什么
go 协程
Python中使用装饰器的三个技巧
Go语言潜力有目共睹，但它的Goroutine机制底层原理你了解吗？
在python中线程和协程的区别是什么
三分钟看懂什么是Python生成器
浅谈Go语言的Goroutine和协程
python 装饰器详解
Python之装饰器简介
一篇文章教你如何使用Python生成器