教程集 www.jiaochengji.com
教程集 >  Python编程  >  Python入门  >  正文 python爬虫中怎么伪装浏览器?

python爬虫中怎么伪装浏览器?

发布时间:2020-11-27   编辑:jiaochengji.com
教程集为您提供python爬虫中怎么伪装浏览器?等资源,欢迎您收藏本站,我们将为您提供最新的python爬虫中怎么伪装浏览器?资源

现在都是知识共享社会,一个好的想法,如果不进行加速孕育,很容易被别人借鉴超越,另外就是我们在关注自己领域的学习创造,也应该去看下别人是怎么做的。这样才可以进行实施战略调整,因为这也是爬虫现在为什么重要的原因之一,如果我们想实现上述提及的内容,就必须得要去爬虫第一步——伪装自己。

实现伪装浏览器须知:

我们如果想去获取某些内容,得先让自己和他们处于同类,这样才不会被攻击,才可以跟对手网站和平相处,接收到他们的信息。引入ProxyHandler组件,访问需要通过build_opener调用handler来实现。

实现代码如下:

from urllib.request import Request, build_opener
from fake_useragent import UserAgent
from urllib.request import ProxyHandler
url = "http://httpbin.org/get"
headers={
 "User-Agent": UserAgent().chrome
}
request = Request(url, headers=headers)
handler = ProxyHandler({"http" : "112.85.129.8:9999"})
opener = build_opener(handler)
response = opener.open(request)
print(response.read().decode())

测试结果

先运行程序看看目前没有用代理的时候IP的信息

再看看利用了proxy之后产生的结果

从上述内容,我们通过一系列的操作,可以看到请求的ip地址已经发生了改变,这样我们就能深入去爬取信息啦~是不是非常好玩有趣又神奇呢?如果还想了解更多好玩的内容,点击进入python教程中心

您可能感兴趣的文章:
python百度反收集如何使用
python爬虫能做什么
python爬虫可以做什么
Python 爬虫学习系列教程
Python2爬虫入门:爬虫基础知识
python反爬虫是什么?如何应对爬虫报错?
python的爬虫是什么意思
python怎么做反爬
python爬虫能干什么
python爬虫中怎么伪装浏览器?

[关闭]
~ ~