scrapy在python爬虫使用中需要注意什么？

在学习中，如果遇到问题把它们都收集整理出来，长期保存之后也是一份经验之谈。小编跟大家讲了这么久的scrapy框架，在自己学习的整理和小伙伴们的交流反馈中也累积了不少心得。想着有些小伙伴在python学习的时候有点丢三落四的毛病，特意整理出来scrapy在python爬虫使用中需要注意的事项，大家一起看看吧。

1.如果需要大批量分布式爬取，建议采用Redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结构（deque），并配合其它数据库存储，例如MySQL或者MongoDB，爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重，使用redis的set数据结构，通过settings文件正确设置后，即便停止scrapy爬虫，当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。

2.当涉及到代理IP，Headers头中间请求信息处理的时候，可以通过中间件Middleware来实现。Spider中间件是介入到Scrapy的spider处理机制的钩子框架，可以添加代码来处理发送给 Spiders的response及spider产生的item和request。

3.合理设置settings文件，需要熟练掌握settings的各种设置。

4.可以重新定义def start_requests(self)函数来加载cookie信息，form信息的提交用scrapy.FormRequest以及scrapy.FormRequest.from_response这两个函数，scrapy.FormRequest.from_response能实现自动提交form数据。

5.采用Scrapy phantomJS。 downloadMiddleware 对从 scheduler 送来的 Request 对象在请求之前进行预处理，可以实现添加 headers， user_agent，还有 cookie 等功能 。但也可以通过中间件直接返回 HtmlResponse 对象，略过请求的模块，直接扔给 response 的回调函数处理。

class CustomMetaMiddleware(object):
    def process_request(self,request,spider):
        dcap = dict(DesiredCapabilities.PHANTOMJS)     
        dcap["phantomjs.page.settings.loadImages"] = False  
        dcap["phantomjs.page.settings.resourceTimeout"] = 10
        driver = webdriver.PhantomJS("D:xx\xx",desired_capabilities=dcap)
        driver.get(request.url)
        body = driver.page_source.encode('utf8')
        url = driver.current_url
        driver.quit()
        return HtmlResponse(request.url,body=body)

以上都是一些小编在学习scrapy框架的一些总结经验，小伙伴们可以保存起来，留着有需要的时候查看。更多Python学习推荐:JQ教程网Python大全。

您可能感兴趣的文章：
python爬虫一般都爬什么信息
《Python2爬虫入门教程指南》（系列教程）
Python 爬虫学习系列教程
怎么用python的爬虫框架scrapy的命令行？
python学会后做什么
scrapy和python有什么关系
python中的scrapy框架是什么？为什么要学？
python的爬虫是什么意思
Python2爬虫入门之如何学习爬虫
Python3爬虫利器：Scrapyrt的安装（Scrapy分布式）