原创

Python爬虫:scrapy-splash的请求头和代理参数设置

本文为博主原创文章,欢迎转载,请注明出处
本文链接:https://pengshiyu.blog.csdn.net/article/details/82151257

3中方式任选一种即可

1、lua中脚本设置代理和请求头:

function main(splash, args)
	-- 设置代理    			 
	splash:on_request(function(request)
        request:set_proxy{
	        host = "27.0.0.1",
	        port = 8000,
	    }
		end)
    
    -- 设置请求头
    splash:set_user_agent("Mozilla/5.0")
    
    -- 自定义请求头
   splash:set_custom_headers({
    ["Accept"] = "application/json, text/plain, */*"
    })
            
    splash:go("https://www.baidu.com/")
    return splash:html()

2、scrapy中设置代理

def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url,
            endpoint='execute',
            args={'wait': 5,
                  'lua_source': source,
                  'proxy': 'http://proxy_ip:proxy_port'
                  }

scrapy中设置请求头一样的在headers中设置

3、中间件中设置代理

class ProxyMiddleware(object):
      def process_request(self, request, spider):
	      request.meta['splash']['args']['proxy'] = proxyServer
	      request.headers["Proxy-Authorization"] = proxyAuth

参考:

  1. using proxy with scrapy-splash
  2. 关于scrapy-splash使用以及如何设置代理ip
文章最后发布于: 2018-08-28 17:13:17
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览