需求背景： 公司网络爬虫程序，经常访问一些网站被封ip。现在有1000+台代理ip的服务器
要求：在这1000台代理机器上装nginx , 并将程序的请求轮循到代理服务器，通过代理ip 访问所请求的网站；url访问具体化
例如： 爬虫程序要访问http://tudou.com/1/2,nginx代理需要通过本机ip 出去访问http://tudou.com/1/2
求帮助，应该怎么匹配具体的URL 并转发出去
要求：在这1000台代理机器上装nginx , 并将程序的请求轮循到代理服务器，通过代理ip 访问所请求的网站；url访问具体化
例如： 爬虫程序要访问http://tudou.com/1/2,nginx代理需要通过本机ip 出去访问http://tudou.com/1/2
求帮助，应该怎么匹配具体的URL 并转发出去
0
nginx 上面直接做一个正向代理，做成中转机就好了吧？ 主要的需求就是通过nginx 本机ip 完全转发出去访问
阿铭 发表于 2016-7-24 08:04
爬虫抓数据的时候用的是域名，并且是可以指定ip的，所以，就可以把代理机器ip作为一个循环的列表，然后遍历 ...
nginx 上面直接做一个正向代理，做成中转机就好了吧？ 主要的需求就是通过nginx 本机ip 完全转发出去访问
编辑回复