记录一些这俩天做的拨号代理池,可以简单使用,做爬虫的都知道ip代理必不可少, 一开始小白阶段看到最多的就各种 花刺,芝麻,快代理抓免费ip教学, 以前我也搞过,但是有效率太差,只适合随便爬点数据玩玩,在生产环境中,或者应用在日量千万级爬虫中根本不适用。
后来也买了一些ip,算一下账 如果用付费IP代理池的话,一个代理IP收费4分钱,8640个IP一天就要345元。 adsl拨号的主机一个月才100多元。而且你买的代理也可能别人在用。
默认已有一台 vps服务器,一台远程服务器,vps服务器这里不做广告 自己百度搜
首先vps厂商会提供一些拨号 断开命令:
pppoe-start 拨号
pppoe-stop 断开拨号
pppoe-status 拨号连接状态
vps服务器搭建HTTP代理:
yum install tinyproxy
修改配置
vi /etc/tinyproxy/tinyproxy.conf
Port 8888 #预设是8888 Port,你可以更改
Allow 127.0.0.1 #将127.0.0.1改成你自己的IP
#例如你的IP 是1.2.3.4,你改成Allow 1.2.3.4,那只有你才可以连上这个Proxy
#若你想任何IP都可以脸到Proxy在Allow前面打#注释
启动TinyProxy
service tinyproxy start
用下面的命令设置下iptables,放行8888端口就好了,或者关闭防火墙
停止firewall
systemctl stop firewalld.service
service iptables save
systemctl stop firewalld
systemctl disable firewalld
systemctl start iptables
systemctl status iptables
systemctl enable iptables
修改iptables配置
vi /etc/sysconfig/iptables
-A IN_public_allow -p tcp -m tcp --dport 8888 -m conntrack --ctstate NEW -j ACCEPT
保存,然后重启iptables
service iptabels restart
输入
ifconfig得到IP地址,然后自己随便在本机测试下ip:8888 访问 通了就说明没问题了
连接代理
如果服务商提供了端口映射!那一切都解决了!直接用端口映射过去就好了
首先 在vps上建个脚本 大概意思是 每多长时间拨一次号,并且访问远程服务器
然后在远程服务器建个web框架,接收vps的请求并且记录ip 给本机访问
文章来源:CSDN博客
原文链接:https://blog.csdn.net/qq_42196922/article/details/90292805
如有侵权,请联系本人删除