导语

博主的代理池正式建立起来啦,已部署在服务器。现无偿开放代理获取请求端口,欢迎使用!

需要说明一下,这篇文章部分访问量是用代理池代理验证请求测试出来的。代理池代理获取接口,请继续阅读文章

正文

池子介绍

点我查看池子介绍全文

一、总体逻辑:
代码语言为Python,数据库为Mysql。数据库表格分为 active(可用) 与 death(不可用) 表格。代理质量以分数作为判断标准,初始分数为70,分数上限100分。代码定期对active与death表格代理进行验证,具体规则见验证模块。

二、获取模块
爬虫二十四小时不间断监测、爬取各大免费代理网站代理。入库前进行第一次验证,验证通过则放入active表格,并设置初始分数 70 分。

三、验证模块
active、death两表格代理分开验证。active表格间隔三十六分钟进行一次验证。若验证成功,且分数低于70,立即恢复为初始分数70。若分数高于初始分数,分数加一,上限100;若验证失败,且原始分数大于或等于70,分数立即降至15分。若原始分数小于或等于15分,分数减一,直至为零移除active表格,同时将其插入death表格。

death表格同样以分数进行判断,初始分数14分。间隔十二小时验证一次,成功即恢复可用状态(恢复至active表格),否则分数继续减一,直至为零彻底移出数据库。

更新维护

点我查看更新维护日志

2020-4-22日更新

新增分协议类型存储(HTTP/HTTPS),之前是不区分协议,统一存储为HTTP。待HTTPS协议类型代理数量上来以后,将新增HTTPS端口地址,或这考虑统一改用POST请求模式。

2020-4-28日更新

18:00-21:00暂停调整数据库存储字段,期间暂停开放API端口。
重要变化:API端口返回json键值有所改变,新格式请参考 数据说明 。

2020-4-29日更新

在线更新,主要为细节更新,内容如下:

  1. 优先验证存活代理(70分值及以上代理),进一步确保端口代理可用性。
  2. 内部代码细节优化,验证方式调整,提高执行效率。
  3. 异常捕获、处理机制优化。

2020-5-01日更新

  1. 新增代理爬取源。
  2. 下调 不可用代理初始 分数,由原来的15分下降至12分。
  3. HTTPS 类型代理放入API端口,由于数量较少,暂不作单独开放端口处理。

2020-5-04日更新

可能由于之前比较偏重数量的原因,亦或开发经验不足,导致代理校验模块出现比较大的疏忽,代理池代理可用百分比较小。例如:没有考虑到广告代理(无论访问什么网址,均会自动跳转到某一特定网址,真是够绝的),以及无效的302,301,304访问等等。在这一次更新中,博主对验证代理池代理有效性作了较大调整,基本上解决了上述问题,进一步优化代码。当然了,若你觉得获取代理池质量实在差劲,也欢迎你评论区留言批评、或给出你的验证想法,实在感谢!

  1. 代码细节改进。
  2. 异常捕获、以及异常处理代码优化。
  3. 调整代理验证逻辑,提高验证质量。
  4. 调高API端口代理分数下限,之前与放入代理池起步分数相同(70分),目前为71分。

2020-5-08日更新

端口代码优化,提高效率,新增限制IP访问。IP访问规则如下:

  1. 每一IP,10秒内最大访问频率3次,超过访问限制返回 403
  2. 增加请求头校验,访问请求需携带User-Agent请求头,否则返回 400
  3. 增加IP访问黑名单,若发现疯狂抓取,将封锁IP。

2020-5-16日更新

很抱歉,由于原服务器续费成本高昂,且运行内存较低,博主不得已更换服务器。但由于各种杂七杂八的原因,原来服务器部分数据未能及时备份,导致网站停摆一天。现网站以及代理池已基本恢复正常运行,如有问题,欢迎评论区留言。
注: 至此,博主的代理池开发,基本上算得上是完善了。由于时间与精力实在有限,博主将会降低更新维护的频率,但承诺保持代理代理池数量及API端口保持稳定,有效运行。若你有新的免费代理网站or代理源,欢迎下方评论区留言,谢谢!

2020-6-13日更新

调低端口访问限制,十秒内最大访问次数十次。

联系博主

点我获取博主联系方式

本站代理服务将长期开放,若你在使用服务过程中,遇到突发状况,如请求网址失效,返回错误、数据错乱等,请查看本文 更新维护 一栏,了解情况。你也可以留言评论,or直接联系博主,博主看到后会尽快答复。联系邮箱: zqc8@vip.qq.com

注: 博主正在考虑开发一款 网站评论邮件通知系统 ,不过最近时间不是很充裕,得需要一段时间。到时候大家留言评论只要留下真实邮箱,就可以直接收到博主or其他网友给你的回复信息啦!

数据返回示例

点我查看数据返回示例

# 数据返回成功示例
{"code":200,"msg":"success","data":{"proxy":"127.0.0.1:8888","port":"8888","type":"HTTP","verify_time": "2020-01-01 00:00:00"}}

代理池端口网址

点我查看代理池api网址

此处内容需要评论回复后(审核通过)方可阅读。

获取代理参考示例

点我查看Python获取代理示例代码

此处内容需要评论回复后(审核通过)方可阅读。

责任声明

  • 代理池IP均收集于网络,仅供学习使用,不得用于任何商业、违法用途,否则后果自负。
  • 由于代理不可控,本站不能保证代理传输数据的安全性,重要数据传输请谨慎使用。若造成任何损失、资料泄露,本站概不负责。

其他事项

1.获取代理方法:直接Get端口网址即可,数据以json形式返回

2.代理池代理均从各大免费ip网站动态爬取,代理质量请自行筛选

3.本站保留端口开放权限,更新维护/本人使用时,会暂时关闭端口服务

4.小站服务器配置较低,挂载多项服务业务,请适当降低请求频率,谢谢合作

结语

如有任何问题,欢迎评论区下方留言,推荐大家加入博主创建的Python交流群,获取代理池/停机维护最新更新动态等。QQ群号:894840395

更新预告

最近博主学习Flask框架可谓不亦乐乎,收获颇丰,因此决定借着余勇,打算把代理池的api端口模块重写一遍。之前用的是php的,是我所不擅长的,因而代码是十分简陋的,所以打算用Flask写一遍观望观望,也当做是实战练习。敬请期待吧!

最后修改:2020 年 07 月 09 日 01 : 37 AM
如果觉得我的文章对你有用,请支持我!