使用代理ip防止爬虫被封ip(附亿牛云代理开发过程)-创新互联-成都快上网建站

使用代理ip防止爬虫被封ip(附亿牛云代理开发过程)-创新互联


在我们使用爬虫的过程中,很容易遇到反爬机制是禁用 ip 的,可以使用代理 ip 解决 ip 被封的问题。但是网上 ip 代理有很多家,到底选哪家好呢?

创新互联建站是一家专业提供罗城企业网站建设,专注与成都网站设计、网站建设、外贸网站建设H5开发、小程序制作等业务。10年已为罗城众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

本文选择亿牛云代理 ( 官网地址 www.16yun.cn) 进行演示,使用 php 语言,如果需要大规模抓取可以去试试 python 。

在官网我们可以看到有提供两种方式进行代理,一种是 api 模式,一种是隧道模式。 Api 模式就是我们爬虫最常用到的,就是提供 url 连接给你,你的程序自动的获取代理信息。这个模式适合自己需要管理 ip 池控制 ip 的使用, ip 的有效时间是 2 到 10 分钟;隧道模式就提供给你一个固定的服务器 ip 地址信息,包括 ip :端口:用户名:密码只需要将代理信息配置到程序里面就可以使用,他们后台会自动切换 ip ,这个模式很方便,简单。

1 、第一种方式

第一种方式

首先代理提供商会提供给你一个 api 接口,你可以通过这个接口去获取 ip和端口号。但是这些ip的时效是 2到10 分钟,所以我建立了一个 ip池,每两分钟去更新一次ip池,以确保这些ip每次用到的时候都是有效的 。

第二种方式

可以直接查看亿牛云代理接入文档 php代码

         // 要访问的目标页面

         $url  = "http://httpbin.org/ip" ;

         $urls  = "https://httpbin.org/ip" ;

         // 代理服务器

         define ( "PROXY_SERVER" , "tcp://t.16yun.cn:31111" );

         // 隧道身份信息

         define ( "PROXY_USER" , "16YUN123" );

         define ( "PROXY_PASS" , "123456" );

         $proxyAuth  = base64_encode ( PROXY_USER  . ":"  . PROXY_PASS );

         // 设置 Proxy tunnel

         $tunnel  = rand ( 1 , 10000 );

         $headers  = implode ( " \r\n " , [

             "Proxy-Authorization: Basic { $proxyAuth } " ,

             "Proxy-Tunnel: ${ tunnel } " ,

        ]);

         $sniServer  = parse_url ( $urls , PHP_URL_HOST );

         $options  = [

             "http"  => [

                 "proxy"   => PROXY_SERVER ,

                 "header"  => $headers ,

                 "method"  => "GET" ,

                 'request_fulluri'  => true ,

            ],

             'ssl'  => array (

                     'SNI_enabled'  => true , // Disable SNI for https over http proxies

                     'SNI_server_name'  => $sniServer

            )

        ];

         print ( $url );

         $context  = stream_context_create ( $options );

         $result  = file_get_contents ( $url , false , $context );

         var_dump ( $result );

         // 访问 HTTPS 页面

         print ( $urls );

         $context  = stream_context_create ( $options );

         $result  = file_get_contents ( $urls , false , $context );

         var_dump ( $result ); ?>

经过一周的测试,代理的有效率在 90% 以上,总体来说效果还是很好的。


文章名称:使用代理ip防止爬虫被封ip(附亿牛云代理开发过程)-创新互联
网页网址:http://kswjz.com/article/cciooe.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流