随着信息时代的到来,大数据作为互联网的重要组成部分,越来越多的企业倾向于通过互联网发展壮大自己,如何获取高价值的客户信息、行业信息尤其重要。因此,网络爬虫应运而生。那么在做数据抓取的时候,使用爬虫ip应该怎么接入代码demo呢?下文值得大家看看一看。
MAVEN引入如下依赖包:
cn.hutool hutool-all 5.3.5 com.squareup.okhttp3 okhttp 4.7.1 复制下面代码,新建Package:com.demo --> 新建Java类:Mainpackage com.demo;import cn.hutool.http.HttpUtil;import okhttp3.*;import java.io.*;import java.net.InetSocketAddress;import java.net.Proxy;import java.util.Objects;import java.util.concurrent.TimeUnit;public class Main {// 需要请求的目标网址private static final String TARGET_URL = "目标网址";// 提取链接private static final String API_URL = "提取链接";public static void main(String[] args) {String result = HttpUtil.get(API_URL);System.out.println("从接口获取的:" + result.strip());String proxyIp = result.strip();try {Proxies(TARGET_URL, proxyIp);Thread.sleep(500);} catch (Exception e) {e.printStackTrace();}}public static void Proxies(String urlString, String ipPort) {try {Response response = null;try {System.out.println("资源地址:" + ipPort);String ip = ipPort.split(":")[0];int port = Integer.parseInt(ipPort.split(":")[1]);Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(ip, port));OkHttpClient httpClient = new OkHttpClient().newBuilder().proxy(proxy).connectTimeout(10, TimeUnit.SECONDS).build();Request request = null;request = (new Request.Builder().url(urlString).build());response = httpClient.newCall(request).execute();System.out.println("输出结果2:" + Objects.requireNonNull(response.body()).string());} catch (IOException e) {System.out.println("请求出错1");e.printStackTrace();}} catch (Exception e) {System.out.println("请求出错2");e.printStackTrace();}}}
在我们使用时,会遇到一些错误代码。了解错误代码的含义,可以快速的帮助我们解决问题。今天就给大家详细介绍一下,常见的错误代码及释义。
错误代码 错误提示 说明
code:111 请在1秒后再次请求 提取链接请求太过频繁,超出限制
code:113 请将192.168.0.0设置为白名单! 白名单未添加/白名单掉了
code:114 余额不足 账户金额消耗完毕
code:115 请更换地区等条件重新生成api链接地址 没有资源或没有符合条件的数据
code:116 您的套餐今日已到达上限! 套餐内数量消耗完毕
code:117 您的套餐pack传参有误!请检测您现在的是否在套餐所在账户! 检测本地白名单是不是在账户下
code:118 您的账户异常,请联系客服! 账户处于被禁用状态
code:121 您的该套餐已经过期了! 套餐过期
code:401 IP:1.1.1.1:2000 Authentication failed! 白名单错误/使用的已经过期
code:403 Sorry!The site has been banned! 客户目标网站异常,联系客服处理