使用Java进行网络采集:代理IP与参数传递详解

news2024/11/27 13:40:53

DALL·E 2023-10-11 15.13.28 .png

在Java编程语言中,参数传递机制是一个常见的讨论话题。理解这一点对于编写高效且无错误的Java代码至关重要。本文将探讨Java的参数传递机制,解析其究竟是“按引用传递”还是“按值传递”,并结合网络爬虫技术的实例,展示如何在实际应用中理解和利用这一机制。

1. 什么是“按值传递”?

在Java中,所有参数传递都是“按值传递”的。这意味着当一个方法被调用时,它接收到的是参数的副本。对于原始类型(如intdouble),传递的是实际值的副本。举例说明:

public class ValueExample {
    public static void main(String[] args) {
        int number = 5;
        changeValue(number);
        System.out.println("Number after method call: " + number);
    }

    public static void changeValue(int num) {
        num = 10;
    }
}

在上面的例子中,number的值不会改变,因为传递给changeValue方法的是number的副本。

2. 什么是“按引用传递”?

在“按引用传递”中,传递给方法的是参数的引用,因此方法内部对参数的修改会影响到方法外部的实际参数。在Java中,虽然对象引用是按值传递的,但由于传递的是引用的副本,方法内部对对象的修改会影响到外部的对象。如下所示:

public class ReferenceExample {
    public static void main(String[] args) {
        Person person = new Person("John");
        changeName(person);
        System.out.println("Person name after method call: " + person.getName());
    }

    public static void changeName(Person p) {
        p.setName("Alice");
    }
}

class Person {
    private String name;

    public Person(String name) {
        this.name = name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getName() {
        return name;
    }
}

在上述例子中,person对象的名称被修改了,因为方法内部修改了对象引用所指向的对象。

3. 理解Java的参数传递机制

通过以上两个例子,我们可以得出结论:Java是“按值传递”的。对于原始类型,传递的是实际值的副本;对于对象类型,传递的是对象引用的副本。因此,当传递对象时,方法内部修改对象的内容会影响到原始对象,但重新分配引用不会影响原始引用。

4. 将参数传递机制应用于网络爬虫

网络爬虫是一种自动化的数据收集工具,常用于从网站上提取信息。为了避免被网站封禁,爬虫通常使用代理IP技术。以下是一个使用代理IP技术进行爬虫的Java示例,参考了亿牛云爬虫代理的域名、端口、用户名和密码。同时,我们将展示Java的参数传递机制在此背景下的应用。

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.net.URL;
import java.util.Base64;

public class ProxyCrawler {
    public static void main(String[] args) {
        // 使用亿牛云爬虫代理的域名、端口、用户名和密码
        ProxySettings proxySettings = new ProxySettings("www.16yun.cn", 8080, "yourUsername", "yourPassword");
        fetchDataWithProxy(proxySettings, "http://example.com");
    }

    // 使用代理获取数据的方法
    public static void fetchDataWithProxy(ProxySettings settings, String targetUrl) {
        try {
            // 设置代理
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(settings.getHost(), settings.getPort()));

            // 构建请求URL
            URL url = new URL(targetUrl);

            // 打开连接
            HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);

            // 设置代理认证
            String encoded = Base64.getEncoder().encodeToString((settings.getUsername() + ":" + settings.getPassword()).getBytes());
            connection.setRequestProperty("Proxy-Authorization", "Basic " + encoded);

            // 发送请求并获取响应
            BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
            String inputLine;
            StringBuilder content = new StringBuilder();
            while ((inputLine = in.readLine()) != null) {
                content.append(inputLine);
            }

            // 关闭连接
            in.close();
            connection.disconnect();

            // 输出响应内容
            System.out.println(content.toString());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

// 定义一个包含代理设置的类
class ProxySettings {
    private String host;
    private int port;
    private String username;
    private String password;

    public ProxySettings(String host, int port, String username, String password) {
        this.host = host;
        this.port = port;
        this.username = username;
        this.password = password;
    }

    public String getHost() {
        return host;
    }

    public int getPort() {
        return port;
    }

    public String getUsername() {
        return username;
    }

    public String getPassword() {
        return password;
    }
}

在这个示例中,我们定义了一个ProxySettings类,用于保存代理设置,然后在fetchDataWithProxy方法中通过代理发送HTTP请求并获取响应。需要注意的是,ProxySettings对象在传递给方法时,方法内部可以读取其属性,但无法改变原始引用所指向的对象。这充分展示了Java的“按值传递”机制。

结论

Java的参数传递机制始终是“按值传递”的。对于原始类型,传递的是实际值的副本;对于对象引用,传递的是引用的副本。理解这一点对于编写正确和高效的Java代码至关重要。同时,使用代理IP技术可以有效避免爬虫被网站封禁,从而提高数据采集的成功率。通过本文的详尽解释和实例演示,希望读者能够更好地理解Java的参数传递机制及其在实际编程中的应用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1816303.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

7 款便捷好用的AI API

AI API(人工智能应用程序接口)是一种软件中间件,它允许开发者和企业通过编程方式访问和集成人工智能服务到他们自己的应用程序、网站或系统中。AI API通常由专业的AI服务提供商开发和维护,使得用户无需深入了解复杂的AI算法和模型…

UML相关1

汽车租赁系统中的用例图简述(10分) 本系统根据功能可以分为三个用例图: 客户用例图:主要描述客户注册、登录、找回密码、查询车辆信息(包括所有车辆信息、已借车辆信息、租赁历史信息)、修改个人信息、网上预订车辆、电话预定车…

【强化学习】gymnasium自定义环境并封装学习笔记

【强化学习】gymnasium自定义环境并封装学习笔记 gym与gymnasium简介gymgymnasium gymnasium的基本使用方法使用gymnasium封装自定义环境官方示例及代码编写环境文件__init__()方法reset()方法step()方法render()方法close()方法 注册环境创建包 Package(最后一步&a…

【QT5】<知识点> QT常用知识(更新中)

目录 一、更改文本颜色和格式 二、QT容器类 三、字符串与整数、浮点数之间的转换 四、QString常用功能 五、SpinBox的属性介绍 六、滑动、滚动、进度条和表盘LCD 七、时间、日期、定时器 一、更改文本颜色和格式 动态设置字体粗体:QFont对象的setBold方法动态…

Yapi代码执行 waf绕过实战记录

本文记录了2021年一次有趣的客户目标测试实战。这次经历颇为特别,因此我将其整理成笔记,并在此分享,希望对大家有所帮助。 事件起因 疫情在家办公,准备开始划水的一天,这时接到 boss 的电话说要做项目,老…

微调技术:人工智能领域的神奇钥匙

在人工智能的浪潮中,深度学习技术凭借其强大的数据处理和学习能力,已成为推动科技进步的重要引擎。然而,深度学习模型的训练往往需要大量的数据和计算资源,这在某些特定场景下成为了限制其发展的瓶颈。为了解决这个问题&#xff0…

SolidWorks 2016 SP5安装教程

软件介绍 Solidworks软件功能强大,组件繁多。 Solidworks有功能强大、易学易用和技术创新三大特点,这使得SolidWorks 成为领先的、主流的三维CAD解决方案。 SolidWorks 能够提供不同的设计方案、减少设计过程中的错误以及提高产品质量。SolidWorks 不仅…

JavaWeb6 Tomcat+postman请求、响应

Web服务器 对HTTP协议操作进行封装,简化web程序开发 部署web项目,对外提供网上信息浏览服务 Tomcat 轻量级web服务器,支持servlet,jsp等少量javaEE规范 也被称为web容器,servlet容器 Springboot有内置Tomcat nginx…

网络编程2----UDP简单客户端服务器的实现

首先我们要知道传输层提供的协议主要有两种,TCP协议和UDP协议,先来介绍一下它们的区别: 1、TCP是面向连接的,UDP是无连接的。 连接的本质是双方分别保存了对方的关键信息,而面向连接并不意味着数据一定能正常传输到对…

[CUDA 学习笔记] 稀疏矩阵向量乘法(SpMV) CUDA 实现与优化

稀疏矩阵向量乘法(SpMV) CUDA 实现与优化 本文主要围绕基于 CUDA 的 SpMV 实现进行介绍, 包括几种典型稀疏矩阵存储格式下 SpMV 的朴素实现, 以及 CSR 格式下的几种优化实现. 稀疏矩阵存储格式 稀疏矩阵即含有大量零元的矩阵. 对于稀疏矩阵, 像稠密矩阵一样使用二维数组来存…

物业管理的隐形杀手:纸质点检表,你还在用吗?

在日常的生活中,我们经常会看到小区物业保洁、客服人员在工作岗位忙忙碌碌,但忽略了默默为我们提供舒适环境的“隐形守护者”——物业设施设备。然而,一旦这些设备出现故障,我们的日常生活就会陷入混乱。那么,如何确保…

比特币不是解决货币伦理的「灵丹妙药」

原文标题:《Bitcoin is no ‘silver bullet’ for money’s ethical problems》 撰文:Stephen Katte 编译:Chris,Techub News 本文来源香港Web3媒体:Techub News 比特币和法定货币经常因货币伦理问题而受到批评&am…

AcWing 1639:拓扑顺序 ← 链式前向星

【题目来源】https://www.acwing.com/problem/content/1641/【题目描述】 这是 2018 年研究生入学考试中给出的一个问题: 以下哪个选项不是从给定的有向图中获得的拓扑序列? 现在,请你编写一个程序来测试每个选项。 【输入格式】 第一行包含两…

ffmpeg实现视频播放 ----------- Javacv

什么是Javacv和FFmpeg? Javacv是一个专门为Java开发人员提供的计算机视觉库,它基于FFmpeg和Opencv库,提供了许多用于处理图 像、视频和音频的功能。FFmpeg是一个开源的音视频处理工具集,它提供了用于编码、解码、转换和播放音视频…

MyBatis 参数上的处理的细节内容

1. MyBatis 参数上的处理的细节内容 文章目录 1. MyBatis 参数上的处理的细节内容2. MyBatis 参数上的处理3. 准备工作4. 单个(一个)参数4.1 单个(一个)简单类型作为参数4.2 单个(一个) Map集合 作为参数4.3 单个(一个) 实体类POJO作为参数 5. 多个参数5.1 Param注解(命名参数)…

免费学习通刷课(免费高分)Pro版

文章目录 概要整体架构流程小结 概要 关于上一版的免费高分的学习通刷课,有很多人觉得还得登录太复杂了,然后我又发现了个神脚本,操作简单,可以后台挂着,但是还是建议调整速度到2倍速,然后找到你该刷的课&…

论文图片颜色提取

论文绘图的时候有些颜色不知道怎么选取,参考其他论文,将其他论文中的颜色提取下来,用取色器识别出来,记录如下: 颜色代码:#BEAED4 190,174,212 颜色代码:#C4CBCB 196,203,203 颜色代码&am…

【JVM】之常见面试题

文章目录 1.JVM中的内存区域划分2.JVM的类加载机制2.1 加载2.2 验证2.3 准备2.4 解析2.5 初始化2.6 类加载的时机 3 类加载器4.双亲委派模型5.JVM中的垃圾回收策略5.1 找谁是垃圾5.1.1 引用计数法5.1.2 可达性分析法 5.2 释放垃圾5.2.1 标记清除算法5.2.2 复制算法5.2.3 标记整…

GoogleDeepMind联合发布医学领域大语言模型论文技术讲解

Towards Expert-Level Medical Question Answering with Large Language Mod 这是一篇由Google Research和DeepMind合作发表的论文,题为"Towards Expert-Level Medical Question Answering with Large Language Models"。 我先整体介绍下这篇论文的主要内容&#x…

[CAN] 创建解析CAN报文DBC文件教程

👉本教程需要先安装CANdb软件,[CAN] DBC数据库编辑器的下载与安装 🙋前言 DBC(全称为Database CAN),是用于描述单个CAN网络中各逻辑节点的信息。 DBC是汽车ECU(Electronic Control Unit,电子控制单元&…