7. 从零用Rust编写正反向代理, HTTP及TCP内网穿透原理及运行篇

news2024/11/30 20:40:30

wmproxy

wmproxy是由Rust编写，已实现http/https代理，socks5代理， 反向代理，静态文件服务器，内网穿透，配置热更新等， 后续将实现websocket代理等，同时会将实现过程分享出来， 感兴趣的可以一起造个轮子法

项目 ++wmproxy++

gite: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

内网、公网

内网：也叫做局域网，通常指单一的网络环境。例如你家里的路由器网络、网吧、公司网络、学校网络。网络大小不定，内网中的主机可以互联互通，但是越出这个局域网访问，就无法访问该网络中的主机。

公网：就是互联网，其实也可以看做一个扩大版的内网，比如叫城际网，省域网，国网。有单独的公网IP，任何其它地址可以访问网络的可以直接访问该IP，从而实现服务。

为什么要内网穿透

内网限制

  1. IP不固定，通过家庭网，手机4G/5G访问的出口地址都是动态的，每次连接都会变化
  2. 运营商通常会做NAT转化，从而实际上你访问的出口地址其实也是一个内网地址，如通常https://www.baidu.com/s?wd=ip查询地址
  3. 常用端口无法使用，如80/443这类标准端口被直接限制不能使用。

公网优缺点

  1. 服务器贵，带宽贵
  2. IP固定，所有端口均可开放
  3. 带宽稳定，基本上所有高防机房或者云厂商都能提供稳定的带宽

内网穿透的场景

场景1:开发人员本地调试接口

描述：线上项目有问题或者有某些新功能，必须进行Debug进行调试和测试。
特点：本地调试、网速要求低、需要HTTP或者HTTPS协议。
需求：必须本地，必须HTTP[S]网址。

场景2：公司或者家里的本地存储或者公司内部系统

描述：如外出进行工作，或者本地有大量的私有数据（敏感不适合上云），但是自己必须得进行访问，如git服务或者照片服务等
特点：需要远程能随时随地的访问，访问内容不确定，但是需要能提供
需求：要相对比较稳定的线路，但是带宽相对要求较低

场景3：私有服务器和小伙伴开黑

描述：把自己的电脑做服务器，有时候云上的主机配置相对较高点的一个月费用极高，所以需要本地做私有服务器，或者把自己当做一台训练机
特点：对稳定性要求不用太高的，可以提供相应的服务

TCP内网穿透的原理

内网IP无法直接被访问，所以此时需求

  1. 内网服务器
  2. 公网服务器，有公网IP

此时网络如下，如此外部用户就能访问到内网服务器的数据，此时内网穿透客户端及服务端是保持长连接以方便进行推送，本质上是长链接在转发数据而实现穿透功能

由穿透客户端连接到内网服务器
建立连接/保持连接
访问建立连接
内网服务器
内网穿透客户端wmproxy
内网穿透服务端wmproxy
外网用户

Rust实现内网穿透

wmproxy一款简单易用的内网穿透工具，简单示例如下：

客户端相关

客户端配置client.yaml

# 连接服务端地址
server: 127.0.0.1:8091
# 连接服务端是否加密
ts: true

# 内网映射配置的数组
mappings:
  #将localhost的域名转发到本地的127.0.0.1:8080
  - name: web
    mode: http
    local_addr: 127.0.0.1:8080
    domain: localhost
  #将tcp的流量无条件转到127.0.0.1:8080
  - name: tcp
    mode: tcp
    local_addr: 127.0.0.1:8080
    domain:

启动客户端

wmproxy -c config/client.yaml

服务端相关

服务端配置server.yaml

#绑定的ip地址
bind_addr: 127.0.0.1:8091
#代理支持的功能，1为http，2为https，4为socks5
flag: 7
#内网映射http绑定地址
map_http_bind: 127.0.0.1:8001
#内网映射tcp绑定地址
map_tcp_bind: 127.0.0.1:8002
#内网映射https绑定地址
map_https_bind: 127.0.0.1:8003
#内网映射的公钥证书，为空则是默认证书
map_cert: 
#内网映射的私钥证书，为空则是默认证书
map_key:
#接收客户端是为是加密客户端
tc: true
#当前服务模式，server为服务端，client为客户端
mode: server

启动服务端

wmproxy -c config/server.yaml

测试实现

在本地的8080端口上启动了一个简单的http文件服务器

http-server .
http测试

此时，8001的端口是http内网穿透通过服务端映射到客户端，并指向到8080端口，此时若访问http://127.0.0.1:8001则会显示在这里插入图片描述

http映射是根据域名做映射此时我们的域名是127.0.0.1，所以直接返回404无法访问
此时若访问http://localhost:8001，结果如下
在这里插入图片描述

我们就可以判定我们的内网转发成功了。

tcp测试

tcp就是在该端口上的流量无条件转发到另一个端口上，此时我们可以预测tcp映射与域名无关，我们在8002上转发到了8080上，此时我们访问http://127.0.0.1:8002和http://localhost:8002都可以得到一样的结果
在这里插入图片描述

此时tcp转发成功

源码实现

因为TLS连接与协议无关，只要把普通的TCP转成TLS，剩下的均和普通连接一样处理即可，那么，此时我们只需要处理TCP和HTTP的请求转发即可。

监听

在程序启动的时候看我们是否配置了相应的http/https/tcp的内网穿透转发，如果有我们对相应的端口做监听，此时如果我们是https转发，要配置相应的证书，将会对TcpStream升级为TlsStream<TcpStream>

let http_listener = if let Some(ls) = &self.option.map_http_bind {
    Some(TcpListener::bind(ls).await?)
} else {
    None
};
let mut https_listener = if let Some(ls) = &self.option.map_https_bind {
    Some(TcpListener::bind(ls).await?)
} else {
    None
};

let map_accept = if https_listener.is_some() {
    let map_accept = self.option.get_map_tls_accept().await.ok();
    if map_accept.is_none() {
        let _ = https_listener.take();
    }
    map_accept
} else {
    None
};
let tcp_listener = if let Some(ls) = &self.option.map_tcp_bind {
    Some(TcpListener::bind(ls).await?)
} else {
    None
};

转发相关代码，主要在两个类里，分别为trans/http.rs和trans/tcp.rs

在http里面需要预处理相关的头文件消息，

  • X-Forwarded-For添加IP信息，从而使内网可以知道访问的IP来源
  • Host，重写Host信息，让内网端如果配置负载均衡可以正确的定位到位置
  • Server，重写Server信息，让内网可以明确知道这个服务端的类型
http转发源码

以下为部分代码，后续将进行比较正规的HTTP服务，以适应HTTP2

pub async fn process<T>(self, mut inbound: T) -> Result<(), ProxyError<T>>
where
    T: AsyncRead + AsyncWrite + Unpin,
{
    let mut request;
    let host_name;
    let mut buffer = BinaryMut::new();
    loop {
        // 省略读信息
        request = webparse::Request::new();
        // 通过该方法解析标头是否合法, 若是partial(部分)则继续读数据
        // 若解析失败, 则表示非http协议能处理, 则抛出错误
        // 此处clone为浅拷贝，不确定是否一定能解析成功，不能影响偏移
        match request.parse_buffer(&mut buffer.clone()) {
            Ok(_) => match request.get_host() {
                Some(host) => {
                    host_name = host;
                    break;
                }
                None => {
                    if !request.is_partial() {
                        Self::err_server_status(inbound, 503).await?;
                        return Err(ProxyError::UnknownHost);
                    }
                }
            },
            // 数据不完整，还未解析完，等待传输
            Err(WebError::Http(HttpError::Partial)) => {
                continue;
            }
            Err(e) => {
                Self::err_server_status(inbound, 503).await?;
                return Err(ProxyError::from(e));
            }
        }
    }

    // 取得相关的host数据，对内网的映射端做匹配，如果未匹配到返回错误，表示不支持
    {
        let mut is_find = false;
        let read = self.mappings.read().await;
        for v in &*read {
            if v.domain == host_name {
                is_find = true;
            }
        }
        if !is_find {
            Self::not_match_err_status(inbound, "no found".to_string()).await?;
            return Ok(());
        }
    }

    // 有新的内网映射消息到达，通知客户端建立对内网指向的连接进行双向绑定，后续做正规的http服务以支持拓展
    let create = ProtCreate::new(self.sock_map, Some(host_name));
    let (stream_sender, stream_receiver) = channel::<ProtFrame>(10);
    let _ = self.sender_work.send((create, stream_sender)).await;
    
    // 创建传输端进行绑定
    let mut trans = TransStream::new(inbound, self.sock_map, self.sender, stream_receiver);
    trans.reader_mut().put_slice(buffer.chunk());
    trans.copy_wait().await?;
    // let _ = copy_bidirectional(&mut inbound, &mut outbound).await?;
    Ok(())
}
tcp转发源码

tcp处理相对比较简单，因为我们无法确定协议里是哪个类型的源码，所以对我们来说，就是单纯的把接收的数据完全转发到新的端口里。以下是部分源码

pub async fn process<T>(self, inbound: T) -> Result<(), ProxyError<T>>
where
    T: AsyncRead + AsyncWrite + Unpin,
{
    // 寻找是否有匹配的tcp转发协议，如果有，则进行转发，如果没有则丢弃数据
    {
        let mut is_find = false;
        let read = self.mappings.read().await;

        for v in &*read {
            if v.mode == "tcp" {
                is_find = true;
            }
        }
        if !is_find {
            log::warn!("not found tcp client trans");
            return Ok(());
        }
    }

    // 通知客户端数据进行连接的建立，客户端的tcp配置只能存在有且只有一个，要不然无法确定转发源
    let create = ProtCreate::new(self.sock_map, None);
    let (stream_sender, stream_receiver) = channel::<ProtFrame>(10);
    let _ = self.sender_work.send((create, stream_sender)).await;
    
    let trans = TransStream::new(inbound, self.sock_map, self.sender, stream_receiver);
    trans.copy_wait().await?;
    Ok(())
}

到此部分细节已基本调通，后续将优化http的处理相关，以方便支持http的头信息重写和tcp的错误信息将写入正确的日志，以方便进行定位。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1290508.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

分布式光伏电站监控运维系统的简单介绍-安科瑞黄安南

分布式光伏电站监控运维系统的简单介绍-安科瑞黄安南

摘要&#xff1a;设计了一套更高性价比&#xff0c;且容易操作的电站监控系统。该系统融合了互联网和物联网&#xff0c;并为光伏电数据的传输构建了相应的通道&#xff0c;可支持云存储等功能&#xff0c;同时也为用户提供了多元化的查询功能。 关键词&#xff1a;分布式太阳能…
阅读更多...
P6 Linux 系统中的文件类型

P6 Linux 系统中的文件类型

目录 前言 ​编辑 01 linux系统查看文件类型 02 普通文件 - 03 目录文件 d 04 字符设备文件 c 和块设备文件 b 05 符号链接文件 l 06 管道文件 p 07 套接字文件 s 总结 前言 &#x1f3ac; 个人…
阅读更多...
Azure Machine Learning - Azure OpenAI 服务使用 GPT-35-Turbo and GPT-4

Azure Machine Learning - Azure OpenAI 服务使用 GPT-35-Turbo and GPT-4

通过 Azure OpenAI 服务使用 GPT-35-Turbo and GPT-4 环境准备 Azure 订阅 - 免费创建订阅已在所需的 Azure 订阅中授予对 Azure OpenAI 服务的访问权限。 目前&#xff0c;仅应用程序授予对此服务的访问权限。 可以填写 https://aka.ms/oai/access 处的表单来申请对 Azure Op…
阅读更多...
基于PicGo实现Typora图片自动上传GitHub

基于PicGo实现Typora图片自动上传GitHub

文章目录 一. 引言二. 原理三. 配置3.1 GitHub 设置3.2 下载配置 PicGo3.3 配置 Typora3.4 使用 一. 引言 Typora是一款非常好的笔记软件&#xff0c;但是有一个比较不好的地方&#xff1a;默认图片是存放在本地缓存中。这就会导致文件夹一旦被误删或电脑系统重装而忘记备份文件…
阅读更多...
vr建筑虚拟实景展厅漫游体验更直观全面

vr建筑虚拟实景展厅漫游体验更直观全面

随着科技的不断进步&#xff0c;纯三维、可交互、轻量化的三维线上展览云平台&#xff0c;打破时间界限&#xff0c;以其独特的魅力&#xff0c;给予客户更多的自主性、趣味性和真实性&#xff0c;客户哪怕在天南地北&#xff0c;通过网络、手机即可随时随地参观企业线上立体化…
阅读更多...
多元线性回归（一）

多元线性回归（一）

基本概念 线性回归时机器学习中监督学习下的一种算法。回归问题主要关注是因变量&#xff08;需要预测的值&#xff0c;可以是一个也可以是多个&#xff09;和一个或多个值型的自变量&#xff08;预测变量&#xff09;之间的关系。 需要预测的值&#xff1a;即目标变量&#x…
阅读更多...
聚观早报 |东方甄选将上架文旅产品；IBM首台模块化量子计算机

聚观早报 |东方甄选将上架文旅产品；IBM首台模块化量子计算机

【聚观365】12月6日消息 东方甄选将上架文旅产品 IBM首台模块化量子计算机 新思科技携手三星上新兴领域 英伟达与软银推动人工智能研发 苹果对Vision Pro供应商做出调整 东方甄选将上架文旅产品 东方甄选宣布12月10日将在东方甄选APP上线文旅产品&#xff0c;受这一消息影…
阅读更多...
idea+spring框架+thymeleaf实现数据库增加数据（不使用xml文件）

idea+spring框架+thymeleaf实现数据库增加数据（不使用xml文件）

增加数据主要涉及四个文件 Apple.java写清楚数据库内部字段 package com.example.appledemo.pojo;import lombok.Getter;Getter public class Apple {private Integer appleId;private Integer price;private Integer weight;public void setAppleId(Integer appleId) {this.a…
阅读更多...
合并PDF（将多个pdf文件整合成一个pdf文件）

合并PDF（将多个pdf文件整合成一个pdf文件）

推荐使用下面这个免费在线的PDF文件合并工具&#xff0c;简单且易操作。 合并PDF - 在线上免费合并PDF文件 (smallpdf.com) 还有其他功能&#xff0c;不过现在我尚未使用其他功能&#xff1a; 关于费用&#xff1a;
阅读更多...
工厂方法设计模式项目实践

工厂方法设计模式项目实践

前言 以采集数据处理逻辑为例&#xff0c;数据采集分为不同种类如&#xff1a;MQTT、MODBUS、HTTP等&#xff0c;不同的采集数据有不同的解析处理逻辑。但总体解析处理步骤是固定的。可以使用工厂方法设计模式简化代码&#xff0c;让代码变得更加优雅。 代码实战 抽象类 总体…
阅读更多...
反序列化 [网鼎杯 2020 朱雀组]phpweb 1

反序列化 [网鼎杯 2020 朱雀组]phpweb 1

打开题目 我们发现这个页面一直在不断的刷新 我们bp抓包一下看看 我们发现index.php用post方式传了两个参数上去&#xff0c;func和p 我们需要猜测func和p两个参数之间的关系&#xff0c;可以用php函数MD5测一下看看 我们在响应处得到了一串密文&#xff0c;md5解密一下看看 发…
阅读更多...
Vue+ElementUI技巧分享：结合Sortablejs实现表格行拖拽

Vue+ElementUI技巧分享：结合Sortablejs实现表格行拖拽

文章目录 前言准备工作示例代码代码说明1. 引入依赖和组件结构2. 组件数据和生命周期3. 实现拖拽功能4. 更新数据和服务器同步 运行效果总结 前言 在很多动态网页应用中&#xff0c;用户界面的交互性是提高用户体验的关键。在 Vue.js 中&#xff0c;结合 Element UI 和 sortab…
阅读更多...
为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模？

为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模？

1.2为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.2节内容。本书已正式出版上市&#xff0c;当当、京东、淘宝等平台热销中&#xff0c;搜索书名即可。内容涵盖数据科学…
阅读更多...
【Linux】冯诺依曼体系结构（硬件）、操作系统（软件）、系统调用和库函数 --- 概念篇

【Linux】冯诺依曼体系结构（硬件）、操作系统（软件）、系统调用和库函数 --- 概念篇

&#x1f466;个人主页&#xff1a;Weraphael ✍&#x1f3fb;作者简介&#xff1a;目前正在学习c和Linux还有算法 ✈️专栏&#xff1a;Linux &#x1f40b; 希望大家多多支持&#xff0c;咱一起进步&#xff01;&#x1f601; 如果文章有啥瑕疵&#xff0c;希望大佬指点一二 …
阅读更多...
微信小程序 分享的两种方式：菜单级和按钮级

微信小程序 分享的两种方式：菜单级和按钮级

按钮级 在使用微信小程序的时候&#xff0c;我们可能会设计到一些视频的一些分享等&#xff0c;那么视频分享也分为两种方式,例如下图&#xff0c;当我们点击的时候&#xff0c;进行一个转发分享的一个操作 那么在原先代码的基础上&#xff0c;我们需要在原先代码的基础上butt…
阅读更多...
用PHP与html做一个简单的登录页面

用PHP与html做一个简单的登录页面

用PHP与html做一个简单的登录页面 login.html的设计 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title&…
阅读更多...
lv11 嵌入式开发 PWM 18

lv11 嵌入式开发 PWM 18

目录 1 PWM简介 1.1 蜂鸣器工作原理 1.2 GPIO控制 1.3 PWM控制 2 Exynos4412下的 PWM控制器 2.1 总览 2.2 设置步骤 2.3 功能框图 2.4 特征 3 寄存器介绍 3.1 总览 3.2 TCFG0 一级分频寄存器 3.3 TCFG1 二级分频寄存器 3.4 TCON控制寄存器 3.5 TCNTB TCMPB T…
阅读更多...
苹果ios的系统app应用WebClip免签应用开源及方式原理

苹果ios的系统app应用WebClip免签应用开源及方式原理

在移动设备上&#xff0c;为了方便访问我们经常使用的网站或服务&#xff0c;我们经常会希望将其添加到主屏幕上&#xff0c;以便快速启动。虽然我们可以通过使用浏览器书签实现这一目标&#xff0c;但添加一个图标到主屏幕上&#xff0c;使得它看起来与原生App无异&#xff0c…
阅读更多...
【EI会议征稿中】第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）

【EI会议征稿中】第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）

第三届网络安全、人工智能与数字经济国际学术会议&#xff08;CSAIDE 2024&#xff09; 2024 3rd International Conference on Cyber Security, Artificial Intelligence and Digital Economy 第二届网络安全、人工智能与数字经济国际学术会议&#xff08;CSAIDE 2023&…
阅读更多...
ubuntu中显卡驱动，cuda，cudnn安装

ubuntu中显卡驱动，cuda，cudnn安装

1. 在ubuntu中安装显卡驱动 参考&#xff1a;https://blog.csdn.net/m0_37605642/article/details/119651996 2.在ubuntu中安装cuda 参考&#xff1a;https://blog.csdn.net/m0_61431544/article/details/127007300 2.1 安装cuda cuda官网&#xff1a; https://developer.n…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023