使用Nginx实现采集端和数据分析平台的数据加密传输

news2025/1/23 17:51:55

1. 需求描述

目前鸿鹄暴露出来的重要ports如下表:

图片

在实际的生产环境中,结合我司的使用场景,需要在鸿鹄前端安装proxy,用以解决如下两个问题:

1.1 实现http到https的强制跳转

企业环境中,一般会关闭http 80端口,但用户有时候会输入http://, 如果完全关闭的话,用户会抱怨连不上服务。所以实际的使用场景中,一般还是会开启80端口,但是会强制跳转到https 443端口。

1.2 实现数据采集端到鸿鹄之间的数据加密传输

图片

如上图所示鸿鹄安装在VPC A内,对于VPC A内的应用程序来说,通过非加密传输,把日志传入鸿鹄系统,相对来说还算比较安全。

不过在企业级的环境中,有更多的应用程序处在VPC B和VPC C内,此时需要通过加密的方式,把日志Sink到鸿鹄内,要不然可能存在较大的信息泄漏风险。

2. 解决方案

2.1 安装Nginx

以CentOS 7为例,执行如下命令即可

图片

2.2 实现http到https的强制跳转

图片

把以上配置信息, 写入/etc/nginx/conf.d/nginx.conf; 此配置文件主要实现如下功能:

  • 监听80 和 443端口,443端口配置为加密通信

  • 如果用户以http协议请求,则执行强制跳转到https协议

  • 设置合适的proxy buffers size以避免 “upstream sent too big header while reading response header from upstream”错误(鸿鹄返回的header,特别是cookie,size超过了nginx的默认值)

  • 把请求代理到鸿鹄的18080端口

2.3 配置stream加密通信且代理到鸿鹄Vector 20000端口

2.3.1 前提条件

nginx只有在1.9.0及以上,才实现对stream的代理,所以首先需确保nginx的版本在1.9.0以上

图片

nginx的stream是一个单独模块,需要在编译的时候,增加option "--with-stream", 执行nginx -V后,能看到系统安装的nginx编译的时候指定了option --with-stream=dynamic

图片

由于nginx的编译参数为--with-stream=dynamic, 这样需要安装额外的nginx stream动态库来支持对stream的代理服务,如下执行安装即可

图片

2.3.2 配置ngnix实现stream代理

图片

把以上配置信息, 添加到/etc/nginx/nginx.conf; 此配置文件主要实现如下功能:

  • 监听30000端口(由于鸿鹄和Nginx处在同一个机器上,因此Nginx这边配置为30000端口),且配置为加密通信

  • 把请求代理到鸿鹄Vector的20000端口

2.3.3 重启Nginx后,验证端口30000是否已正确配置为加密传输

图片

图片

如上图所示,Nginx 30000端口已经正确配置TLS加密传输。

2.4 正确配置Vector采集端

默认情况下,Vector采集端会以非加密的方式和鸿鹄Vector建立连接,所以在鸿鹄生成的Vector配置基础上,基于上述配置,需要修改port为30000,同时设置tls.enabled = true, 如下所示:

图片

后续工作

企业级应用中,加密传输是最基本的需求,上面的措施目前只实现了加密传输,采集端和接收端之间未进行认证。这就需要配合额外的措施来增加安全性,比如在鸿鹄主机上设置防火墙策略或者如果你的主机在云上,可以设置相应的网络安全组来增强安全机制。

题外话:截止本文写作时,Vector之间的通信还未实现认证机制( https://github.com/vectordotdev/vector/issues/2017), 希望Vector能尽快实现这一机制,届时,鸿鹄一定会更好地集成Vector新的功能,以更好地满足企业级的数据安全通信需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1101953.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

精准定位——MySQL日志学习的一天【错误、二进制、查询、慢查询】

MySQL 日志是记录 MySQL 数据库服务器运行过程中的各种活动和事件的文件。它们对于监控、故障排查、性能优化和数据恢复等方面都非常重要。 回顾一下Linux中查看文件的指令操作 cat 命令: cat 命令用于将文件的内容一次性输出到终端。它的主要功能是将文件连接起来…

在全志R128上启用USB ADB以及无线ADB配置方法

首先在FreeRTOS的环境下,选择r128_c906_pro: source envsetup.sh lunch_rtos r128s2_pro_c906USB ADB的配置比较常规,注意以下几个驱动的勾选 usb device驱动adb gadget驱动adbd应用 运行menuconfig,选择对应的驱动以及软件包&…

Docker安装ES7.14和Kibana7.14(无账号密码)

一、Docker安装ES7.14.0 1、下载镜像 docker pull elasticsearch:7.14.0 2、docker安装7.14.0 mkdir -p /usr/local/elasticsearch/config mkdir -p /usr/local/elasticsearch/data chmod 777 -R /usr/local/elasticsearch/ echo "http.host: 0.0.0.0" >> /u…

linux下 u2net tensorrt模型部署

TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov5 tensorrt模型加速…

搭建Redis哨兵集群

目录 一、集群结构二、准备实例和配置三、启动四、测试 一、集群结构 这里我们搭建一个三节点形成的Sentinel集群,来监管之前的Redis主从集群。如图: 三个sentinel实例信息如下: 节点IPPORTs1192.168.239.1027001s2192.168.239.1027002s3…

RS232协议、RS485协议

RS232、RS485总线并不是单独的协议,这两种是依赖于串口的协议,这可以让他的抗干扰能力更强、提升传输速度。统一了接口标准。编程不受影响 2.RS232协议 RS232->TTL电平 常用电平转换芯片Max232 3.RS485协议 RS485采用差分信号进行传输&#xff0…

MyBatis进行单表多表查询以及其中的${}涉及的SQL注入

目录 回顾: 参数占位符#{}和${} ${}唯一使用地方 使用${}造成的SQL注入漏洞 like查询 mapper中接收结果的参数 resultType和resultMap​编辑 多表查询 回顾: 参数占位符#{}和${} #{} 占位符语法通常用于模板引擎或动态查询语句中。它是一种更加安全的…

C++产生未定义的行为的原因分析

前言 最近一直在做QT开发,编程环境是VS2017和QT5.11.2 经常遇到的问题就是,在VS中调试程序,前面都是正常运行的,但是当关闭窗口,退出程序的时候,VS会抛出一个异常 “未加载ntdll.pdb,触发了一…

Nmap渗透测试指南之防火墙/IDS逃逸、信息搜集

Nmap渗透测试指南之防火墙/IDS逃逸、信息搜集 一. 防火墙/IDS逃逸本章知识点本章选项一 .关于防火墙/IDS二. 报文分段三. 指定偏移大小四. IP欺骗五. 源地址欺骗六. 源端口欺骗七. 指定发包长度八. 目标主机随机排序九. MAC地址欺骗二. 信息收集本章知识点本章脚本一. 信息搜集…

iOS代码混淆工具推荐:IPA Guard详细介绍

iOS代码混淆工具推荐:IPA Guard详细介绍 目录 摘要: 引言 正文 1. IPA Guard概述 2. IPA Guard的功能特性 3. IPA Guard的混淆模式 4. 支持的语言 5. 使用场景 总结 参考资料 总结 参考资料 摘要: 了解并选择合适的iOS代码混淆工…

python 深度学习 解决遇到的报错问题7

目录 一、ValueError: unsupported pickle protocol: 5 二、报错protobuf 三、AttributeError: The vocab attribute was removed from KeyedVector in Gensim 4.0.0 四、ModuleNotFoundError: No module named cartopy 五、ImportError: cannot import name COMMON_SAFE_A…

c语言小白如何入门?

c语言小白如何入门? 作为过来人,我觉得刚开始,先按照课本把每个知识点都弄懂,有不懂的地方,先尝试自己理解或借助互联网先搜一下,还是理解不了,就可以去找学得比较好的同学, 最近很…

datepicker设置中文

之前是这样 修改后是这样 需要添加的样式: $(#birthday).datepicker({minView: 1,//设置只显示到月份format : "yyyy-mm-dd",//日期格式language: zh-CN}); 原文链接:bootstrap-datepicker中文文档 - itxst.com

【Proteus仿真】【STM32单片机】电蒸锅温度控制系统

文章目录 一、功能简介二、软件设计三、实验现象联系作者 一、功能简介 本项目使用Proteus8仿真STM32单片机控制器,使用LCD1602液晶、按键开关、蜂鸣器、DS18B20温度传感器,液位传感器、继电器控制加热保温装置等。 主要功能: 系统运行后&am…

WPF中在MVVM模式下实现导航功能

WPF中在MVVM模式下实现导航功能 一、利用TabControl 使用场景&#xff1a;项目小&#xff0c;不用考虑内存开销的问题。 实现方式1-手动指定ViewModel 分别定义3个UserControl作为View用于演示 <UserControl...><Grid><StackPanel Orientation"Vertic…

error: use of undeclared identifier ‘MainWindow

error use of undeclared identifier ‘mainwindow‘ semantic issue in QtCreator在 QtCreator 中错误使用未声明的标识符“_qtcreator 编译无错误,但是提示undeclared identifier_一定不摆烂的研究牲的博客-CSDN博客 我刚刚创建了新的 Qt Widgets 应用程序。我打开 mainwind…

门店没人气?线下实体店如何利用软文推广获客

电商的多样化发展逐步改变人们的消费模式&#xff0c;实体店获客越来越难&#xff0c;流量为王的时代实体店应该如何打响知名度&#xff0c;吸引客户呢&#xff1f;软文推广就是一个不错的方式&#xff0c;帮助商家以低于传统硬广的营销成本获取流量&#xff0c;接下来媒介盒子…

Crypto(1) 攻防世界Caesar

根据题目可以知道是个凯撒加密&#xff0c;准确的说是一个单表代替密码&#xff0c;因为后面可以知道偏移量不是3 一个接着一个试验&#xff1a; 注意加密时偏移量是向后移动&#xff0c;解密时偏移量是向前面移动的 &#xff01;&#xff01;&#xff01;

[NewStarCTF 2023] web题解

文章目录 WEEK1泄漏的秘密Begin of UploadBegin of HTTPErrorFlaskBegin of PHPR!C!E!EasyLogin WEEK2游戏高手include 0。0ez_sqlUnserialize&#xff1f;Upload again!R!!C!!E!! WEEK1 泄漏的秘密 打开题目&#xff0c;提示有敏感信息泄露 直接扫一下目录&#xff0c;发现有…

Verilog编译预处理

文章目录 一、简介二、宏定义define三、文件包含include四、时间尺度timescale五、条件编译ifdef参考 一、简介 编译预处理是Verilog HDL编译系统的一个组成部分。 Verilog HDL编译系统通常先对这些特殊的命令进行预处理&#xff0c;然后将预处理的结果和源程序一起在进行通常…