nginx 转发数据流文件

news2025/1/16 12:35:42

1.问题描述

后端服务,从数据库中查询日志,并生成表格文件返回静态文件。当数据量几兆时,返回正常,但是超过几十兆,几百兆,就会超过网关的连接超时时间30秒。

时序图

 这里面主要花费时间的地方在:

1后台服务器,将数据格式化,写到本地的文件的过程

2后台服务器将文件发送到网关,网关整体接收完

3网关将文件整体接收完后,转发给nginx

4nginx整体缓存文件后发送给浏览器

5浏览器下载从nginx发送的文件

也就是说,一个大文件,需要下载四次才能真正到达用户本地!可想而知多慢

2.解决思路

        1.优化sql查询,优化数据处理

        但是明显即使优化sql查询,优化数据处理,也快不了多少。但不是没有优化的可能。

        首先,sql查询优化,查询下时候有慢查询,查询语句是否是慢查询,索引是否有效,索引是否在where 和select中。

        2.减少文件下载的次数

        只下载一次!数据流返回,边查询,边返回,浏览器自己下载。而且这样最不一样的地方是,http请求是立马返回的,所以不存在超时的可能。

 可以看到,文件只在浏览器下载一次,后台查询数据,是每次只查询一部分数据,并在格式化后就返回,nginx也是接到一部分数据就立马返回,浏览器接到一部分数据就开始下载,让整个http请求立马结束,这样不会超时,但是文件会一直慢慢下载。

nginx配置:

location log {
proxy_pass http://server:111/log;
proxy_cache off;
proxy_buffering off;
chunked_transfer_encoding on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 300;
}
  • proxy_cache off;:这一行禁用了Nginx的代理缓存。这意味着每次请求都会直接发送到后端服务器,而不会在Nginx中缓存结果。
  • proxy_buffering off;:这一行禁用了Nginx的代理缓冲。这意味着Nginx不会预先读取请求的内容,而是在每个请求/响应循环中仅读取实际需要的数据。
  • chunked_transfer_encoding on;:这一行允许使用分块传输编码。这是一种允许不一次将所有数据发送给客户端,而是分块发送的技术。这对于大数据传输非常有用。
  • tcp_nopush on;:这一行禁止Nginx使用TCP推送(push)选项。这通常用于告诉浏览器不要缓存数据。
  • tcp_nodelay on;:这一行设置TCP的nodelay选项为on,这通常用于控制数据流是否应该立即发送。
  • keepalive_timeout 300;:这一行设置保持活动连接的超时时间为300秒。这意味着,如果客户端和服务器之间的连接在300秒内没有任何活动,连接将会关闭。

然后,前端也要将数据流接到。后端的返回也需要是数据流的形式返回,每次只返回一部分。因为涉及到前端,nginx反向代理服务器和后端服务器,所以往往需要前端和后端同事一起配合才行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1154409.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用tensorflow创建自己的量化金融工具

介绍 在充满活力的金融领域,高频交易 (HFT) 已经成为游戏规则的改变者。高频交易能够在几毫秒内执行数千个订单,利用先进的算法和计算技术实时利用微小的价格差异。随着金融市场的不断发展,支持高频交易策略的工具和框架也必须不断发展。在这一背景下,TF Quant Finance (T…

AGENTTUNING:为LLM启用广义的代理能力

背景 翻译智谱这篇文章的初衷是,智谱推出了他们所谓的第三代大模型。这第三代的特点在哪呢:个人总结主要有一下几个点: 1.用特定prompt方式自闭环方式解决安全注入问题 2.增加了模型function call、agent能力 3.具备代码能力 4.做了能力…

excel从身份证号截取出生年月日

1、身份证号第7-14位,代表出生日期 2、用鼠标选中出生日期要存入的单元格,在编辑栏,输入函数公式:TEXT(MID(B3,7,8),"00-00-00"),然后按【CtrlEnter】结束确认,即可提取出身份证中的出生日期&am…

应急响应—挖矿病毒与勒索病毒

应急响应—挖矿病毒与勒索病毒 1. 前言2. 挖矿病毒2.1. 挖矿病毒传播方式2.2. 挖矿病毒危害2.3. 挖矿病毒防范2.4. 威胁情报中心 3. 勒索病毒3.1. 勒索病毒传播方式3.2. 勒索病毒危害3.3. 勒索病毒防范3.4. 勒索病毒家族及识别3.5. 解密工具下载3.5.1. 勒索病毒搜索平台3.5.2. …

群晖设置DDNS (服务商Godaddy被墙 DDNS-GO无法解析 采用自定义脚本方式完成DDNS更新)

起因&解决思路 事情的开始大概是这样的。。godaddy买了个域名,好好的用了半个月。。然后一直更新失败发现被狗东西墙了 在提一嘴DDNS-GO 解析失败原因 DDNS-GO必须要先向godaddy请求自己的IP地址[这里被墙卡住了],然后比对,再决定是否上…

okhttp post请求 header post参数加密遇到的两个问题

如果你对于网络请求用了https后是否还有必要对参数加密有疑问可以看我上篇的文章:网络安全https 记得耐心看完,下面说问题: Caused by: java.lang.IllegalArgumentException: Unexpected char 0x0a 一开始以为是okhttp框架对特殊字符做了现在…

私有网络的安全保障,WorkPlus Meet内网视频会议助力企业高效会议

在企业内部沟通与协作中,视频会议成为了一种必不可少的沟通方式。然而,传统的互联网视频会议往往受制于网络不稳定因素,给企业带来不便与困扰。WorkPlus Meet作为一款专注内网视频会议的软件,致力于为企业打造高效、稳定的内网视频…

openpnp - code review - 开机对话框历史记录和贡献者名单

文章目录 openpnp - code review - 开机对话框历史记录和贡献者名单概述笔记D:\my_openpnp\openpnp_dev_2022_0801\src\main\java\org\openpnp\gui\AboutDialog.javaEND openpnp - code review - 开机对话框历史记录和贡献者名单 概述 偶然发现, 自己打包后的openpnp, 开机后…

js中获取json的值:使用 JSON.parse() 方法

比如json为:configs: "{"type":1}" 直接打印configs如下图 我们可以使用 JSON.parse() 方法将JSON格式字符串转换为 JavaScript 对象。 let a JSON.parse(configs) console.log(a) a打印出来如下图 此时就可以用a.type来得到1。 JSON.parse(…

配电柜监控原来还能这样?真的太爽啦!

在现代社会中,电力作为基础设施的一部分,扮演着至关重要的角色。为了确保电力系统的可靠性、安全性和高效性,配电柜监控系统变得越来越重要。 配电柜监控系统提供了实时数据和控制,有助于迅速识别并解决问题,从而降低停…

Linux 远程桌面软件

为您的 IT 管理员配备最好的 Linux 远程桌面软件至关重要。原因如下?Linux 是一个开源和免费的操作系统,它提供了一个非常灵活和可定制的软件内核。由于其开源性质,Linux 被认为是市场上最安全的操作系统之一,它拥有一个全球用户社…

【学习SonarQube记录】如何在windows上安装SonarQube及安装中文语言包

学习SonarQube记录 第一章 如何在windows上安装SonarQube及安装中文语言包 文章目录 学习SonarQube记录前言一、SonarQube是什么?二、安装步骤1.准备工作2.安装SonarQube 总结 前言 公司近期有代码完整性检测的需求,于是来学习相关工具SonarQube 一、S…

算法:二叉树难题和与STL相结合的练习题

文章目录 二叉树层序遍历原理二叉树的层序遍历 二叉树的最近公共祖先二叉搜索树和双向链表从前序与中序遍历序列构造二叉树从后序与中序遍历序列构造二叉树二叉树的非递归实现前序遍历中序遍历后序遍历 二叉树层序遍历原理 二叉树的层序遍历通常是借助队列来实现,可…

数字孪生应用到供水站远程运维的场景及优势

水厂在生活中的重要性不可忽视。它们提供清洁、安全的水源,满足人们饮用、洗浴、烹饪等基本需求,保障公共卫生,预防疾病传播;同时,水厂也促进经济发展,为工业生产和农业灌溉提供保障,吸引和支持企业的投资和…

【产品经理从0到1】ID(工业设计)知识构建

导语:作为一个硬件产品经理,虽然不需要自己进行工业设计,但是若要对产品外观和品质细节进行更深入和准确的把控,就需要了解工业设计的相关知识。

微信小程序-授权登录(手机号码)

1、WXBizDataCrypt.js-下载地址 2、UNIAPP代码 <template> <view class"work-container"> <view class"login"> <view class"content"> <button class"button_wx&q…

Intel 系列时序说明

1xx2xx系列时序说明 1.VCCRTC=2.5V+ 3.3V BOARD TO PCH 保存CMOS信息,保持时钟正常运行 电池供电或3V线性给到 2.RTCRST#/SRTCRST# BOARD TO PCH 延时复位 正常3.3V,低到高完成复位,VCCRTC通过电阻延时 3.32.768KHZ=RTCX1 BOARD TO PCH 0.1V-0.6V直通桥 4.VC…

关键词搜索天猫商品数据接口(标题|主图|SKU|价格|优惠价|掌柜昵称|店铺链接|店铺所在地|天猫商品列表API接口)

关键词搜索天猫商品数据接口可以使用天猫官方的API接口实现。以下是一些可能有用的天猫API接口&#xff1a; item_search_tmall - 按关键字搜索天猫商品接口&#xff1a;这个接口可以用于通过关键词搜索天猫商品&#xff0c;获取商品列表。可以在接口中使用不同的关键字进行搜…

关于有效客户关系管理,你需要了解的一切

为了了解客户购买决策的驱动因素或阻碍因素&#xff0c;你需要组织和分析有关客户需求、喜好和厌恶的数据。这正是客户关系管理其中一个重要方面。有效的客户关系管理可以帮助企业与其现有客户和潜在客户建立联系&#xff0c;以提高客户满意度并确保销售周期有利可图。 什么是客…

【HTML】实现填写简历信息

实现页面&#xff1a; 完整源代码&#xff1a; <!DOCTYPE html> <html lang"cn"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Doc…