nginx-排查一次大文件无法正常下载问题

news2024/11/16 20:32:37

目录

问题现象&报错信息

问题现象以及分析

nginx报错信息

问题解决

方法1:配置proxy_max_temp_file_size

方法2:关闭proxy_buffering

参考文档


问题现象&报错信息

问题现象以及分析

  • 文件正常从后端服务器直接下载时,一切正常。但是通过nginx反代后,使用wget命令下载到1GB时,wget会重试一次(重新开始下载),然后重试后立即失败。--判断1.nginx可能有1GB缓存之类的限制
  • 在网络带宽情况较好的内网直接下载,不会出现问题;当下载速度受限,需要较长时间下载时,问题必现(下载到1GB中断)。--判断2.此问题与网络传输速度也有关联
  • 对比测试时,使用另一套文件下载服务,使用同样的nginx作为反代。另一套文件下载服务下载10GB文件未复现问题。--判断3.后端服务传输方式也存在问题

#wget限制下载速度10MB/s,模拟网络带宽受限,复现问题。

wget --limit-rate=10M

nginx报错信息

2024/02/27 17:08:49 [error] 2297567#0: *5206 upstream prematurely closed connection while reading upstream, client: 10.1.1.1, server: file.example.com, request: "GET /file/test/test.zip HTTP/1.1", upstream: "http://10.10.10.10:80/file/test/test.zip", host: "file.example.com"

关键信息:upstream prematurely closed connection while reading upstream

读取上有服务器时,上游服务器过早关闭了连接。

  1. 可能上有服务器存在问题,过早关闭了连接。
  2. 可能上有服务器由于内网网络环境较好,很快地传输完了数据,与nginx断开了连接。(与判断2一致)

问题解决

方法1:配置proxy_max_temp_file_size

参考连接:ngx_http_proxy_module - proxy_max_temp_file_size

当启用来自代理服务器地响应缓冲时(proxy_buffering on;),可以将部分响应保存至缓冲区中。该指令设置临时文件的最大值,默认值1024MB。

proxy_max_temp_file_size 2048m;

将此值设置为2GB或者更高,问题解决。

方法2:关闭proxy_buffering

参考连接:ngx_http_proxy_module - proxy_buffering

当proxy_buffering设置为on时,启动缓冲。nginx会尽快从代理服务器接收响应,并将其保存到 proxy_buffer_size和proxy_buffers指令设置的缓冲区中。

如果整个响应无法放入内存,则可以将其中一部分保存到磁盘上的临时文件中。写入临时文件由 proxy_max_temp_file_size和 proxy_temp_file_write_size指令控制。

当禁用缓冲时,响应将在收到后立即同步传递到客户端。nginx 不会尝试从代理服务器读取整个响应。nginx一次可以从服务器接收的数据的最大大小由proxy_buffer_size指令设置。

proxy_buffering off;

关闭后nginx不会尽快接收服务器响应,从而上有服务器不会过早关闭连接。

参考文档

Module ngx_http_proxy_module

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1501764.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PCL不同格式点云读取速度(Binary和ASCII )

首先说明一点:Binary(二进制)格式点云文件进行读取时要比Ascll码格式点云读取时要快的多,尤其是对于大型的点云文件,如几百万、甚至几千万个点云的情况下。 今天遇到了一种情况,在写项目的时候进行点云读取,读取的时候…

第七届强网杯-PWN-【warmup】

文章目录 warmup libc 2.35检查IDA逆向maindeldelete_noteadd_noteshow_noteinput_numberread_16atoi __errno_location()相关解释prctl相关 思路高版本off by null利用技巧产生chunk extend泄露libc基地址泄露heap基地址修改放入tcachebin中的chunk的fd为stdout最后add两个chu…

单链表详解(如何实现单链表)

文章目录 前言 一、单链表是什么?二、单链表的实现总结 顺序表的缺点 1.中间/头部的插入删除,时间复杂度为O (N) 2.realloc 扩容(特别是异地扩,需要申请新空间,拷贝数据,释放旧空间)会有不小的…

语音模块学习——LSYT201B模组(实际操作篇)

目录 一、定制词条 二、直接用串口通信 三、使用单片机通信 理论篇在这,依旧是深圳雷龙发展的语音模块。 http://t.csdnimg.cn/2SzJL 一、定制词条 因为我想后面加到我的毕设上加个语音模块,所以定制的词条都是和芯测相关的。 动作词条播报串口输…

【数据结构】单链表的层层实现!! !

关注小庄 顿顿解馋(●’◡’●) 上篇回顾 我们上篇学习了本质为数组的数据结构—顺序表,顺序表支持下标随机访问而且高速缓存命中率高,然而可能造成空间的浪费,同时增加数据时多次移动会造成效率低下,那有什么解决之法呢&#xff…

devops-Maven【部署及配置】

1、准备maven工具包,Maven官网下载Maven的安装包 Maven – Download Apache Maven Index of /maven (apache.org) 选择后缀是.bin.tar.gz的文件下载,此处下载的版本是3.9.6。 2、安装maven的目录下,建一个Maven路径,然后把压缩…

打开stable diffusion webui时,提示缺少clip或clip安装不上怎么办

在当前数字化时代,软件工具的应用已经成为人们日常生活和工作中不可或缺的一部分。而在使用各种软件工具的过程中,遇到一些技术性问题也是常有的事情。比如,在打开 Stable Diffusion WebUI 这样一个功能强大的工具时,有时会遇到缺…

【win11开启telnet】‘telnet‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

解决Windows 11上的’telnet’问题 遇到了一个在Windows 11上常见的问题,那就是尝试使用telnet命令时,出现了以下的错误消息: ‘telnet’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。 解决方案 打开“控制面板”。(Win R -&g…

C语言代码:玫瑰花

前文 在古希腊神话中,玫瑰花集爱与美于一身,既是美神的化身,又溶进了爱神的血液,所以它所代表的含义是爱情。 我们应该用玫瑰花来表达我们的爱意,但是好多的恋人都是因为异地而没有办法去买一束新鲜的玫瑰去送给自己的…

StarRocks实战——欢聚集团极速的数据分析能力

目录 一、大数据平台架构 二、OLAP选型及改进 三、StarRocks 经验沉淀 3.1 资源隔离,助力业务推广 3.1.1 面临的挑战 3.1.2 整体效果 3.2 稳定优先,监控先行,优化运维 3.3降低门槛,不折腾用户 3.3.1 与现有的平台做打通 …

Arm:初识Keil MDK Vision 6及VScode应用Keil 6(Keil Studio for VS Code安装与使用)

系列文章目录 目录 系列文章目录 前言 一、 Keil MDK Vision 6是什么? 二、Keil MDK Vision 6的组合 2.最值得一看的更新就是VScode插件 三、Keil MDK Vision 6与VScode的组合能碰撞出火花吗?(Keil Studio for VS Code) 前…

HBase安装,配置,启动,检查

目录: 一、HBase安装,配置 1、下载HBase安装包 2、解压,配置环境变量并激活 3、hbase 配置 4、将hadoop和zookeeper的配置文件创建软连接放在hbase配置目录 5、配置 regionserver 二、HBase启动与关闭,安装检验 1、启动关闭hbase的命令 2、 检…

关于手机是否支持h264的问题的解决方案

目录 现象 原理 修改内容 现象 开始以为是手机不支持h264的编码 。机器人chatgpt一通乱扯。 后来检查了下手机,明显是有h264嘛。 终于搞定,不枉凌晨三点起来思考 原理 WebRTC 默认使用的视频编码器是VP8和VP9,WebRTC内置了这两种编码器…

Java 学习和实践笔记(31):封装(encapsulation)

面向对象的三大特点:继承、封装、多态。前面学了继承,现在讲封装。 封装encapsulation一词来自于capsule,胶囊,小密器,密闭的空间。 封装的理念:高内聚,低耦合。 高内聚就是类的内部数据操作…

Python是编译型还是解释型?——跟老吕学Python编程

Python是编译型还是解释型? 编译型语言和解释型语言的概念编译型语言的定义解释型语言的定义 编译型语言和解释型语言的区别主要体现在程序的执行过程:编译型语言解释型语言 Python的编译和执行过程Python的解释器Python的交互式解释器Python与编译型语言…

thingsboard如何自定义udp-transport

0、参考netty实现udp的文章 https://github.com/narkhedesam/Netty-Simple-UDP-TCP-server-client/blob/master/netty-udp/src/com/sam/netty_udp/server/MessageDecoder.java 调试工具使用的是:卓岚TCP&UDP调试工具 1、在common\transport下面创建udp模块,仿照mqtt的创…

千兆网络变压器的特点

不要选错了,同款的小24PIN工业级千兆网络变压器有两种,外壳尺寸、工程参数完全相同。很多客户对这两款产品傻傻分不清,今天我就来详细介绍一下: HX82409S特点有三个: 一,采用单环设计,只有一颗…

部署 LVS(nginx)+keepalived高可用负载均衡集群

目录 一、集群的概述 1、什么是集群 2、普通集群与负载均衡集群 2.1 普通集群(Regular Cluster) 2.2 负载均衡集群(Load Balancing Cluster) 2.3 高可用集群(High Availability Cluster) 2.4 区别 …

SpringMVC03、HelloSpring

3、HelloSpring 3.1、配置版 新建一个Moudle &#xff0c; springmvc-02-hello &#xff0c; 添加web的支持&#xff01; 确定导入了SpringMVC 的依赖&#xff01; 配置web.xml &#xff0c; 注册DispatcherServlet <?xml version"1.0" encoding"UTF-8…

Leetcode3069. 将元素分配到两个数组中 I

Every day a Leetcode 题目来源&#xff1a;3069. 将元素分配到两个数组中 I 解法1&#xff1a;模拟 简单地按题意模拟。 代码&#xff1a; /** lc appleetcode.cn id3069 langcpp** [3069] 将元素分配到两个数组中 I*/// lc codestart class Solution { public:vector<…