缓存的概念

news2024/11/25 1:56:18

文章目录

  • 一、系统缓存
      • buffer与cache
      • cache 的保存位置
      • cache 的特性
  • 二、用户层缓存
      • DNS缓存
  • 三、浏览器缓存过期机制
      • 最后修改时间
      • Etag标记
      • 过期时间 expires
      • 混合使用和缓存刷新
        • 缓存刷新
      • cookie和session
  • 四、CDN缓存
      • 什么是CDN
      • 用户请求CDN流程
      • 利用 302 实现转发请求重定向至最优服务器集群
      • CDN 分层缓存
      • CDN 主要优势
  • 五、应用层缓存
  • 六、数据层缓存
  • 七、硬件缓存
      • CPU缓存
  • 八、磁盘相关缓存

缓存是为了调节速度不一致的两个或多个不同的物质的速度，在中间对速度较快的一方起到一个加速访问速度较慢的一方的作用

比如 CPU 的一级、二级缓存是保存了 CPU 最近经常访问的数据，内存是保存 CPU 经常访问硬盘的数据，而且硬盘也有大小不一的缓存，甚至是物理服务器的 raid 卡有也缓存

为了起到加速 CPU 访问硬盘数据的目的，因为 CPU 的速度太快了， CPU 需要的数据硬盘往往不能在短时间内满足 CPU 的需求，

因此 PCU 缓存、内存、 Raid 卡以及硬盘缓存就在一定程度上满足了 CPU 的数据需求，即 CPU 从缓存读取数据可以大幅提高 CPU 的工作效率。
在这里插入图片描述

一、系统缓存

buffer与cache

buffer：缓冲也叫写缓冲，一般用于写操作，可以将数据先写入内存再写入磁盘，buffer 一般用于写缓冲，用于解决不同介质的速度不一致的缓冲，先将数据临时写入到里自己最近的地方，以提高写入速度，CPU 会把数据先写到内存的磁盘缓冲区，然后就认为数据已经写入完成看，然后由内核在后续的时间再写入磁盘，所以服务器突然断电会丢失内存中的部分数据。

cache：缓存也叫读缓存，一般用于读操作，CPU 读文件从内存读，如果内存没有就先从硬盘读到内存再读到 CPU，将需要频繁读取的数据放在里自己最近的缓存区域，下次读取的时候即可快速读取。

cache 的保存位置

  • 客户端：浏览器
  • 内存：本地服务器、远程服务器
  • 硬盘：本机硬盘、远程服务器硬盘

cache 的特性

  • 自动过期：给缓存的数据加上有效时间，超出时间后自动过期删除
  • 过期时间：强制过期，源网站更新图片后 CDN 是不会更新的，需要强制是图片缓存过期
  • 命中率：即缓存的读取命中率

二、用户层缓存

DNS缓存

  • 默认为 60 秒，即 60 秒之内在访问同一个域名就不再进行 DNS 解析
  • 查看 chrome 浏览器的 DNS 缓存：chrome://net-internals/#dns
  • DNS 预获取，仅在HTML5中支持，当一个页面中包含多个域名的时候浏览器会先尝试解析域名并进行缓存，之后再使用的时候即可直接使用不需要再进行DNS 解析

三、浏览器缓存过期机制

最后修改时间

系统调用会获取文件的最后修改时间，如果没有发生变化就返回给浏览器304 的状态码，表示没有发生变化，然后浏览器就使用的本地的缓存展示资源。

Etag标记

基于Etag标记是否一直做判断页面是否发生过变化，比如基于Nginx的Etag on来实现

过期时间 expires

以上两种都需要发送请求，即不管资源是否过期都要发送请求进行协商，这样会消耗不必要的时间，因此有了缓存的过期时间

Expire 是 HttpHeader 中代表资源的过期时间，由服务器端设置。如果带有 Expire ，则在 Expire 过期前不会发生 Http 请求，直接从缓存中读取。用户强制 F5 例外

第一次请求资源时,响应报文带有资源的过期时间，默认为30天，当前此方式使用的比较多，但是无法保证客户的时间都是准确并且一致的，因此会加入一个最大生存周期，使用用户本地的时间计算缓存数据是否超过多少天，假如过期时间Expires:为2028年，但是缓存的最大生存周期Cache-Control: max-age=315360000，计算为天等于3650天即10年

混合使用和缓存刷新

通常 Last-Modified,Etag,Expire 是一起混合使用的

  • 特别是 Last-Modified 和 Expire 经常一起使用，因为 Expire 可以让浏览器完全不发起 Http 请求，而当浏览器强制 F5 的时候又有 Last-Modified ，这样就很好的达到了浏览器段缓存的效果。
  • Etag 和 Expire 一起使用时，先判断 Expire ，如果已经过期，再发起 Http 请求，如果 Etag 变化了，则返回 200 响应。如果 Etag 没有变化,则返回 304 响应。
  • Last-Modified,Etag,Expires 三个同时使用时。先判断 Expire ，然后发送 Http 请求，服务器先判断 last-modified ，再判断 Etag ，必须都没有过期，才能返回 304 响应。
缓存刷新
  • 第一次访问,获取最新数据,返回 200响应码
  • 鼠标点击二次访问 (Cache),输入地址后回车,浏览器对所有没有过期的内容直接使用本地缓存。
  • F5或点刷新按钮, 会向服务器发送请求缓存协商信息,last-modified和etag会有影响,但expires本地过期时间不受影响,无变化返回304
  • 按shift+F5强制刷新,所有缓存不再使用,直接连接服务器,获取最新数据,返回200响应码

cookie和session

Cookie是访问某些网站以后在本地存储的一些网站相关的信息，下次再访问的时候减少一些步骤,比如加密后的账户名密码等信息

Cookies是服务器在客户端浏览器上存储的小段文本并随每一个请求发送至同一个服务器，是一种实现客户端保持状态的方案。

session称为会话信息，位于web服务器上，主要负责访问者与网站之间的交互，当浏览器请求http地址时，可以基于之前的session实现会话保持、session共享等。

四、CDN缓存

什么是CDN

在这里插入图片描述

内容分发网络（Content Delivery Network，CDN）是建立并覆盖在承载网上，由不同区域的服务器组成的分布式网络。将源站资源缓存到全国各地的边缘服务器，利用全球调度系统使用户能够就近获取，有效降低访问延迟，降低源站压力,提升服务可用性。

常见的CDN服务商

  • 百度CDN：https://cloud.baidu.com/product/cdn.html
  • 阿里CDN：https://www.aliyun.com/product/cdn?spm=5176.8269123.416540.50.728y8n
  • 腾讯CDN：https://www.qcloud.com/product/cdn
  • 腾讯云CDN收费介绍：https://cloud.tencent.com/document/product/228/2949

用户请求CDN流程

假设您的业务源站域名为www.test.com，域名接入 CDN 开始使用加速服务后，当您的用户发起HTTP请求时，实际的处理流程如下图所示：
在这里插入图片描述
详细说明如下：

  1. 用户向www.test.com下的某图片资源（如：1.jpg）发起请求，会先向 Local DNS 发起域名解析请求。
  2. 当 Local DNS 解析www.test.com时，会发现已经配置了CNAMEwww.test.com.cdn.dnsv1.com，解析请求会发送至 Tencent DNS（GSLB），GSLB 为腾讯云自主研发的调度体系，会为请求分配最佳节点 IP。
  3. Local DNS 获取 Tencent DNS 返回的解析 IP。
  4. 用户获取解析 IP。
  5. 用户向获取的 IP 发起对资源 1.jpg 的访问请求。
  6. 若该 IP 对应的节点缓存有 1.jpg，则会将数据直接返回给用户（10），此时请求结束。若该节点未缓存 1.jpg，则节点会向业务源站发起对 1.jpg 的请求（6、7、8），获取资源后，结合用户自定义配置的缓存策略，将资源缓存至节点（9），并返回给用户（10），此时请求结束。
    在这里插入图片描述

利用 302 实现转发请求重定向至最优服务器集群

因为中国网络较为复杂，依赖DNS就近解析的调度，仍然会存在部分请求调度失效、调度生效慢等问题。

比如:腾讯云利用在全国部署的302重定向服务器集群，能够为每一个请求实时决策最优的服务器资源，精准解决小运营商的调度问题，提升用户访问质量, 能最快地把用户引导到最优的服务器节点上，避开性能差或者异常的节点。

CDN 分层缓存

提前对静态内容进行预缓存，避免大量的请求回源，导致主站网络带宽被打满而导致数据无法更新，另外CDN可以将数据根据访问的热度不同而进行不同级别的缓存，例如:访问量最高的资源访问CDN 边缘节点的内存，其次的放在SSD或者SATA，再其次的放在云存储，这样兼顾了速度与成本。

比如: 腾讯云CDN节点，根据用户的数据冷热不同，动态的进行识别，按照cache层次进行数据的存储，在访问频率到40%-90%的数据，首先放在OC边缘节点内存cache中，提供8G-64G的数据空间存储;在访问频率到30%-50%的数据，放在OC节点SSD/SATA硬盘cache中，提供1T-15T的数据空间存猪，其他的比较冷的数据，放在云存储中，采用回源拉取的方式进行处理。这样在成本和效率中计算出最优平衡点，为客户提供服务。

CDN 主要优势

CDN 有效地解决了目前互联网业务中网络层面的以下问题：

  • 用户与业务服务器地域间物理距离较远，需要进行多次网络转发，传输延时较高且不稳定。
  • 用户使用运营商与业务服务器所在运营商不同，请求需要运营商之间进行互联转发。
  • 业务服务器网络带宽、处理能力有限，当接收到海量用户请求时，会导致响应速度降低、可用性降低。
  • 利用CDN防止和抵御DDos等攻击,实现安全保护

五、应用层缓存

Nginx、PHP等web服务可以设置应用缓存以加速响应用户请求，另外有些解释性语言，比如：PHP/Python/Java不能直接运行，需要先编译成字节码，但字节码需要解释器解释为机器码之后才能执行，因此字节码也是一种缓存，有时候还会出现程序代码上线后字节码没有更新的现象。所以一般上线新版前,需要先将应用缓存清理,再上线新版

另外可以利用动态页面静态化技术,加速访问,比如:将访问数据库的数据的动态页面,提前用程序生成静态页面文件html.电商网站的商品介绍,评论信息非实时数据等皆可利用此技术实现

六、数据层缓存

分布式缓存服务

  • Redis
  • Memcached

数据库

  • MySQL 查询缓存
  • innodb缓存、MyISAM缓存

七、硬件缓存

CPU缓存

CPU缓存(L1的数据缓存和L1的指令缓存)、二级缓存、三级缓存
在这里插入图片描述
在这里插入图片描述

八、磁盘相关缓存

  • 磁盘缓存：Disk Cache
  • 磁盘阵列缓存：Radis Cache，可使用电池防止断电丢失数据

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1431535.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C语言实现跳表（附源码）

C语言实现跳表（附源码）

最近在刷一些链表的题目，在leetcode上有一道设计跳表的题目，也是通过查阅各种资料，自己实现出来，感觉这是种很神奇的数据结构。 一.简介 跳表与红黑树，AVL树等，都是一种有序集合，那既然是有序…
阅读更多...
Maven打包常用插件介绍与问题分析

Maven打包常用插件介绍与问题分析

文章目录 简介创建测试项目maven-jar-plugin打可执行包依赖在哪里？ maven-assembly-pluginmaven-shade-pluginspring-boot-maven-pluginmvn打包一个比较坑的问题打包问题排查 简介 很多时候我们不太会关心maven是如何打包的，因为maven的确做得很棒&…
阅读更多...
4个最佳的免费全磁盘加密程序，总有一款适合你

4个最佳的免费全磁盘加密程序，总有一款适合你

全磁盘加密软件加密整个驱动器，而不仅仅是几个文件或文件夹。加密计算机的驱动器可以使你的私人数据免受窥探，即使你的计算机被盗。 你也不仅仅局限于一个硬盘驱动器。闪存驱动器和外部硬盘驱动器等外部设备也可以通过磁盘加密软件进行加密。 注意：Windows和macOS都集成了…
阅读更多...
3. 状态管理 vuex 状态管理库

3. 状态管理 vuex 状态管理库

目录 3.1 vuex 介绍 3.2 使用方式 3.1 vuex 介绍 vuex 是一个专为 Vue.js 应用程序开发的状态管理库 vuex 可以在多个组件之间共享数据，并且共享的数据是响应式的，即数据的变更能及时渲染到模板 vuex 采用集中式存储管理所有组件的状态 每一个 Vuex…
阅读更多...
【Android】RxJava系列01-基本概述和基本用法

【Android】RxJava系列01-基本概述和基本用法

少年啊，要永远相信美好的事情即将发生 【Android】RxJava系列01-基本概述和基本用法 1.RxJava的概述2.RxJava的作用3.观察者和被观察者4.背压5.RxJava的基本用法步骤一，创建Observer（观察者）步骤二，创建Observable&…
阅读更多...
【Ｃ++】类和对象之运算符重载(三)

【Ｃ++】类和对象之运算符重载(三)

前言：在前面我们知道在类和对象中有六个默认成员函数，并学习了其中三个构造函数、析构函数、拷贝构造函数，今天我们将进一步的学习.赋值运算符重载。 💖 博主CSDN主页:卫卫卫的个人主页 💞 👉 专栏分类:高质…
阅读更多...
UnityShader 边缘光效果

UnityShader 边缘光效果

效果： 代码实现： Shader "MyShader/Sim" {Properties{_MainTex("主贴图",2D)"white"{}_MainColor("主贴图颜色",color)(1,1,1,1)_InnerSimPower("内描边强度",Range(-1.0,3.0))0.0_InnerSimColor(&…
阅读更多...
基于springboot篮球竞赛预约平台源码和论文

基于springboot篮球竞赛预约平台源码和论文

随着信息化时代的到来，管理系统都趋向于智能化、系统化，篮球竞赛预约平台也不例外，但目前国内仍都使用人工管理，市场规模越来越大，同时信息量也越来越庞大，人工管理显然已无法应对时代的变化，而…
阅读更多...
day2.4

day2.4

D选项是不正确的。如果一个类没有定义默认构造函数，但该类的所有数据成员都有默认值，那么编译器会自动生成一个默认构造函数。然而，如果类中有某些数据成员没有默认值或者需要进行特殊的初始化，那么就需要用户自己定义一个默认构造…
阅读更多...
小程序＜swiper/＞组件详解及使用指南

小程序＜swiper/＞组件详解及使用指南

目录 引言微信小程序的重要性Swiper组件的角色与功能简介Swiper组件基础Swiper组件的定义与使用场景如何在微信小程序中引入Swiper组件Swiper组件的基本结构与属性Swiper组件的高级应用自定义Swiper指示点样式实现Swiper的动态效果（如自动播放、循环播放）说明引言 微信小程序…
阅读更多...
【云原生运维问题记录】kubesphere登录不跳转问题

【云原生运维问题记录】kubesphere登录不跳转问题

文章目录 现象问题排查 结论先行：kubesphere-system名称空间下reids宕机重启，会判断是否通过registry-proxy重新拉取镜像，该镜像原本是通过阿里云上拉取，代理上没有出现超时情况，导致失败。解决方案：删除re…
阅读更多...
EasyX图形库学习（二、文字输出）

EasyX图形库学习（二、文字输出）

目录 一、文字绘制函数 字体属性结构体:logfont 文字输出 outtextxy 在指定位置输出字符串。 ​编辑 但如果直接使用,可能有以下报错： 三种解决方案： 将一个int类型的分数,输出到图形界面上 如果直接使用： 会把score输入进去根据A…
阅读更多...
ES集群维护笔记

ES集群维护笔记

集群版本说明：es 7.5.1 REST接口 查看所有_cat接口 curl http://127.0.0.1:9200/_cat?v查看master节点 curl http://127.0.0.1:9200/_cat/master?v查看集群健康状态 curl http://127.0.0.1:9200/_cat/health?v查看节点状态 curl http://127.0.0.1:9200/_ca…
阅读更多...
【测试运维】web自动化全知识点笔记第1篇：什么是Web自动化测试（已分享，附代码）

【测试运维】web自动化全知识点笔记第1篇：什么是Web自动化测试（已分享，附代码）

本系列文章md笔记（已分享）主要讨论Web自动化测试相关知识。了解什么是自动化，理解什么是自动化测试以及为什么要使用自动化测试。具体包含：WebDriver的基本操作，WebDriver的鼠标、键盘操作，下拉选择框、警告…
阅读更多...
iview DatePicker 日期选择组件在弹窗中使用transfer，导致选择日期弹窗会关闭的问题

iview DatePicker 日期选择组件在弹窗中使用transfer，导致选择日期弹窗会关闭的问题

背景：在弹窗里面使用日期选择组件，选择组件的面板被弹窗遮挡了部分，所以需要使用transfer属性，但是使用之后组件面板插入body中了，面板的事件会导致弹窗关闭。 解决方案： 添加上transfer属性和指定的date-…
阅读更多...
STL篇三：list

STL篇三：list

文章目录 前言1.list的介绍和使用1.1 list的介绍1.2 list的使用1.3 list的迭代器的失效 2.list的模拟实现2.1 结点的封装2.2 迭代器的封装2.2.1 正向迭代器2.2.2 反向迭代器 2.3 list功能的实现2.3.1 迭代器的实例化及begin()、end() 2.3.2 构造函数2.3.3 赋值运算符重载2.3.4 …
阅读更多...
169. Majority Element

169. Majority Element

Given an array nums of size n, return the majority element. The majority element is the element that appears more than ⌊n / 2⌋ times. You may assume that the majority element always exists in the array. Example 1: Input: nums [3,2,3] Output: 3 Exampl…
阅读更多...
【开源】基于JAVA+Vue+SpringBoot的河南软件客服系统

【开源】基于JAVA+Vue+SpringBoot的河南软件客服系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统管理人员2.2 业务操作人员 三、系统展示四、核心代码4.1 查询客户4.2 新增客户跟进情况4.3 查询客户历史4.4 新增服务派单4.5 新增客户服务费 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVueSpringBootMySQL的河…
阅读更多...
学习ArtTs -- 初见ArkTs

学习ArtTs -- 初见ArkTs

作者：Uncle_Tom 原文链接：学习ArtTs -- 初见ArkTs-云社区-华为云 1. 前言 需要静态分析去检查一个语言，必须对这个语言有深刻的认识，才能有效的对这个语言进行有效的检查。 我常说:“作为一个程序分析员需要比一般的程序员考虑…
阅读更多...
Springboot写一个对接钉钉机器人的小插件

Springboot写一个对接钉钉机器人的小插件

钉钉机器人 有时候我门需要监控各种事件，需要机器人给我发给提醒 如：git代码交接，代码合并， 服务器异常捕获，。。。。 参照钉钉给我们的开发文档，可以发现对接起来是非常简单哈哈 这是我写的小插件以及例子…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023