241125学习日志——[CSDIY] [ByteDance] 后端训练营 [16]

news2024/11/28 1:59:38

CSDIY:这是一个非科班学生的努力之路,从今天开始这个系列会长期更新,(最好做到日更),我会慢慢把自己目前对CS的努力逐一上传,帮助那些和我一样有着梦想的玩家取得胜利!!!
第一弹:Cpp零基础学习【30 DAYS 从0到1】
第二弹:Cpp刷题文档【LeetCode】
第三弹:Go开发入门【字节后端青训营】
第四弹:Cpp简单项目开发【黑马Rookie】
第五弹:数据结构绪论【数据结构与算法】
第六弹:Go工程实践【字节后端青训营】
第七弹:高质量编程和性能调优【字节后端青训营】
第八弹:Linux 基础知识【书生大模型训练营】
第九弹:Python 基础知识【书生大模型训练营】
第十弹:Git 基础知识【书生大模型训练营】
第十一弹:玩转HF/魔搭/魔乐社区【书生大模型训练营】
第十二弹:书生大模型全链路开源体系【书生大模型训练营】
第十三弹:玩转书生「多模态对话」与「AI搜索」产品【书生大模型训练营】
第十四弹:浦语提示词工程实践【书生大模型训练营】
第十五弹:HTTP 框架修炼之道【字节后端青训营】
第十六弹:打开抖音会发生什么【字节后端青训营】
第十七弹:将我的服务开放给用户【字节后端青训营】

  • 系统熟悉和学习企业级网络接入核心组件及基本原理
  • 面试时,别惹问道你从输入网页到内容加载出来
  • 从零到一搭建属于自己的网站
  • 学会故障排查

01. 接入问题的引入

1.1 问题引入

从输入网站域名 - 到网页加载出来经历了什么

  1. 域名解析
  2. TCP建联
  3. SSL握手

1.2 字节接入框架

A life of a request…

02. 企业接入升级打怪之路

2.1 使用域名系统

2.1.1 Host管理
2.12 使用域名系统

替代 hosts 文件

关于域名空间:

  • 域名空间被组织成树形结构
  • 域名空间通过过划分 zone 的方式进行分层授权管理
  • 全球公共域名空间进对应一棵树
  • 根域名服务器:查询起点
  • 域名组成格式:[a-zA-Z0-9]
2.1.3 域名购买与配置迁移

域名购买

购买二级域名

域名备案:实名认证…

修改配置

2.1.4 如何开放外部用户访问

方案:租赁外网 IP,用于外部用户访问门户网站。

2.2 自建 DNS 服务器

2.2.1 问题背景

内网域名的解析也得出公网去获取,效率低下

外部用户看到内网 ip 地址,容易被 hacker 攻击

2.2.2 DNS查询过程
  1. 网络客户端 - 本地DNS服务器
  2. DNS根服务器
  3. .com域服务器
  4. 返回客户端
2.2.3 DNS 记录类型

A/AAAA:IP指向记录

CNAME:别名记录

TXT:文本记录

MX:邮件交换记录

NS:解析服务器记录

SOA:起始授权机构记录

2.2.4 权威 DNS 系统架构

站在企业角度思考,需要哪种 DNS 服务器?

  • 权威 DNS、LocalDNS…

2.3 接入 HTTPS 协议

2.3.1 问题背景
  • 页面返回 403
  • 搜索不了东西
  • 页面弹窗

HTTP 明文传输,弊端越来越明显

故需要 HTTPS

2.3.2 对称加密和非对称加密

常见的加密算法

对称加密:一份密钥

非对称加密:公钥和私钥

  • 私钥存在服务器
2.3.3 SSL 的通信过程
  • client random

  • server random

  • premaster secret

  • 加密算法协商

  • 👇

  • 对称密钥

2.3.4 证书链

Server 是带签名的证书链

摘要信息 - 指纹(数字签名)

利用公钥解密指纹(数字签名)

  • 保证证书不会被篡改
2.3.5 使用 https

在网址头假如https,保证不会被劫持

2.4 全站加速

2.4.1 问题背景
  • 源站容量低,可承载的并发请求数低,容易被打垮

响应慢、卡顿 👉 用户流失

2.4.2 解决方案

源站容量 - 静态加速

流量 - 动态加速

2.4.3 静态加速 CDN

缓存:浏览器缓存?可以被下一次调用,而不用访问源站

优势

  • 解决“第一公里”问题(靠近用户的)

  • 缓解消除不同运营商之间互联瓶颈的影响

2.4.4 动态加速 DCDN

针对 POST 等非静态请求等不能在用户边缘缓存的业务,基于智能选路技术,从众多回源线路中择优选择一条线路进行传输

2.4.5 DCDN 原理

边缘节点、汇聚节点、核心机房(一般在核心区)

中心区:机房数量少,算力大

边缘区:机房数量多,算力小

2.4.6 使用全站加速
  1. 用户首次登录抖音,注册用户名手机号等信息—— 静态加速 CDN

  2. 抖音用户点开视频加载后观看—— 动态加速 DCDN

  3. 打开今日头条进行网页浏览—— 静态加速 CDN、动态加速 DCDN

2.5 负载均衡

负载均衡(Load Balance,简称 LB)是高并发、高可用系统必不可少的关键组件,目标是 尽力将网络流量平均分发到多个服务器上,以提高系统整体的响应速度和可用性。

负载均衡的主要作用如下:

高并发:负载均衡通过算法调整负载,尽力均匀的分配应用集群中各节点的工作量,以此提高应用集群的并发处理能力(吞吐量)。

伸缩性:添加或减少服务器数量,然后由负载均衡进行分发控制。这使得应用集群具备伸缩性。

高可用:负载均衡器可以监控候选服务器,当服务器不可用时,自动跳过,将请求分发给可用的服务器。这使得应用集群具备高可用的特性。

安全防护:有些负载均衡软件或硬件提供了安全性功能,如:黑白名单处理、防火墙,防 DDos 攻击等。

2.5.1 问题背景

在运营商租用了公网 IP,企业内部如何使用?

  • 现状:
  • 找一个物理机
  • 租多个公网 ip(数量有限)

如何管理有限的公网 ip?

2.5.2 什么是 4 层负载均衡?

基于 IP+ 端口,利用某种算法将报文转发给某个后端服务器,实现负载均衡地落到后端服务器上。

三个主要功能

  1. 解耦 vip 和 rs
  2. NAT
  3. 防攻击:syn proxy
2.5.3 常见调度算法原理
  • RR 轮询:Round Robin

  • 加权 RR 轮询

  • 最小连接

  • 五元组 hash

    缺点:当某个后端服务器故障后,所有连接都重新计算,影响整个hash环。

  • 一致性 hash

2.5.4 常见实现方式 FULLNAT

RS 怎么知道真实的 CIP?

  • 通过 TCP option 字段传递然后通过特殊地内核模块反解
2.5.5 4 层负载均衡特点

大部分都是通过 dpdk 技术实现,技术成熟,大厂都在用

纯用户协议栈,kernel bypass,消除协议栈瓶颈

无缓存,零拷贝…

2.5.6 使用 4 层负载均衡

外网核心设备 - 外网路由器 - 四层负载均衡 - 权威DNS解析/后端服务器

2.6 七层负载均衡

2.6.1 问题背景

四层负载均衡对 100.1.2.3 只能 bind 一个 80 端口,而有多个外部站点需要使用,该如何解决?

有一些 7 层相关的配置需求,该怎么做?

  • SLL 卸载
  • 请求重定向
  • 路由添加匹配策略
  • Header 编辑
  • 跨域支持
  • 协议支持
2.6.2 Nginx 简介

最灵活的高性能 WEB SERVER,应用最广的 7 层负载均衡

  • 模块化设计,较好的扩展性和可靠性
  • 基于 master/worker 架构设计
  • 支持热部署;可在线升级
  • 不停机更新配置文件、更换日志文件…
2.6.3 Nginx 和 Apache 性能对比

Apache(音译为阿帕奇)是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩充,将Perl/Python等解释器编译到服务器中。

2.6.4 Nginx 反向代理
2.6.5 Nginx 内部架构

Cache loader 和 Cache manager

2.6.6 事件驱动模型

03. 动手实践

3.1 服务器搭建

3.2 四层负载均衡方案

开源解决方案:LVS + keepalived

3.3 七层负载均衡实验

3.4 SSL 自签证书实验

3.5 如何将本地服务开放外网访问

服务开发前期,如何低成本让别人访问自己的服务?

  • Ngrok,Expose your localhost to the web

04 复习总结

梳理接入架构

碎碎念:坚持
与君共勉。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2248750.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

原生微信小程序画表格

wxml部分&#xff1a; <view class"table__scroll__view"><view class"table__header"><view class"table__header__item" wx:for"{{TableHeadtitle}}" wx:key"index">{{item.title}}</view></…

TCP/IP协议攻击与防范

一、TCP/IP协议攻击介绍 1.1 Internet的结构​ LAN&#xff1a;局域网 WAN&#xff1a;广域网 WLAN&#xff1a;无线局域网 私有IP地址与公有IP地址&#xff1f; 私有地址&#xff1a;A类&#xff1a;10.0.0.0~10.255.255.255 B类&#xff1a;172.16.0.0~172.31.255.255…

微信小程序2-地图显示和地图标记

一、index修改页面&#xff0c;让页面能够显示地图和一个添加标记的按钮。 index.wxml <scroll-view class"scrollarea" scroll-y type"list"><view class"index_container"><map id"map" style"width: 100%; h…

【C++】从C语言到C++学习指南

如果你也是从C语言一路过来的&#xff0c;那么请一起看下去吧&#xff01; 文章目录 面型对象程序设计C基础C和C一些语法区别C在非对象方面对C语言的扩充C的一些标准&#xff08;兼容旧标准&#xff09; 首先&#xff0c;在C的学习中&#xff0c;我们要时刻清醒一点&#xff1…

Fakelocation Server服务器/专业版 ubuntu

前言:需要Ubuntu系统 Fakelocation开源文件系统需求 Ubuntu | Fakelocation | 任务一 任务一 更新Ubuntu&#xff08;安装下载不再赘述&#xff09; sudo -i # 提权 sudo apt update # 更新软件包列表 sudo apt upgrade # 升级已安装的软…

探索Python的HTTP之旅:揭秘Requests库的神秘面纱

文章目录 **探索Python的HTTP之旅&#xff1a;揭秘Requests库的神秘面纱**第一部分&#xff1a;背景介绍第二部分&#xff1a;Requests库是什么&#xff1f;第三部分&#xff1a;如何安装Requests库&#xff1f;第四部分&#xff1a;Requests库的五个简单函数使用方法第五部分&…

WPF——ICON按钮制作

前言 首先ICON按钮&#xff0c;即带图标按钮&#xff0c;即图标按钮。 图标按钮在开发时&#xff0c;主要是有两种方式来进行。一是在Button的Content内添加Image&#xff0c;然后设置Image的属性Source来实现&#xff0c;这种方式主要是简单易操作&#xff0c;对于初学者来说…

【MySQL篇】持久化和非持久化统计信息的深度剖析(第一篇,总共六篇)

&#x1f4ab;《博主介绍》&#xff1a;✨又是一天没白过&#xff0c;我是奈斯&#xff0c;DBA一名✨ &#x1f4ab;《擅长领域》&#xff1a;✌️擅长Oracle、MySQL、SQLserver、阿里云AnalyticDB for MySQL(分布式数据仓库)、Linux&#xff0c;也在扩展大数据方向的知识面✌️…

三开关VUE组件

一、使用效果 <template><QqThreeSwitch v-model"value" /><!-- <SqThreeSwitch v-model"value" :options"[test1, test2, test3]"><template #left-action><div style"display: flex"><IconMoon…

线段树与树状数组 (C++)

线段树&#xff1a;基于分治思想的二叉树&#xff0c;用于维护区间信息&#xff08;区间和&#xff0c;区间最值等&#xff09;&#xff0c;区间修改和区间查询的时间复杂度为logn 叶子节点存储元素本身&#xff0c;非叶子节点存取区间信息 1.节点&#xff1a;是一个结构体&a…

vue3 uniapp 扫普通链接或二维码打开小程序并获取携带参数

vue3 uniapp 扫普通链接或二维码打开小程序并获取携带参数 微信公众平台添加配置 微信公众平台 > 开发管理 > 开发设置 > 扫普通链接二维码打开小程序 配置链接规则需要下载校验文档给后端存入服务器中&#xff0c;保存配置的时候会校验一次&#xff0c;确定当前的配…

数据结构(初阶6)---二叉树(遍历——递归的艺术)(详解)

二叉树的遍历与练习 一.二叉树的基本遍历形式1.前序遍历(深度优先遍历)2.中序遍历(深度优先遍历)3.后序遍历(深度优先遍历)4.层序遍历&#xff01;&#xff01;(广度优先遍历) 二.二叉树的leetcode小练习1.判断平衡二叉树1&#xff09;正常解法2&#xff09;优化解法 2.对称二叉…

spring boot2.7集成OpenFeign 3.1.7

1.Feign Feign是一个声明式web服务客户端。它使编写web服务客户端更容易。要使用Feign&#xff0c;请创建一个接口并对其进行注释。它具有可插入注释支持&#xff0c;包括Feign注释和JAX-RS注释。Feign还支持可插拔编码器和解码器。Spring Cloud增加了对Spring MVC注释的支持&…

基于Redis内核的热key统计实现方案|得物技术

一、Redis热key介绍 Redis热key问题是指单位时间内&#xff0c;某个特定key的访问量特别高&#xff0c;占用大量的CPU资源&#xff0c;影响其他请求并导致整体性能降低。而且&#xff0c;如果访问热key的命令是时间复杂度较高的命令&#xff0c;会使得CPU消耗变得更加严重&…

CTF-Hub SQL 报错注入(纯手动注入)

​ 当输入1时&#xff0c;发现只有查询正确&#xff0c;基本上可以判断出没有回显 开始注入(工具hackerBar) 题目是报错注入&#xff0c;方向就比较明显&#xff0c;大致说一下用到的函数和原理。 常见报错注入函数&#xff1a; 通过 floor() 报错注入通过 extractValue() …

Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?

大家好&#xff0c;我是锋哥。今天分享关于【Elasticsearch中的节点&#xff08;比如共20个&#xff09;&#xff0c;其中的10个选了一个master&#xff0c;另外10个选了另一个master&#xff0c;怎么办&#xff1f;】面试题。希望对大家有帮助&#xff1b; Elasticsearch中的节…

linux安装mysql8.0.40

一、下载MySQL安装包 1.查看glibc版本 rpm -qa | grep glibc 2.到mysql官网下载安装包 ​ 二、解压安装 1.上传压缩包纸/usr/local 目录下&#xff0c;解压&#xff1a; tar -xvf mysql-8.0.40-linux-glibc2.17-x86_64.tar.xz 2.重命名&#xff1a; mv mysql-8.0.40-linux-…

【大数据学习 | Spark-Core】RDD的五大特性(包含宽窄依赖)

分析一下rdd的特性和执行流程 A list of partitions 存在一系列的分区列表A function for computing each split 每个rdd上面都存在compute方法进行计算A list of dependencies on other RDDs 每个rdd上面都存在一系列的依赖关系Optionally, a Partitioner for key-value RDDs…

在 Taro 中实现系统主题适配:亮/暗模式

目录 背景实现方案方案一&#xff1a;CSS 变量 prefers-color-scheme 媒体查询什么是 prefers-color-scheme&#xff1f;代码示例 方案二&#xff1a;通过 JavaScript 监听系统主题切换 背景 用Taro开发的微信小程序&#xff0c;需求是页面的UI主题想要跟随手机系统的主题适配…

【C语言】int *p[ ] 与 int (*p)[ ] 的区分辨析

博客主页&#xff1a; [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C语言 文章目录 &#x1f4af;前言&#x1f4af;基本概念&#xff1a;数组与指针&#x1f4af;理解 int *p[10] 与 int (*p)[10]1. int *p[10]&#xff1a;存放指针的数组2. int (*p)[10]&#xff1a;指向数组的指针 …