架构演进
- 单机架构
- 应用数据分离架构
- 应用服务集群架构
- 读写 主从分离架构
- 冷热分离架构
- 垂直分库架构
- 微服务架构
- 容器编排架构
- 实际互联网架构
单机架构
单机架构:
- 用户访问量很少,没有对我们的性能、安全等提出很高的要求,而且系统架构简单,无需专业的运维团队
- dns解析网址,返回ip,浏览器访问ip对应的应用服务
优点
:部署简单,成本低
缺点
:存在严重的性能瓶颈,数据库和应用互相竞争资源
应用数据分离架构
应用数据分离架构:
- 性能压力,
应用服务和数据库服务使用不同服务器
优点
:成本相对可控,性能相比单机有提升,数据库单独隔离,不会因为应用把数据库搞坏,有一定的容灾能力
缺点
:硬件成本变高,性能有瓶颈,无法应对海量并发
应用服务集群架构
应用服务集群架构:
- 服务器遇到瓶颈,水平扩展,引入一个新的组件:负载均衡:解决用户流量向哪台应用服务器分发的问题,负载均衡不仅仅指的是工作在应用层的,甚至可能是其他的网络层之中
- 流量调度算法有很多种,比如:
• Round-Robin 轮询算法,即非常公平地将请求依次分给不同的应用服务器。
• Weight-Round-Robin 轮询算法。为不同的服务器(比如性能不同)赋予不同的权重(weight),能者多劳。
• 一致哈希散列算法。通过计算用户的特征值(比如 IP 地址)得到哈希值,根据哈希结果做分发,优点是确保来自相同用户的请求总是被分给指定的服务器。也就是我们平时遇到的专项客户经理服务- 负载均衡相关软件: Nginx、 HAProxy、 LVS、 F5
优点
:应用服务高可用:应用满足高可用,不会一个服务出问题整个站点挂掉,应用服务具备一定高性能:如果不访问数据库,应用相关处理通过扩展可以支持海量请求快速响应,应用服务有一定扩展能力:支持横向扩展
缺点
:数据库成为性能瓶颈,无法应对数据库的海量查询,数据库是单点,没有高可用,运维工作增多,扩展后部署运维工作增多,需要开发对应的工具应对快速部署,硬件成本较高
读写 主从分离架构
读写分离 / 主从分离架构(R/W M/S):
- 数据库成为瓶颈,而互联网应用一般读多写少,数据库承载压力大,主要是由这些读的请求造成的,所以把读操作和写操作分开
- 将数据库读写操作分散到不同的节点上,数据库服务器搭建主从集群,一主一从、一主多从都可以,数据库主机负责写操作,从机只负责读操作,将读请求由各个从库分担之后,数据库的压力就没有那么大了,这个过程不是无代价的,主库到从库的数据同步其实是由时间成本的
- 数据库中间件: MyCat、 TDDL、 Amoeba、 Cobar 等
优点
:数据库的读取性能提升,读取被其他服务器分担,写的性能间接提升,数据库有从库,数据库的可用性提高了
缺点
:热点数据的频繁读取导致数据库负载很高,当同步挂掉,或者同步延迟比较大时,写库和读库的数据不一致,服务器成本需要进一步增加
冷热分离架构
冷热分离架构:
- 业务中一些数据的读取频率远大于其他数据的读取频率,这部分数据称为热点数据,与之相对应的是冷数据
- 为了提升其读取的响应时间,可以增加本地缓存,并在外部增加分布式缓存,实现冷热分离,缓存热点数据。通过缓存能把绝大多数请求在读写数据库前拦截掉,降低数据库压力
- 使用 memcached 作为本地缓存,使用Redis 作为分布式缓存,还会涉及缓存一致性、缓存穿透/击穿、缓存雪崩、热点数据集中失效等问题
优点
:大幅降低对数据库的访问请求,性能提升非常明显
缺点
:带来了缓存一致性,缓存击穿,缓存失效,缓存雪崩等问题,服务器成本需要进一步增加,业务体量支持变大后,数据不断增加,数据库单库太大,单个表体量也太大,数据查询会很慢,导致数据库再度成为系统瓶颈
垂直分库架构
垂直(纵向)切分
:把单一的表拆分成多个表,并分散到不同的数据库(主机)上
- 垂直分库:例如把图书库分为用户库,价格库等
水平(横向)切分
:根据表中数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上
- 水平分表:用户id是最常用的分表字段。因为大部分查询都需要带上用户id,这样既不影响查询,又能够使数据较为均衡地分布到各个表中(当然,有的场景也可能会出现冷热数据分布不均衡的情况)
垂直分库架构:
- 单机的写库会逐渐会达到性能瓶颈,需要拆分数据库,数据表的数据量太大,处理压力太大,需要进行分表,为降低运维难度,业界逐渐研发了分布式数据库,库表天然支持分布式
- 数据库的数据被拆分,数据库数据分布式存储,分布式处理,分布式查询,也可以理解为分布式数据库架构
- 相关软件: Greenplum、 TiDB、 Postgresql XC、 HAWQ 等,商用的如南大通用的 GBase、睿帆科技的雪球 DB、华为的 LibrA等
优点
:数据库吞吐量大幅提升,不再是瓶颈
缺点
:跨库join、分布式事务等问题,这些需要对应的去进行解决,目前的mpp都有对应的解决方案,数据库和缓存结合目前能够抗住海量的请求,但是应用的代码整体耦合在一起,修改一行代码需要整体重新发布
微服务架构
微服务架构:
- 微服务是一种架构风格,按照业务板块来划分应用代码,使单个应用的职责更清晰,相互之间可以做到独立升级迭代
- 出现原因:
①扩展性差:应用程序无法轻松扩展,因为每次需要更新应用程序时,都必须重新构建整个系统
②持续开发困难:一个很小的代码改动,也需要重新部署整个应用,无法频繁并轻松的发布版本
③不可靠:即使系统的一个功能不起作用,可能导致整个系统无法工作
④不灵活:无法使用不同的技术构建单体应用程序
⑤代码维护难:所有功能耦合在一起,新人不知道何从下手- 相关微服务框架:Spring Cloud、 Dubbo
优点
:灵活性高:服务独立测试、部署、升级、发布,独立扩展:每个服务可以各自进行扩展,提高容错性:一个服务问题并不会让整个系统瘫痪;新技术的应用容易:支持多种编程语言
缺点
:运维复杂度高:业务不断发展,应用和服务都会不断变多,应用和服务的部署变得复杂,同一台服务器上部署多个服务还要解决运行环境冲突的问题,此外,对于如大促这类需要动态扩缩容的场景,需要水平扩展服务的性能,就需要在新增的服务上准备运行环境,部署服务等,运维将变得十分困难,资源使用变多:所有这些独立运行的微服务都需要需要占用内存和 CPU ,处理故障困难:一个请求跨多个服务调用,需要查看不同服务的日志完成问题定位
容器编排架构
容器编排架构:
- 借助容器化技术(如docker)将应用/服务可以打包为镜像,通过容器编排工具(如k8s)来动态分发和部署镜像,服务以容器化方式运行
- 出现原因:
①微服务拆分细,服务多部署工作量大,而且配置复杂,容易出错
②微服务数量多扩缩容麻烦,而且容易出错,每次缩容后再扩容又需要重新配置服务对应的环境参数信息
③微服务之间运行环境可能冲突,需要更多的资源来进行部署或者通过修改配置来解决冲突- 相关软件:Docker、 K8S
大致过程:
优点
:部署、运维简单快速:一条命令就可以完成几百个服务的部署或者扩缩容,隔离性好:容器与容器之间文件系统、网络等互相隔离,不会产生环境冲突,轻松支持滚动更新:版本间切换都可以通过一个命令完成升级或者回滚
缺点
:技术栈变多,对研发团队要求高,机器还是需要公司自身来管理,在非大促的时候,还是需要闲置着大量的机器资源来应对大促,机器自身成本和运维成本都极高,资源利用率低,可以通过购买云厂商服务器解决。
实际互联网架构
实际互联网架构: