云平台
云平台也称云计算平台. 云计算, 顾名思义, 就是将计算在云上运行.
那么在这里面的3个概念
- 云: 通俗的理解就是远程计算机, 并且是一组 一堆, 这些远程计算机协同工作构建出一个平台,对用户提供服务
- 计算:这是一个概念很大的名词,小了说可以认为是对业务数据进行计算分析的算力,不过通俗意义上,计算是指构建业务系统的各种需求
- 平台:将云(远程硬件资源)和计算(远程软件资源)组合在一起,就形成了一个平台,对用户提供各种各样的服务。
我们可以这样理解: 云平台就是 一个云上的平台, 为用户提供各种各样的远程服务。
云平台提供的就是 计算的资源.
那么计算的资源主要有:
- 硬件资源: 主要指服务器 交换机 磁盘 GPU等硬件资源
- 软件资源: 主要指 各种软件工具 如域名服务虚拟内网数据库软件等.
云平台为客户提供了 一站式的解决方案.
客户可以没有任何一台服务器同样可以搭建起来自己的业务,业务就运行在云平台之上。
结构化数据VS非结构化数据
结构化数据和非结构化数据是大数据的两种类型,这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构,而是基于使用它们的应用程序:关系数据库用于结构化数据,大多数其他类型的应用程序用于非结构化数据。
结构化数据(通常归类为定量数据)高度组织化并且易于通过机器学习算法破译。由 IBM 于 1974 年开发的结构化查询语言 (SQL) 是用于管理结构化数据的编程语言。通过使用关系 (SQL) 数据库,业务用户可以快速输入、搜索和操作结构化数据。
结构化数据的示例包括日期、姓名、地址、信用卡号等。它们的好处与易用性和访问性有关,而责任则围绕数据的不灵活性,结构化数据的优点在于:
- 机器学习 (ML) 算法易于使用:结构化数据的特定且有组织的架构简化了 ML 数据的操作和查询。
- 业务用户易于使用:结构化数据不需要深入了解不同类型的数据及其运作方式。通过对与数据相关的主题有基本的了解,用户可以轻松访问和解释数据。
- 更多工具可访问:由于结构化数据早于非结构化数据,因此有更多工具可用于使用和分析结构化数据。
非结构化数据本质上是结构化数据之外的一切数据。它不符合任何预定义的模型,因此它存储在非关系数据库中,并使用NoSQL进行查询。它可能是文本的或非文本的,也可能是人为的或机器生成的。简单的说,非结构化数据就是字段可变的的数据。
非结构化数据不是那么容易组织或格式化的。收集,处理和分析非结构化数据也是一项重大挑战。这产生了一些问题,因为非结构化数据构成了网络上绝大多数可用数据,并且它每年都在增长。随着更多信息在网络上可用,并且大部分信息都是非结构化的,找到使用它的方法已成为许多企业的重要战略。更传统的数据分析工具和方法还不足以完成工作。
微服务
微服务,又叫微服务架构,是一种软件架构方式。它将应用构建成一系列按业务领域划分模块的、小的自治服务。
在微服务架构中,每个服务都是自我包含的,并且实现了单一的业务功能。
简单来说,就是将一个系统按业务划分成多个子系统,每个子系统都是完整的,可独立运行的,子系统间的交互可通过HTTP协议进行通信(也可以采用消息队列来通信,如RoocketMQ,Kafaka等)。
所以,不同子系统可以使用不同的编程语言实现,使用不同的存储技术。但是,因为子系统服务数量越多,管理起来越复杂,因此需要采用集中化管理,例如Eureka,Zookeeper等都是比较常见的服务集中化管理框架;同时,使用自动化部署(如Jenkins)减少人为控制,降低出错概率,提高效率。
优势在于:独立开发:基于各个微服务所独有的功能,它们可以被轻易开发出来。独立部署:基于它们所提供的服务,它们可以被独立地部署到应用中。错误隔离:即便其中某个服务发生了故障,整个系统还可以继续工作。混合技术栈:可以使用不同的语言和技术来为同一个应用构建不同的服务。 按粒度扩展:可以根据需求扩展某一个组件,不需要将所有组件全部扩展。
(1)微服务就是一种架构风格
(2)微服务就是把一个项目拆分成独立的多个服务,并且多个服务是可以独立运行的,而每个服务都会占用线程。