Apache HBase概述（图文并茂~）

news2024/12/31 4:06:21

HBase概述

在这里插入图片描述

1. Why we need HBase ？

  • 在大数据时代来临之前，我们通常依赖传统的关系型数据库（如RDBMS）来处理数据存储和管理。然而，随着数据量的急剧增长和数据结构的多样化，传统数据库系统开始显露出其局限性。

  • 针对这一挑战，我们引入了新的解决方案，其中包括熟悉的“大象”——Hadoop。

  • 然而，使用Hadoop存储大量数据并且试图从中检索少量记录存在一个显著问题：必须扫描整个Hadoop分布式文件系统（HDFS）才能获取这些记录。

  • HDFS能够高效地存储、处理和管理大量数据。但是，它只执行批处理，并且以顺序方式访问数据。

在这里插入图片描述

  • 因此，需要一种解决方案，无论数据在集群中的顺序如何，都可以随时访问、读写数据。

在这里插入图片描述

  • Hadoop的这种限制导致了对数据库随机访问的不足，这也正是引入HBase的原因。

  • HBase类似于传统的数据库管理系统（DBMS），但它提供了能够以随机方式访问数据的能力，弥补了Hadoop的这一局限性。

2.What is Apache HBase？

  • HBase（Hadoop Database）是一个开源的分布式、面向列存储的非关系型数据库系统。

  • HBase建立在 Apache Hadoop 上，利用 Hadoop 的分布式文件系统 HDFS 存储数据。

在这里插入图片描述

  • HBase可以以表格格式存储大量数据，主要用于需要定期且一致地插入和覆盖数据以及需要极快读写场景。
    在这里插入图片描述

  • HHBase采用了类似于Google的Bigtable的数据模型，这意味着它是基于列族（column family）的分布式存储系统。

  • bigtable是一个结构化数据的分布式存储系统。bigtable利用了谷歌文件系统提供的分布式数据存储。

  • Apache hbase在hadoop和HDFS之上提供了类似bigtable的功能。

在这里插入图片描述

3.Characteristics of HBase

  • HBase is a type of NoSQL database and is classified as a key-value store.
    HBase是一种被归类为键值存储的NoSQL数据库。

  • Value is identified with a key

    • Every piece of data stored in HBase is associated with a unique key. This key serves as the identifier for the data and is used to store and retrieve values efficiently.
      HBase 中的每条数据都与一个唯一的键相关联。这个键用于高效地存储和检索数据值。

  • Key and values are byte array of type.

    • 在HBase中，键（key）和值（value）都是以字节数组（byte array）的形式存储的。
    • 可以轻松的存储二进制数据

在这里插入图片描述

  • Values are stored inkey orders and can be quickly accessed by their keys.

    • HBase 值以键顺序存储，可以通过键快速访问。

  • HBase is a database in which tables have no schema. At the time of table creation,
    column families are defined, not columns.

    • HBase 其表在创建时没有严格的模式（schema）。在创建表时，定义的是列族（column families），而不是列。

    • 列族是逻辑上的概念，它们可以包含多个列。在实际存储数据时，列族的定义决定了数据在物理上的存储方式。每个列族可以包含多个动态列，这些列不需要在创建表时预先定义，可以根据需要动态添加。

    • 因此，HBase 的表在创建时可以定义一个或多个列族，而具体的列是在数据写入时动态创建和管理的。这种设计使得HBase非常适合存储半结构化和非结构化数据，同时保持了高度的灵活性和扩展性。

在这里插入图片描述

  1. 线性可扩展性（Linearly Scalable）：HBase 能够在大规模数据集上实现线性扩展，通过水平分割数据并在多台服务器上分布存储，以处理增加的负载而无需单点增强硬件性能。

  2. 与 Hadoop 集成（Hadoop Integration）：HBase紧密集成于Hadoop生态系统，特别是与HDFS（Hadoop分布式文件系统）和MapReduce配合使用，支持在大数据处理流程中无缝存储和分析数据。

  3. 自动容错支持（Auto-Failure Support）：HBase具备自动容错和恢复机制，能够在节点故障时自动将数据恢复到可用状态，保证系统的高可用性和持久性。

  4. Java API 支持（Java API Support）：HBase 提供了丰富的 Java API，使得开发人员可以轻松地通过 Java 编程语言进行数据的读取、写入和管理。

  5. 一致性读写（Consistent Read/Write）：HBase 提供了一致性的读取和写入操作，确保数据的读取和更新操作在分布式环境下保持一致性，同时支持多版本数据访问。

  6. 数据复制（Data Replication）：HBase 支持数据的复制，可以在不同的数据中心或节点之间复制数据，提高数据的可用性和容灾能力，同时支持异步复制和自定义复制策略。

4.Why NoSQL？

NoSQL是一种非结构化存储形式，这意味着NoSQL数据库没有固定的表结构。

左侧展示的结构化数据库严重依赖行、列和表。非结构化数据库则包含多种不同类型的数据。

在这里插入图片描述

With the explosion of social media sites, such as Facebook and Twitter ,the demand to manage large data has grown tremendously.

在这里插入图片描述

NoSQL数据库解决了存储、管理、分析和归档大数据时面临的挑战。由于其高性能、高可扩展性和易于访问，这些数据库也因此获得了广泛的流行。

NoSQL数据库主要有四种类型：

在这里插入图片描述

  1. 键值存储（Key-Value）：数据以键值对形式存储，每个键唯一对应一个值，适合快速存取和简单查询的场景。

在这里插入图片描述

  1. 文档型存储（Document-based）：数据以文档形式存储，文档可以是JSON、XML等格式，每个文档可以包含不同结构的数据，适合应用程序需要灵活数据模型的情况。

在这里插入图片描述

  1. 列族存储（Column-based）：数据以列族（column family）存储，适合需要大量数据写入和复杂查询的场景，具有高效的读写性能。

在这里插入图片描述

  1. 图形数据库（Graph-based）：数据以图的形式存储，包括节点（node）和边（edge），用于存储具有复杂关系和连接的数据，适合分析和处理复杂的关系网络。

在这里插入图片描述

在这里插入图片描述

RDBMS 与 NoSQL数据库对比。

特征RDBMSNoSQL数据库
数据存储表格化（Tabular）可变存储模型（Variable storage model）
数据模式固定（Fixed）动态（Dynamic）
性能低（LOW）高（High）
可扩展性纵向扩展（Vertical）横向扩展（Horizontal）
可靠性良好（Good）较差（Poor）

在这里插入图片描述

  1. 数据存储模型：

    • RDBMS：采用表格化Tabular的数据存储模型，数据以行和列的形式组织，每个表具有预定义的结构。
    • NoSQL数据库：采用多样化的存储模型，可以是键值对、文档、列族或图形等形式，允许更灵活和动态的数据结构。

  2. 数据模式：

    • RDBMS：具有固定的数据模式，需要预先定义表的结构和关系，且数据必须符合这些结构。
    • NoSQL数据库：通常具有动态的数据模式，可以根据需要动态调整数据结构，适应不同的数据格式和需求变化。

  3. 性能：

    • RDBMS：在复杂的查询和事务处理方面通常表现较好，但在大规模数据处理和读取时性能相对较低。
    • NoSQL数据库：在处理大量数据和简单查询时性能往往非常高，可以通过横向扩展来提升性能。

  4. 可扩展性：

    • RDBMS：主要通过纵向扩展（增加硬件资源如CPU、内存）来提升性能，扩展性有限。
    • NoSQL数据库：通过横向扩展（增加节点数目）来提升性能和容量，具有更好的可扩展性和弹性。

  5. 可靠性：

    • RDBMS：因为事务处理和数据完整性的强调，通常具有较高的可靠性和数据一致性。
    • NoSQL数据库：由于强调分布式架构和大规模数据处理，可能在数据一致性和可靠性方面相对较弱，取决于具体实现和配置。

5.Real-Life Connect

Facebook的Messenger平台需要每月存储超过135万亿条消息。

在这里插入图片描述

它们选择了HBase作为存储这些数据的解决方案，原因在于需要处理两种类型的数据模式：

  1. 稀少访问的持续增长数据集：这些数据集包含了大量的消息数据，但通常很少被访问或者只在特定的情况下才会被查询和检索。（例如收件箱的信息，看一次，就很少再去查看了。）
    在这里插入图片描述

  2. 高度易变的持续增长数据集：这些数据集则包含了频繁变化的消息数据，这些数据需要能够快速地更新和访问。

在这里插入图片描述

HBase特别适合处理大数据量和动态数据模式的场景。

对于像Facebook Messenger这样的大型即时通讯平台来说，选择HBase能够有效地应对其庞大的数据存储和处理挑战。

6.HBase Architecture

HBase拥有两种类型的节点：Master节点和RegionServer节点。

在HBase中，Master节点和RegionServer节点协同工作，共同构成一个高效的分布式存储和处理系统。

Master节点负责整个集群的管理和协调，而RegionServer节点则负责实际的数据存储和读写操作，通过分布式的方式处理大规模数据。

在这里插入图片描述

  1. Master节点：

    • 每次只有一个Master节点在运行。
    • 负责管理整个HBase集群的操作，包括RegionServer的协调和管理。
    • 不参与读取或写入数据的路径，主要负责集群的元数据管理和协调。
    • 负责监测和管理RegionServer的状态，以及为RegionServer分配和重新分配数据区域（Regions）。

  2. RegionServer节点：

    • 可以同时运行一个或多个RegionServer节点。
    • 主要负责托管HBase表中的数据区域（Regions），并执行数据的读取和缓冲写入操作。
    • 在读取和写入数据时起到关键作用，处理客户端的数据请求。
    • Region是HBase中表的行的子集，每个RegionServer可以托管多个Region。

7.HBase Components

HBase的组件包括HBase Master和多个RegionServer。它的集群架构如下：

在这里插入图片描述

  1. HBase Master：

    • HBase的主节点，负责整个集群的管理和协调。
    • 通过与ZooKeeper的通信来监控和管理RegionServer。
    • 负责分配数据区域（Region）给不同的RegionServer，并进行负载均衡的操作。

  2. RegionServer：

    • 包含多个实例，每个实例称为一个RegionServer节点。
    • 负责存储和处理实际的数据。
    • 每个RegionServer可以托管多个数据区域（Region）。
    • 数据区域（Region）进一步包含数据存储单元（Store），每个Store包含存储文件（StoreFile）、内存存储（Memstore）和日志（HLog）等组件。
      在这里插入图片描述

  3. ZooKeeper：

    • 用于协调和监控HBase集群的组件。
    • 维护HBase集群中的元数据信息，如RegionServer的状态和分布情况。

  4. HDFS：

    • Hadoop分布式文件系统，作为HBase的底层存储层。
    • 存储HBase表中的数据文件（HFile）和日志文件（HLog）。

在这里插入图片描述

在HBase的架构中，Master节点和RegionServer节点通过ZooKeeper进行协调和通信，实现数据的高可用性和一致性。

在这里插入图片描述

Master节点负责管理集群的整体运行，包括Region的分配和负载均衡，而RegionServer节点则实际存储和处理数据，通过横向扩展来处理大规模数据和高并发访问的需求。

8.Storage Model of HBase

HBase的存储模型包括两个主要组成部分：分区和持久化及数据可用性。

  1. 分区：
    • 分区是存储模型的一部分，用于水平划分表格成为多个区域（regions）。

在这里插入图片描述

  • 每个区域由一段连续的键范围组成，并由一个区域服务器（region server）管理。
  • 区域服务器可以托管多个区域。
  1. 持久化及数据可用性：

    • 数据存储在HDFS中：

    • HBase 将其数据存储在 Hadoop 分布式文件系统（HDFS）中。HDFS 提供了高可靠性、高扩展性和容错能力，非常适合存储大规模的数据。

    • 依赖HDFS复制确保数据可用性：

    • HBase 依赖于 HDFS 的复制机制来确保数据的可用性和冗余。当数据写入 HBase 时，HDFS 负责将数据多次复制到不同的数据节点，以应对节点故障或数据损坏的情况，从而保证数据的可靠性和持久性。

    • 区域服务器不进行复制：

    • HBase 中的区域服务器（region server）不进行复制。这意味着每个区域服务器负责管理一些区域（regions），这些区域是数据表水平分割后的部分。区域服务器负责处理对这些区域的读写请求。

Tips：

  • 内存缓存（Memstore）
    在这里插入图片描述

在 HBase 中，每个区域服务器（Region Server）维护内存中的一个 mem store，用于临时存储数据更新操作的结果。
在这里插入图片描述

当客户端发送写请求时，数据首先被写入到这个内存缓存中。这样做的主要目的是提高写入性能和响应速度，因为内存访问比磁盘访问要快得多。

流程：

  1. 写入操作： 当客户端发送写请求时，区域服务器将数据更新操作追加到内存中的 mem store 中。

  2. 读取操作： 读取请求首先检查 mem store 是否包含所需数据，如果有则直接返回，否则继续查找数据文件（如 HFiles）。

  3. 内存使用和管理： 内存中的 mem store 不是无限的，当达到预设阈值时，HBase 将会触发内存刷新操作（flush），将 mem store 中的数据持久化到磁盘上的 HFiles 中，以释放内存空间。

虽然 mem store 提供了高性能的写入和读取速度，但内存中的数据不是持久化的，如果区域服务器发生故障或重启，内存中的数据将会丢失。

为了解决这个问题，HBase 定期将 mem store 中的数据刷新到 HDFS 上的 HFiles 中，从而保证数据的持久性和可恢复性。

流程：

  1. Flush 操作触发： 当 mem store 中的数据达到预定的阈值或者定期时间到达时，HBase 触发一个 flush 操作。

  2. 数据写入 HFiles： 在 flush 过程中，mem store 中的数据被写入到 HFiles 中，这些 HFiles 是持久化存储在 HDFS 上的文件，它们包含了最新的数据更新操作。

  3. 写入确认： 在将数据写入 HFiles 后，HBase 确认操作成功完成，并更新相应的元数据，以反映最新的数据状态。

在这里插入图片描述

  • WAL（Write-Ahead Log，预写式日志）的使用

WAL 是 HBase 用来确保数据更新操作持久性的关键机制。

所有的数据更新操作（如写入、更新、删除）首先被记录到 WAL 中，然后再写入 mem store。

这样做的目的是在发生系统崩溃或故障时，通过重新应用 WAL 中的记录来恢复数据，确保不会丢失已提交的更新操作。

流程：

  1. 数据更新操作： 当客户端发送写请求时，区域服务器首先将数据更新操作追加到 WAL 中。WAL 文件通常存储在 HDFS 上，这样可以保证数据在写入 mem store 之前已经持久化。

  2. 数据写入 mem store： 数据在写入 WAL 后，再被写入内存中的 mem store。这个过程中，如果区域服务器发生故障，数据可以通过重新应用 WAL 来恢复，确保数据的一致性和持久性。

  3. WAL 的定期刷写： WAL 文件不会无限增长，HBase 定期将 WAL 文件刷写（flush）到磁盘上的永久存储中，以确保即使在系统崩溃时，也能最大程度地恢复数据。

HBase 通过内存缓存（mem store）、定期刷新到 HDFS 和 WAL 的结合使用，确保了高性能的数据写入和持久化存储，同时在系统故障或崩溃时能够快速恢复数据，保证了数据的一致性和可靠性。

9.Row Distribution of Data between Region Servers

  1. 数据分区和Region：

    • 当你创建一个表（table）时，HBase会将其分成多个区域（regions），每个区域负责存储表中特定范围的行（rows）数据。
    • 这些区域是按照表的行键（row key）的范围来划分的，通常是一段连续的行键范围分配给一个区域。

  2. Region Server：

    • 每个Region都会被分配到不同的Region Server上进行管理和存储。
    • Region Server是HBase集群中的工作节点，负责处理和响应来自客户端的数据读写请求。

在这里插入图片描述

  1. 数据行的分布：
    • 数据行（rows）在HBase中根据其行键（row key）进行分布和存储。
    • 行键经过哈希处理后，决定了数据存储在哪个具体的Region中。这确保了相似行键的数据分布均匀，避免了热点（hotspotting）现象，即数据请求集中在少数几个Region上的情况。

10.Data Model

HBase的数据模型特点：
在这里插入图片描述

  1. 多版本支持：
    • 每个行键（rowkey）可以存储多个版本的数据。这意味着同一个行键下的不同版本数据可以被保留和访问，每个版本可以带有时间戳来表示其存储时点。

在这里插入图片描述

  1. 行键（rowkey）的作用：

    • 行键是HBase中数据的唯一标识符，用于唯一标识每一行数据条目。它们通常设计为能够有效支持快速查询和分布式存储的方式。

  2. 列族和列：

    • 数据存储在列族（Column Family）中，每个列族可以包含多个列。例如，列族 CF1 可以包含列 C1、C2 和 C3。
    • 列族内的所有单元格（cells）都按照列名排序并物理存储在一起，这种存储方式有助于快速检索和访问相关数据。

在这里插入图片描述

  1. 列族间的数据存储：

    • 不同列族的数据是分开存储的，这种设计允许在不同的列族中存储不同类型或结构的数据，从而支持灵活的数据模型和查询需求。

  2. 稀疏数据特性：

    • HBase中的数据通常非常稀疏，大部分单元格包含空值（NULL）。这是因为HBase设计用于大规模数据集，其中大多数情况下，每行数据只包含少量列的值，而其他列保持为空。

  3. 数据存储格式：

    • HBase存储的所有数据，除了表名之外，都以字节数组（ByteArrays）的形式存储。这种存储格式的选择使得HBase能够支持多种数据类型和结构，从简单的文本到复杂的二进制数据。

  4. 列的重复性：

    • 在不同的行中，同一个列可以重复出现，例如列族 CF2 中的列 C1。这种重复性允许存储和检索具有相似结构的数据，同时保持高效的存储和查询性能。

在这里插入图片描述

  • 行键（Row Key）是唯一标识每行数据的键值。它用于在HBase表中快速定位和访问特定行的数据。

  • 列族（Column Family）是逻辑上的分组单元，它可以包含多个列限定符。在这个示例中，数据被组织成两个列族：Column Family 1 和 Column Family 2。

  • 列限定符（Qualifier）是列族中的具体列，用于存储数据的名称或标签。

  • 版本（Version）是指数据在某个时间点上的不同值。HBase允许存储同一行键下同一列限定符的多个版本，每个版本都有一个关联的时间戳（Timestamp），表示数据的写入时间。

11.When to use HBase？

在这里插入图片描述

  • 当数据模式灵活演变而无需严格约束时，适合使用HBase。

    • Invariable schema: When the data schema can evolve flexibly over time without strict constraints, HBase is suitable.

  • 适合处理数百万甚至数十亿行数据的场景，传统数据库可能无法处理。

    • Enough data in millions or billions of rows: Suitable for scenarios that involve handling millions or even billions of rows of data, where traditional databases may struggle.

  • HBase在需要快速随机访问和按键范围扫描数据时表现出色。

    • For random selects and range scans by key: HBase excels in scenarios where fast random access and range scans by key are required.

  • HBase设计用于在廉价硬件上运行，通常至少需要五个节点来形成集群。

    • Sufficient commodity hardware with at least five nodes: HBase is designed to operate on commodity hardware, typically requiring at least five nodes to form a cluster.

12.HBase vs RDBMS

在这里插入图片描述

特点HBaseRDBMS
自动分区Automatic partitioning通常需要手动分区
线性扩展和自动扩展新节点Scales linearly and automatically with new nodes通常通过添加更多硬件资源来垂直扩展
使用廉价硬件Uses commodity hardware依赖昂贵的服务器
具有容错性Has fault tolerance容错性可能存在也可能不存在
利用MapReduce分布式处理Leverages batch processing with MapReduce distributed processing利用多线程或进程而非MapReduce分布式处理

13.Connecting to HBase

在这里插入图片描述
连接到HBase并进行通常操作（如get、scan、put和delete）的一些方式：

  • Java应用程序编程接口（API）：用于通过Java应用程序执行操作，如get、scan、put和delete等。

  • Thrift和REST服务：非Java客户端可以使用这些服务来进行操作。

  • Hive、Pig、HCatalog或Hue：这些工具也可以用来执行操作，特别是通过命令行界面进行管理功能。

14.HBase Shell Commands

在这里插入图片描述
在这里插入图片描述

  1. Create Table: 创建表

    create 'tablename', 'columnfamily1', 'columnfamily2'

    创建一个名为 tablename 的表，并定义列族 columnfamily1 和 columnfamily2。

  2. List Tables: 列出所有表

    list

    列出所有已经存在的表。

  3. Describe Table: 描述表结构

    describe 'tablename'

    显示表 tablename 的结构信息，包括列族和版本信息。

  4. Put Data: 插入数据

    put 'tablename', 'rowkey', 'columnfamily:column', 'value'

    在 tablename 表中的 rowkey 行中插入指定列族和列的值。

  5. Get Data: 获取数据

    get 'tablename', 'rowkey'

    获取指定 tablename 表中 rowkey 行的所有数据。

  6. Scan Table: 扫描表

    scan 'tablename'

    扫描并显示 tablename 表中的所有行和列族。

  7. Delete Data: 删除数据

    delete 'tablename', 'rowkey', 'columnfamily:column', ts

    删除指定 tablename 表中 rowkey 行中指定列族和列的数据，可以指定时间戳 (ts)。

  8. Disable Table: 禁用表

    disable 'tablename'

    禁用 tablename 表，停止对其的写入和读取操作。

  9. Enable Table: 启用表

    enable 'tablename'

    启用 tablename 表，允许对其进行写入和读取操作。

  10. Drop Table: 删除表

    drop 'tablename'

    删除 tablename 表及其所有数据。

整理不易，列位一键三连呀~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1876452.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

手写一个基于SpringBoot的MVC架构，默认实现CRUD和导入导出功能

手写一个基于SpringBoot的MVC架构，默认实现CRUD和导入导出功能

文章目录 前言正文一、项目结构二、技术点三、部分核心代码3.1 core-tool 中的核心代码3.1.1 所有实体的通用父类 SuperEntity3.1.2 所有枚举的父接口 BaseEnum3.1.3 所有业务异常的父接口 BaseException 3.2 mvc-tool 中的核心代码3.2.1 CrudController 接口定义3.2.2 默认的C…
阅读更多...
文心一言 VS 讯飞星火 VS chatgpt （290）-- 算法导论21.3 3题

文心一言 VS 讯飞星火 VS chatgpt （290）-- 算法导论21.3 3题

三、给出一个包含 m 个 MAKE-SET 、UNION 和 FINDSET 操作的序列(其中有 n 个是 MAKE-SET 操作)，当仅使用按秩合并时，需要 Ω(mlgn) 的时间。如果要写代码，请用go语言。 文心一言： 在并查集（Union-Find）数…
阅读更多...
STM32使用PWM驱动WS2812_RGB灯珠

STM32使用PWM驱动WS2812_RGB灯珠

项目场景： 使用STM32标准库产生PWM实现RGB灯珠控制。 芯片型号：stm32f405rgt6 设计优点：不需要使用定时器中断资源，可以使得STM32在驱动RGB灯珠的同时能够执行其他任务。 RGB灯珠简介 项目所使用的RGB灯珠如下所示，封装…
阅读更多...
76. UE5 RPG 实现场景阻挡剔除功能

76. UE5 RPG 实现场景阻挡剔除功能

在俯视角游戏中，我们总会碰到一个问题就是，建筑会遮挡住角色的问题。遇到这种问题有多种解决方案，厂商经常使用的一种方案是，如果角色被遮挡，则使用一种纯色或者增加一些菲涅尔的效果来实现 这种效果我之前在unity内实…
阅读更多...
免费使用文心一言会员教程

免费使用文心一言会员教程

领取&安装链接：Baidu Comate 领取季卡 有图有真相 原理：百度comate使用文心一言最新的4.0模型。百度comate目前免费使用，可以借助comate达到免费使用4.0模型目的。 如何获得 点击「Baidu Comate 领取季卡 -> 领取权益」&#xff0…
阅读更多...
Cesium Model 中的剪裁平面 (ClippingPlane)

Cesium Model 中的剪裁平面 (ClippingPlane)

Cesium Model 中的剪裁平面 (ClippingPlane) 参考: https://www.cnblogs.com/webgl-angela/p/9197672.html Cesium Model 中的剪裁平面 (ClippingPlane) // 相关类: class ClippingPlaneCollection {} class ClippingPlane {}// 剪裁的整体流程: Model.prototype.update () …
阅读更多...
Mathematica训练课（45）-- 一些常用的函数Abs[]，Max[]等函数用法

Mathematica训练课（45）-- 一些常用的函数Abs[]，Max[]等函数用法

①绝对值函数：Abs[]函数 ②最大值和最小值函数 ③反函数
阅读更多...
SAP ATP可用性检查简介

SAP ATP可用性检查简介

Availability Check，就是可用性检查，指的是要检查一下此物料是否能满足我的需求。 接到一张销售订单（SALES ORDER），客户要求数量为100PC，并且客户要求的出货日期是2024-07-01，此时我们的销售人员肯定会想到底能否出货给客人呢？系统中建立此单时，SAP就会做一个所谓的检…
阅读更多...
实验八 T_SQL编程

实验八 T_SQL编程

题目 以电子商务系统数据库ecommerce为例 1、在ecommerce数据库，针对会员表member首先创建一个“呼和浩特地区”会员的视图view_hohhot，然后通过该视图查询来自“呼和浩特”地区的会员信息，用批处理命令语句将问题进行分割，并分…
阅读更多...
17859划分准则小结

17859划分准则小结

17859《划分准则》 发布时间：1999.9.13 实施时间：2001.1.1 计算机信息系统安全保护能力的五个等级： 第一级：用户自主保护级 第二级…
阅读更多...
Java知识点整理 15 — MyBatis框架

Java知识点整理 15 — MyBatis框架

一. 什么是 MyBatis MyBatis 是一款优秀的持久层框架，支持自定义 SQL、存储过程以及高级映射。它免除了几乎所有 JDBC代码以及手动设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（普通老式 Jav…
阅读更多...
人脑网络的多层建模与分析

人脑网络的多层建模与分析

摘要 了解人类大脑的结构及其与功能的关系，对于各种应用至关重要，包括但不限于预防、处理和治疗脑部疾病(如阿尔茨海默病或帕金森病)，以及精神疾病(如精神分裂症)的新方法。结构和功能神经影像学方面的最新进展，以及计算机科学等…
阅读更多...
决定佛蒙特州版图的关键历史事件:

决定佛蒙特州版图的关键历史事件:

​决定佛蒙特州版图的关键历史事件: 1. 早期探险与命名： - 1609年，法国探险家萨缪尔德尚普兰（Samuel de Champlain）到达了现在的佛蒙特州区域，并探索了尚普兰湖（Lake Champlain）。他将周围的山…
阅读更多...
mwwz库添加对多模板匹配的支持：find_shape_models

mwwz库添加对多模板匹配的支持：find_shape_models

多模板匹配的实现只需要对单模板匹配做一些扩展，传入的模板由不同的id表示，在金字塔顶层完成模板的分类，在剩下的金字塔完成对每一类模板的匹配，匹配结果由id标识。测试程序已集成该方法，清除模板后所创建的模板被看作…
阅读更多...
Python基于决策树分类模型、支持向量机分类模型、随机森林分类模型和XGBoost分类模型实现月亮数据标签预测项目实战

Python基于决策树分类模型、支持向量机分类模型、随机森林分类模型和XGBoost分类模型实现月亮数据标签预测项目实战

说明：这是一个机器学习实战项目（附带数据代码文档视频讲解），如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 在探索机器学习算法的性能与适用性时，我们往往需要依赖于精心设计的人工数据集来测试和验证…
阅读更多...
全面对标GPT-4 Turbo，讯飞星火V4.0凭什么？

全面对标GPT-4 Turbo，讯飞星火V4.0凭什么？

大数据产业创新服务媒体 ——聚焦数据 改变商业 自从ChatGPT爆火出圈之后，大模型就走上了发展的快车道。 一方面，大模型技术快速演进，Sora为我们打开了视频生成的想象空间，各大厂商争相打破大模型的“模态墙”，长文本…
阅读更多...
pytest中的极其重要固件（request）的理解

pytest中的极其重要固件（request）的理解

pytest 是一个非常流行的Python测试框架，它为开发人员提供了丰寴的测试工具和功能。 在pytest中，固件（fixture）是一种非常核心的概念，用于设置测试前的预条件，清理测试后的环境，或者提供测试过…
阅读更多...
什么是DEQ?

什么是DEQ?

DEQ (Delivered Ex Quay, Duty Paid) 是指目的港码头交货 (……指定目的港)。 这种术语规定卖方在指定目的港码头将货物交给买方处置，并且不办理进口清关手续。 DEQ适用范围 DEQ术语仅适用于海运、内河运输或多式联运，并且在目的港码头卸货时使用。如…
阅读更多...
RAG 基本流程及处理技巧 with LangChain

RAG 基本流程及处理技巧 with LangChain

LLM 主要存在两个问题：幻想和缺乏领域知识。领域知识缺乏的原因是因为训练 LLM 本身的知识更新慢，对特定领域的知识也没有太细致的输入。 RAG 主要是解决 LLM 缺乏领域知识的问题。底层的逻辑是：把 LLM 作为逻辑推理引擎，而不是信…
阅读更多...
【计算机网络仿真】b站湖科大教书匠思科Packet Tracer——实验10 IPv4地址 — 构造超网（无分类编址）

【计算机网络仿真】b站湖科大教书匠思科Packet Tracer——实验10 IPv4地址 — 构造超网（无分类编址）

一、实验目的 1.加深对构造超网的理解； 二、实验要求 1.使用Cisco Packet Tracer仿真平台； 2.观看B站湖科大教书匠仿真实验视频，完成对应实验。 三、实验内容 1.构建网络拓扑； 2.根据各网络所指定的地址块完成以下工作&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023