数据库管理-第154期 Oracle Vector DB AI-06（20240223）

news2024/11/17 3:27:16

数据库管理154期 2024-02-23

数据库管理-第154期 Oracle Vector DB & AI-06（20240223）
- 1 环境准备
- - 创建表空间及用户
  - TNSNAME配置
- 2 Oracle Vector的DML操作
- - 创建示例表
  - 插入基础数据
  - DML操作
  - - UPDATE操作
    - DELETE操作
- 3 多Vector列表
- 4 固定维度的向量操作
- 5 不同向量格式的表
- 总结

数据库管理-第154期 Oracle Vector DB & AI-06（20240223）

作者：胖头鱼的鱼缸（尹海文）
Oracle ACE Associate: Database（Oracle与MySQL）
网思科技 DBA总监
10年数据库行业经验，现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号，非著名社恐（社交恐怖分子）
公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；墨天轮：胖头鱼的鱼缸；ITPUB：yhw1809。
除授权转载并标明出处外，均为“非法”抄袭。

休息一天，今天继续。

1 环境准备

由于上一期的基本演示是用sys用户执行的，众所周知在生产中不要在任何生产数据放在sys用户和system、sysaux等系统表空间中。为了避免往后有人产生误解，今天重新配置下环境并操作。

创建表空间及用户

create tablespace vector_tbs datafile size 500m autoextend on next 500m maxsize unlimited;
create user vector identified by vector account unlock;
grant DB_DEVELOPER_ROLE to vector;
alter user vector default tablespace vector_tbs quota unlimited on vector_tbs;

后续操作都将在orclpdb1中的vector用户执行，数据将存放在vector_tbs表空间中。

TNSNAME配置

/u01/app/oracle/product/23.0.0/dbhome_1/network/admin/tnsnames.ora
# 添加以下内容
ORCLPDB1 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = oradb23c)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orclpdb1)
    )
  )

sqlplus vector/vector@orclpdb1

2 Oracle Vector的DML操作

创建示例表

CREATE TABLE IF NOT EXISTS t1
   ( id           NUMBER PRIMARY KEY,
     name         VARCHAR2(32),
     v1           VECTOR
   );

DESC t1;

插入基础数据

INSERT INTO t1 VALUES (1, 'A', '[1.1]'),
                      (2, 'B', '[2.2]'),
                      (3, 'C', '[3.3]'),
                      (4, 'D', '[4.4]'),
                      (5, 'E', '[5.5]');

commit；

SELECT * FROM t1;

DML操作

UPDATE操作

UPDATE t1 SET v1 = '[2.9]' WHERE id = 2;

commit;

SELECT * FROM t1 WHERE id = 2;

DELETE操作

DELETE FROM  t1 WHERE id IN (1, 3);

commit;

SELECT * FROM t1;

3 多Vector列表

在Oracle Vector DB中，一张表可以拥有多个vector数据类型的列，可以满足更多的应用场景。

CREATE TABLE IF NOT EXISTS t2
       ( id           NUMBER NOT NULL,
         name         VARCHAR2(32),
         v1           VECTOR,
         v2           VECTOR,
         v3           VECTOR,
                      PRIMARY KEY (id)
       );

DESC t2;

INSERT INTO t2 VALUES
       (1,
        'One',
        '[2.3, 4.5, 0.1]',
        '[1.3]',
        '[4.981, -6.3]'
       );

commit;

SELECT * FROM t2;

4 固定维度的向量操作

VECTOR (<optional NUM of dimensions>, <optional format for dimension values>)
维度值的类型可以是FLOAT32, FLOAT64, 或者 INT8

之前介绍vector数据类型的时候，有向量维度数量和向量维度精度两个可选配置内容，Oracle Vector DB支持64K个向量维度，而且当向量维度数量配置之后，这个数量将作为一个check约束。下面是一些AI模型中vector embeddings的维度数量：

OpenAI text-embedding-ada-002 = 1536 dimensions
Cohere Embed-English-v2.0 = 4096 dimensions
Cohere Embed-English-Light-v2.0 = 1024 dimensions
Cohere Embed-Multilingual-v2.0 = 768 dimensions
open-source all-MiniLM-L6-v2 = 384 dimensions

CREATE TABLE IF NOT EXISTS t3
              ( v   VECTOR(3, FLOAT32) );

DESC t3;

INSERT INTO t3 VALUES ('[1.1, 2.2, 3.3]');
INSERT INTO t3 VALUES ('[1.2, 2.3, 3.4]');
INSERT INTO t3 VALUES ('[1.2, 2.3, 3.4]');
INSERT INTO t3 VALUES ('[1.3]');
INSERT INTO t3 VALUES ('[1.3, 2.4, 3.5, 4.1]');
INSERT INTO t3 VALUES ('[1.4, 2.5, a]');

这里前三条数据可以正常插入：

后三条数据因为向量维度数量约束限制插入失败：

5 不同向量格式的表

既然Oracle Vector DB支持有多个Vector数据类型的表，那么每个Vector列的配置格式也是可以不同的。

CREATE TABLE IF NOT EXISTS t4
         ( v1        VECTOR(3, float32),
           v2        VECTOR(2, float64),
           v3        VECTOR(1, int8),
           v4        VECTOR(1, *),
           v5        VECTOR(*, float32),
           v6        VECTOR(*, *),
           v7        VECTOR
         );

DESC t4;

INSERT INTO t4 VALUES ('[1.1, 2.2, 3.3]',
                       '[1.1, 2.2]',
                       '[7]',
                       '[9]',
                       '[1.1, 2.2, 3.3, 4.4, 5.5]',
                       '[1.1, 2.2]',
                       '[1.1, 2.2, 3.3, 4.4, 5.5, 6.6]'
                      );

commit;

select * from t4;