再聊一下那 SQLSERVER 行不能跨页的事

news2024/11/15 16:57:59

一：背景

1. 讲故事

上一篇写完了之后，马上就有朋友留言对记录行的 8060byte 限制的疑惑，因为他的表记录存储了大量的文章，存储文章的字段类型用的是 nvarchar(max)，长度很显然是超过 8060byte 的，请问这个底层是怎么破掉 8060byte 的限制的?

说实话这是一个好问题，本质上来说 8060byte 的限制肯定是不能破掉的，如果让我处理的话肯定是将文章的数据分摊在多个数据页上, 那是不是如我所想呢？ 我们观察一下就好。

二：观察大字段数据的布局

1. 对 nvarchar(max) 的理解

玩过 sqlserver 的朋友都知道，新一代的 sqlserver 版本已经用 varchar(max) 和 nvarchar(max) 替代了早期的 text 和 ntext，理论上这种类型最大可存储 2 的 31 次方 - 1， 大概就是 2G，接下来我们像 nvarchar(max) 插入 1w 个字符，大概 20k 的数据，向上取整的话应该会用 3 个数据页来承载，测试代码如下：


USE MyTestDB
GO
CREATE TABLE t7 (a INT IDENTITY, b NVARCHAR(MAX))
GO

INSERT INTO t7 VALUES(REPLICATE(CAST( 'x' AS NVARCHAR(max)),10000))

SELECT LEN(b) FROM t7;

DBCC TRACEON(3604)
DBCC IND(MyTestDB,t7,-1)

从图中看居然有 4 个数据页，这就很奇怪了，等一会我们再解惑，先来简单看一下，一个是 In-row data，也叫做行内数据，是一个普通数据页，三个是 LOB data ，即大值数据（ Large Object Data ），这是一种专门的LOB数据页，看样子这 1w 个 x 应该是分摊到这 3 个 LOB data 数据页上，是不是这样我们用 DBCC PAGE 把四个数据页的内容导出来看一看便知。


PAGE: (1:464)

Page @0x00000175CBB46000

m_pageId = (1:464)                  m_headerVersion = 1                 m_type = 1
m_typeFlagBits = 0x0                m_level = 0                         m_flagBits = 0x8000
m_objId (AllocUnitId.idObj) = 202   m_indexId (AllocUnitId.idInd) = 256 
Metadata: AllocUnitId = 72057594051166208                                
Metadata: PartitionId = 72057594044022784                                Metadata: IndexId = 0
Metadata: ObjectId = 1637580872     m_prevPage = (0:0)                  m_nextPage = (0:0)
pminlen = 8                         m_slotCnt = 1                       m_freeCnt = 8031
m_freeData = 159                    m_reservedCnt = 0                   m_lsn = (38:2936:61)
m_xactReserved = 0                  m_xdesId = (0:0)                    m_ghostRecCnt = 0
m_tornBits = 0                      DB Frag ID = 1        

DATA:

000000482E3F8000:   01010000 00800001 00000000 00000800 00000000  ....................
000000482E3F8014:   00000100 ca000000 5f1f9f00 d0010000 01000000  ........_...........
...
000000482E3F808C:   01000001 00000020 4e0000c8 01000001 00000000  ....... N...........
000000482E3F80A0:   00007800 78007800 78007800 78007800 78007800  ..x.x.x.x.x.x.x.x.x.
000000482E3F80B4:   78007800 78007800 78007800 78007800 78007800  x.x.x.x.x.x.x.x.x.x.
...
000000482E3F9FCC:   78007800 78007800 78000000 21212121 21212121  x.x.x.x.x...!!!!!!!!
000000482E3F9FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000482E3F9FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

OFFSET TABLE:

Row - Offset                        
0 (0x0) - 96 (0x60)   


PAGE: (1:456)
DATA:
Memory Dump @0x00000048355F8000

000000483A478000:   01030000 00800001 00000000 00000000 00000000  ....................
000000483A478014:   00000100 cb000000 4010be0f c8010000 01000000  ........@...........
000000483A478028:   26000000 780b0000 24000000 00000000 00000000  &...x...$...........
000000483A47803C:   00000000 01000000 00000000 00000000 00000000  ....................
000000483A478050:   00000000 00000000 00000000 00000000 08005e0f  ..................^.
000000483A478064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
...
000000483A479FA4:   00780078 00780078 00780000 00626262 62626262  .x.x.x.x.x...bbbbbbb
000000483A479FB8:   62626262 62626262 62626262 62626262 62626262  bbbbbbbbbbbbbbbbbbbb
000000483A479FCC:   62626262 62626262 62626262 62020000 00002121  bbbbbbbbbbbbb.....!!
000000483A479FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483A479FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

PAGE: (1:457)
DATA:
Memory Dump @0x000000483BA78000

000000483BA78000:   01030000 00800001 00000000 00000000 00000000  ....................
000000483BA78014:   00000100 cb000000 2800d61f c9010000 01000000  ........(...........
...
000000482EDF8050:   00000000 00000000 00000000 00000000 0800761f  ..................v.
000000482EDF8064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
000000483BA79FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

PAGE: (1:458)
DATA:
Memory Dump @0x000000483BA78000
...
000000483BA78050:   00000000 00000000 00000000 00000000 0800761f  ..................v.
000000483BA78064:   0000f306 00000000 03007800 78007800 78007800  ..........x.x.x.x.x.
...
000000483BA79FCC:   78007800 78007800 78000000 21212121 21212121  x.x.x.x.x...!!!!!!!!
000000483BA79FE0:   21212121 21212121 21212121 21212121 21212121  !!!!!!!!!!!!!!!!!!!!
000000483BA79FF4:   21212121 21212121 21216000                    !!!!!!!!!!`.

我相信有很多朋友很奇怪，为什么 464 号 数据页也有大量的 x， 其实这些 x 算是垃圾数据，可以从 m_freeCnt = 8031 上便知，这个字段表示当前数据页的 Free 空间，所以那 1w 个 x 都被 LOB 数据页吃掉了，这和文章开头的推测是一致的。

到这里算是解决了朋友的这个疑问，但你如果想打破沙锅问到底的话，肯定想知道这 4 个数据页在 内存中是如何组织的，或者说如何串联的？ 接下来我们好好聊一聊。

2. 4 个数据页是如何组织的

观察 464号 数据页是如何与 LOB 数据页 发生关系的？这个就考验基础知识了，在真正的行数据之前记录了一个 FID : PID : SID 的内存存储，即：文件ID : 数据页ID : 槽位ID，可以用 WinDbg 来观察。


0:125> dp 000000482E3F8000+0x60+0x7
00000048`2e3f8067  803f0001`78000200 00000001`35000004
00000048`2e3f8077  00001f68`000006f3 00000001`000001c9
00000048`2e3f8087  000001ca`00003ed0 00004e20`00000001
00000048`2e3f8097  00000001`000001c8 78007800`78000000
00000048`2e3f80a7  78007800`78007800 78007800`78007800
00000048`2e3f80b7  78007800`78007800 78007800`78007800
00000048`2e3f80c7  78007800`78007800 78007800`78007800
00000048`2e3f80d7  78007800`78007800 78007800`78007800

简单解释一下： 000000482E3F8000 是数据页在内存中的首地址， 000000482E3F8000+0x60 是数据页内第一个记录的地址，再加上 +0x7 是为了内存地址对齐。

仔细观察内存地址 000000482e3f8097 上的内容是 00000001 000001c8，它就对应着 SID (2byte), FID (2byte) ,PID (4byte) ，那 PID=0x000001c8 是多少呢？可以用 WinDbg 算一下是 456 号 数据页。


0:125> ? 0x1c8
Evaluate expression: 456 = 00000000`000001c8

按照这个理论继续往前看内存地址，你会发现 00000001000001c9 和 00000001000001ca，对应着 457 号数据页 和 458 号数据页。

到这里脑子里就有了一张图，大概像下面这样。

三：总结

经过本篇的分析，大家知道了 SQLSERVER 会用专门的 LOB数据页 来存储这些大字段，由于数据被拆分到多个数据页上，这让 select 操作多了更多的逻辑，也会造成 C++ 代码多次在 LOB 数据页上游走，给查询性能增加了巨大的开销。

比如下面的 SQL 查询。


SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

可以发现在 LOB 数据页上游走了 7 次，再加 2 条数据观察下。


INSERT INTO t7 VALUES(REPLICATE(CAST( 'y' AS NVARCHAR(max)),10000))
INSERT INTO t7 VALUES(REPLICATE(CAST( 'z' AS NVARCHAR(max)),10000))

SET STATISTICS IO ON
SELECT * FROM t7;
SET STATISTICS IO OFF

这次由 7 次变成了 23 次，总的来说还是尽量不要将大字段存放在数据库吧。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/132847.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

win10搭建 IIS 服务器

win10搭建 IIS 服务器

第一步: 打开程序和功能 找到 Internet 这个 勾选web管理工具和万维网服务 第二步: 在本地电脑创建一个文件夹(不要有中文空格等特殊字符) index.html 是默认访问的网址 第三步 关联访问的链接 选择本地物理路径 访问测试 第四步 修改绑定端口 第五步 修改防火墙 …
阅读更多...
Linux | 文件操作的系统调用 open() read() write()

Linux | 文件操作的系统调用 open() read() write()

1. 基本含义辨析 文件操作的系统调用 open read write close （系统调用：实现在内核中【用户态->内核态】—“陷入内核”） man： 1 命令 2 系统调用 3 库函数 C操作文件的库函数 fopen fread fwrite fclose （fo…
阅读更多...
一个有意思的图片鼠标切换

一个有意思的图片鼠标切换

做淘宝活动页面的时候，用到最多的就是锚点，一个图片标签，然后不断地在上面画热区。不过我想问的是有多少人研究过，用矩形画热点，四个坐标值各自表示的含义，还有它和background-position有什么相同或相似的地…
阅读更多...
JavaWeb：RequestResponse的概述

JavaWeb：RequestResponse的概述

1，Request和Response的概述 Request是请求对象，Response是响应对象。 这两个对象在我们使用Servlet的时候有看到： 此时，我们就需要思考一个问题request和response这两个参数的作用是什么？ request：获取请…
阅读更多...
RapidUp: Multi-Domain Permutation Protocol for Lookup Tables学习笔记

RapidUp: Multi-Domain Permutation Protocol for Lookup Tables学习笔记

1. 引言 前序博客有： PLOOKUPPLOOKUP代码解析Efficient polynomial commitment schemes for multiple points and polynomials学习笔记PLONK PLOOKUPPlonKup: Reconciling PlonK with plookupPLONK: permutations over lagrange-bases for oecumenical nonintera…
阅读更多...
2022年就要过去了，我的这份成绩单请您查收……

2022年就要过去了，我的这份成绩单请您查收……

喜迎元旦岁月不居，时节如流年关交迭在即在2022行将尾声的此时想静静地坐下片刻和关注了云和恩墨这么久的老朋友们细数一遍这光阴里的纷纷呈呈这一年，充满了挑战与艰辛但所有努力和守望终有结果收成这一年，我们全心投入产品研发收获了更多的荣…
阅读更多...
【隔离器使用说明】光隔、磁隔、容隔三兄弟介绍

【隔离器使用说明】光隔、磁隔、容隔三兄弟介绍

文章目录前言一、三种常用隔离技术1. 光隔离2. 变压器隔离/磁隔3. 电容隔离二、隔离器重要指标1. 隔离电压值2. 爬电距离3. 共模瞬变抗扰度CMTI三、隔离器性能对比总结前言 本文简单介绍常用隔离器的类型和特点，是根据网络知识整理出来的 有错误的话请一定评论留言…
阅读更多...
谈谈SpringBoot

谈谈SpringBoot

1. Spring Boot 简介 简化Spring应用开发的一个框架； 整个Spring技术栈的一个大整合； J2EE开发的一站式解决方案； 2. HelloWorld 功能：浏览器发送hello请求，服务器接受请求并处理，响应Hello World字符串&a…
阅读更多...
UE5笔记【十五】漂流者游戏制作【二】雕刻一个峡谷+增加水体

UE5笔记【十五】漂流者游戏制作【二】雕刻一个峡谷+增加水体

雕刻峡谷 我们希望角色从一个峡谷中开始。 用上一节中，我们配置的Auto图层，雕刻两条山脉，从而雕刻出一条峡谷。然后切换到选择模式下。我们找到PlayStart，然后将其移动到峡谷中， 然后按F切换到角色位置，调…
阅读更多...
【C++基础】09：STL（一）

【C++基础】09：STL（一）

STL（一） OVERVIEWSTL（一）一、STL初识1.STL六大组件：2.容器&迭代器：二、STLGroup11.string容器：（1）基本概念：（2）string构造函数&am…
阅读更多...
前端性能优化（三）：代码优化

前端性能优化（三）：代码优化

目录 一：JS开销以及如何缩短解析时间 二：配合V8有效优化代码 2.1.抽象语法树 2.2.V8优化机制 三：函数优化 四：对象优化 4.1.以相同顺序初始化对象成员，避免隐藏类的调整 4.2.实例化后避免添加新属性 4.3.尽量…
阅读更多...
数学建模经验分享

数学建模经验分享

今天给大家分享一期关于数学建模比赛的经验分享，我将从以下三个方面展开说明： （1）如何准备数学建模比赛？ （2）如何选择合适的赛题进行建模？ （3）如何提高获奖…
阅读更多...
辉哥带你学hive第三讲

辉哥带你学hive第三讲

文章目录 1.函数1.1系统内置函数1.2 单行函数1.2.1 算术运算函数1.2.2字符串函数1.2.3 日期函数1.2.4 流程控制函数1.2.5集合函数1.3高级聚合函数1.函数 1.1系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function up…
阅读更多...
机器学习HW10对抗性攻击

机器学习HW10对抗性攻击

机器学习HW10对抗性攻击一、任务描述二、算法1、FGSM2、I-FGSM3、MI-FGSM4、多种输入（DIM）评估指标三、实验1、Simple Baseline2、Medium Baseline3、Strong Baseline4、Boss Baseline一、任务描述 我们使用pytorchcv来获得CIFAR-10预训练模型&#xff…
阅读更多...
STP基础

STP基础

名词： STP（Spanning Tree Protocol）生成树协议：运行STP协议的设备通过彼此交互信息发现网络中的环路，并有选择地对某个接口进行阻塞，最终将有环路的网络结构修剪成无环路的树形结构，从而防止报…
阅读更多...
ENVI_IDL：对于书写和创建GEOTIFF结构体?

ENVI_IDL：对于书写和创建GEOTIFF结构体?

大家在使用WRITE_TIFF函数和READ_TIFF函数的时候，应该遇见过GEOTIFF参数。 但是我对于这个参数却是了解不深，趁着这次学习梳理一下GEOTIFF参数. 在学习之前，我发现IDL教程并没有提供关于GEOTIFF的示例，所以我尝试使用READ_TIFF函…
阅读更多...
[Kettle] CSV文件输入

[Kettle] CSV文件输入

CSV(Comma-Separated Values)文件是以字符(大多数使用逗号,)分隔值，以纯文本形式存储数据的文件 数据源 语文成绩(kettle数据集1).csv https://download.csdn.net/download/Hudas/87356192?spm1001.2014.3001.5501 1.建立【CSV文件输入】转换工程 使用Ctrl N快…
阅读更多...
如何将PDF转换为Excel？免费PDF转Excel方法分享

如何将PDF转换为Excel？免费PDF转Excel方法分享

如何免费将PDF转换为Excel 像将文件转换为电子表格这样简单的事情应该不会那么困难。PDF已成为共享文档的标准格式，那么当您需要将PDF作为电子表格时，如何将PDF转换为Excel？ 一些网站可以免费将PDF转换为Excel，尽管涉及一些联系…
阅读更多...
力扣sql入门篇(五)

力扣sql入门篇(五)

力扣sql入门篇(五) 1 组合两个表 1.1 题目内容 1.1.1 基本题目信息 1.1.2 示例输入输出 1.2 示例sql语句 SELECT firstname,lastname,IFNULL(city,null) city,IFNULL(state,null) state FROM Person p LEFT JOIN Address a ON p.personida.personid;1.3 运行截图 2 进店却未…
阅读更多...
网络原理3 IP地址

网络原理3 IP地址

网络原理3 IP地址 文章目录网络原理3 IP地址IP协议的报文格式IP地址的具体规则IP地址的组成子网掩码特殊的IP地址IP地址短缺的解决方法动态分配IP地址NAT机制[主流机制]IPv6路由选择网络层中主要做的事情是在两点之间规划出一个合理的路径，同时也要对主机所处的位置…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023