精通MongoDB聚合操作API：深入探索高级技巧与实践

news2024/11/19 8:28:31

在这里插入图片描述

MongoDB 聚合操作API提供了强大的数据处理能力，能够对数据进行筛选、变换、分组、统计等复杂操作。本文介绍了MongoDB的基本用法和高级用法，高级用法涵盖了setWindowFields、merge、facet、expr、accumulator窗口函数、结果合并、多面聚合、查询表达式在聚合中的使用以及自定义聚合操作，基本用法涵盖了match、project、group、sort、limit、skip、unwind、lookup、graphLookup、sample、bucket等。

一、基本用法：

1. $match：筛选文档

作用：根据指定的查询条件过滤输入文档。

语法：

{ $match: { <query> } }

示例：筛选年龄大于等于30的用户文档：

db.users.aggregate([
  { $match: { age: { $gte: 30 } } }
]);

2. $project：重塑文档

作用：指定输出文档的字段及内容，可以包括添加新字段、重命名字段、删除字段、计算表达式等。

语法：

{ $project: { <field1>: <1 or 0>, <field2>: <1 or 0>, ... } }

示例：只输出用户姓名和年龄，不包含其他字段：

db.users.aggregate([
  { $project: { name: 1, age: 1, _id: 0 } } // _id: 0 表示不包含_id字段
]);

3. $group：分组并计算

作用：根据指定的键（通常是一个字段）对文档进行分组，并对每个组应用聚合函数（如计数、求和、平均值等）。

语法：

{ $group: { _id: <expression>, <field1>: { <accumulator1>: <expression1> }, ... } }

示例：按年龄分组，统计每个年龄段的用户数量：

db.users.aggregate([
  { $group: { _id: "$age", count: { $sum: 1 } } }
]);

4. $sort：排序文档

作用：对输入文档进行排序。

语法：

{ $sort: { <field1>: <1 or -1>, <field2>: <1 or -1>, ... } }

示例：按年龄降序排序用户：

db.users.aggregate([
  { $sort: { age: -1 } }
]);

5. $limit：限制输出文档数量

作用：限制输出结果集的最大文档数。

语法：

{ $limit: <number> }

示例：只返回前5个用户：

db.users.aggregate([
  { $limit: 5 }
]);

6. $skip：跳过指定数量的文档

作用：跳过指定数量的文档，返回剩余文档。

语法：

{ $skip: <number> }

示例：跳过前10个用户，返回剩下的用户：

db.users.aggregate([
  { $skip: 10 }
]);

7. $unwind：展开数组字段

作用：将文档中某个数组字段的每个元素拆分为独立文档。

语法：

{ $unwind: "<field>" }

示例：假设每个用户有多项技能，将技能数组拆分为独立文档：

db.users.aggregate([
  { $unwind: "$skills" }
]);

8. $lookup：联接其他集合

作用：执行类似于关系型数据库的左外部联接操作，将来自不同集合的数据合并到一个结果集中。

语法：

{ $lookup: {
  from: "<collection to join>",
  localField: "<field from the input documents>",
  foreignField: "<field from the documents of the 'from' collection>",
  as: "<output array field>"
} }

示例：假设有一个 orders 集合，联接用户和他们的订单：

db.users.aggregate([
  { $lookup: {
    from: "orders",
    localField: "_id",
    foreignField: "userId",
    as: "orders"
  } }
]);

9. $graphLookup：深度查询关联文档

作用：在集合中递归地查询与当前文档相关的文档，构建层次结构或图状结构。

语法：

{ $graphLookup: {
  from: "<collection to search>",
  startWith: "<expression>",
  connectFromField: "<field in the 'from' collection>",
  connectToField: "<field in the input documents>",
  as: "<output array field>",
  maxDepth: <number>,
  depthField: "<output field>",
  restrictSearchWithMatch: { <query> }
} }

示例：假设有一个 departments 集合，每个部门可能有上级部门，构建部门间的层级关系：

db.departments.aggregate([
  { $graphLookup: {
    from: "departments",
    startWith: "$parentDepartmentId",
    connectFromField: "parentDepartmentId",
    connectToField: "_id",
    as: "ancestors",
    maxDepth: 10,
    depthField: "level"
  } }
]);

10. $sample：随机采样文档

作用：从输入文档中随机选取指定数量的文档。

语法：

{ $sample: { size: <number> } }

示例：随机选取10个用户：

db.users.aggregate([
  { $sample: { size: 10 } }
]);

11. $bucket：桶式分组

作用：根据指定的范围边界将数据划分为桶（区间），并对每个桶进行统计或聚合操作。

语法：

{ $bucket: {
  groupBy: "<expression>",
  boundaries: [ <value1>, <value2>, ... ],
  default: <output document>,
  output: {
    <field1>: { <accumulator1>: <expression1> },
    <field2>: { <accumulator2>: <expression2> },
    ...
  }
} }

示例：将用户年龄分为几个区间，并统计每个区间的用户数量：

db.users.aggregate([
  { $bucket: {
    groupBy: "$age",
    boundaries: [ 18, 25, 30, 40, 50 ],
    default: "other",
    output: { count: { $sum: 1 } }
  } }
]);

12. $bucketAuto：自动桶式分组

作用：根据数据分布自动划分桶（区间），并进行统计或聚合操作。

语法：

{ $bucketAuto: {
  groupBy: "<expression>",
  buckets: <number>,
  granularity: "<string>",
  output: {
    <field1>: { <accumulator1>: <expression1> },
    <field2>: { <accumulator2>: <expression2> },
    ...
  }
} }

示例：自动将用户年龄分为若干区间，并统计每个区间的用户数量：

db.users.aggregate([
  { $bucketAuto: {
    groupBy: "$age",
    buckets: 5,
    output: { count: { $sum: 1 } }
  } }
]);

以上就是MongoDB聚合操作API的全面解析以及示例，涵盖了主要的聚合阶段。实际使用时，可以根据具体需求组合这些阶段，构建复杂的数据分析管道。注意，聚合管道的执行顺序是从左到右，先执行 $match 这样的筛选阶段通常可以提高性能。

MongoDB 聚合框架除了提供基本的聚合操作外，还支持一些高级操作，用于处理更复杂的数据分析场景。以下是对这些高级聚合操作API的全面解析以及示例：

二、高级用法：

1. $setWindowFields：窗口函数

作用：在一组相邻文档（称为窗口）上执行计算，每个文档的结果依赖于窗口内的其他文档。支持多种窗口函数，如排名、累加、移动平均、分组统计等。

语法：

{ $setWindowFields: {
  partitionBy: <expression>,
  sortBy: { <field1>: <1 or -1>, <field2>: <1 or -1>, ... },
  output: {
    <field1>: { <windowFunction1>: { ... } },
    <field2>: { <windowFunction2>: { ... } },
    ...
  }
} }

示例：计算每个用户的连续订单编号、订单总金额及订单数量：

db.orders.aggregate([
  { $setWindowFields: {
    partitionBy: "$userId",
    sortBy: { orderDate: 1 },
    output: {
      consecutiveOrderNumber: { $denseRank: {} },
      cumulativeTotalAmount: { $sum: "$amount", window: { documents: ["unbounded", "current"] } },
      orderCountInLast3Days: {
        $count: {},
        window: { range: [-3, "current"], unit: "day", timezone: "America/New_York" }
      }
    }
  } }
]);

2. $merge：合并结果到集合

作用：将聚合管道的结果合并到另一个集合中，支持插入、更新、替换等多种合并策略。

语法：

{ $merge: {
  into: "<collection>",
  on: <field or array of fields>,
  whenMatched: "<mergeMode>",
  whenNotMatched: "<mergeMode>",
  let: { <var1>: <expression1>, <var2>: <expression2>, ... },
  pipeline: [ <stage1>, <stage2>, ... ]
} }

示例：将按年龄分组统计的用户数量结果合并到 userCounts 集合中，存在则更新，不存在则插入：

db.users.aggregate([
  { $group: { _id: "$age", count: { $sum: 1 } } },
  { $merge: {
    into: "userCounts",
    on: "_id",
    whenMatched: "replace",
    whenNotMatched: "insert"
  } }
]);

3. $facet：多面聚合

作用：在一个阶段内执行多个聚合管道，每个管道可以有不同的阶段和输出字段，最终结果将所有子聚合的输出合并到一个文档中。

语法：

{ $facet: {
  <outputField1>: [ <stage1>, <stage2>, ... ],
  <outputField2>: [ <stage3>, <stage4>, ... ],
  ...
} }

示例：同时计算年龄大于等于30和小于30的用户数量：

db.users.aggregate([
  { $facet: {
    "over30": [
      { $match: { age: { $gte: 30 } } },
      { $count: "count" }
    ],
    "under30": [
      { $match: { age: { $lt: 30 } } },
      { $count: "count" }
    ]
  } }
]);

4. $expr：在聚合表达式中使用查询运算符

作用：在聚合操作（如 $match、$project、$redact 等）中使用查询表达式，允许在聚合管道中使用查询操作符。

语法：

{ $match: { $expr: { <query operator expression> } } }

示例：查找年龄比其所在部门平均年龄大的用户：

db.users.aggregate([
  {
    $lookup: {
      from: "departments",
      localField: "departmentId",
      foreignField: "_id",
      as: "department"
    }
  },
  {
    $unwind: "$department"
  },
  {
    $match: {
      $expr: {
        $gt: ["$age", { $avg: "$department.ages" }]
      }
    }
  }
]);

5. $accumulator：自定义聚合操作

作用：允许定义自己的聚合操作（自定义累加器），用于在 $group 阶段执行特定的计算。

语法：

db.createAggregateAccumulator(
  "<accumulatorName>",
  "<javascriptCode>",
  { finalize: "<javascriptCode>", lang: "<language>" }
)

// 在聚合管道中使用自定义累加器
{ $group: { _id: "$category", customValue: { $accumulator: "<accumulatorName>" } } }

示例：创建一个自定义累加器，计算文档数组中每个元素的平方和：

db.createAggregateAccumulator(
  "squareSum",
  "function(values) { return values.reduce((acc, val) => acc + Math.pow(val, 2), 0); }",
  { lang: "js" }
)

// 在聚合管道中使用自定义累加器
db.items.aggregate([
  { $group: { _id: "$category", squareSum: { $accumulator: "squareSum", initialValue: [], accumulateArgs: ["$itemValues"] } } }
]);

以上就是MongoDB聚合高级操作API的全面解析以及示例，涵盖了窗口函数、结果合并、多面聚合、查询表达式在聚合中的使用以及自定义聚合操作。这些高级操作极大地扩展了聚合框架的功能，使其能够应对更复杂的数据分析需求。在实际使用时，应根据具体业务场景灵活运用这些高级操作，构建高效、精确的聚合管道。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1610206.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

动态库静态库linux

动态库静态库linux

动态库静态库 静态库 静态库必须包含在可执行文件里&#xff0c;整个都要包含 缺点&#xff1a;消耗系统大&#xff0c;每个使用静态库的程序都要复制静态库&#xff08;浪费内存&#xff09; 影响使用场景&#xff1a; 在静态库内存小的时候&#xff0c;可以用来提升速度 制…
阅读更多...
Linux（CentOS7）离线使用安装盘部署Telnet

Linux（CentOS7）离线使用安装盘部署Telnet

# [pdf在线免费转word文档](https://orcc.online/pdf) https://orcc.online/pdf 挂载镜像CentOS-7-x86_64-DVD-1810.iso到/mnt下&#xff08;其他位置也行&#xff09;&#xff0c;命令如下&#xff1a; mount /dev/sr0 /mnt 安装包默认在Packages目录下&#xff0c;需要安装…
阅读更多...
【QT进阶】Qt Web混合编程之CMake VS2019编译并使用QCefView（图文并茂超详细版本）

【QT进阶】Qt Web混合编程之CMake VS2019编译并使用QCefView（图文并茂超详细版本）

往期回顾 【QT进阶】Qt Web混合编程之CEF、QCefView简单介绍-CSDN博客 【QT进阶】Qt Web混合编程之VS2019 CEF的编译与使用&#xff08;图文并茂超详细介绍&#xff09;-CSDN博客【QT进阶】Qt Web混合编程之QWebEngineView基本用法-CSDN博客【QT进阶】Qt Web混合编程之VS2019 C…
阅读更多...
AI生图美学在淘宝的实践应用

AI生图美学在淘宝的实践应用

本文介绍了如何制定和应用美学标准来评估和改善人工智能生成的图像质量&#xff0c;特别是在电商领域的应用&#xff0c;主要分为制定美学标准、训练美学模型、应用美学模型、升级淘宝风格模型四个步骤。 美学的定义与分析 图像质量标准&#xff1a;现代设计框架下&#xff0c;…
阅读更多...
类和对象【二】this指针，构造函数和成员初始化列表【超详细】

类和对象【二】this指针，构造函数和成员初始化列表【超详细】

文章目录 this指针this指针的定义this指针的“工作”原理this指针的作用this指针的特点 构造函数构造函数的定义构造函数的作用构造函数的特点构造函数的调用方式括号法无参构造或者全缺省构造需要传参才能调用的构造函数 隐式类型转换法是只传一个参数就能调用的构造函数是要传…
阅读更多...
HCIE-Shell实验1

HCIE-Shell实验1

要求&#xff1a; 判断当前磁盘剩余空间是否有20G&#xff0c;如果小于20G&#xff0c;则将报警邮件发送给管理员&#xff0c;每天检查一次磁盘剩余空间。判断web服务是否运行(1、査看进程的方式判断该程序是否运行&#xff0c;2、通过查看端口的方式判断该程序是否运行)&…
阅读更多...
大模型应用开发基础

大模型应用开发基础

AGI 时代&#xff0c;AI 无处不在&#xff0c;形成新的社会分层&#xff1a; AI 使用者&#xff0c;使用别人开发的 AI 产品AI 产品开发者&#xff0c;设计和开发 AI 产品基础模型相关&#xff0c;训练基础大模型&#xff0c;或为大模型提供基础设施 越向下层&#xff0c;重要…
阅读更多...
Leetcode-168.Excel表列名称

Leetcode-168.Excel表列名称

题目描述 给你一个整数 columnNumber &#xff0c;返回它在 Excel 表中相对应的列名称。 例如&#xff1a; A -> 1 B -> 2 C -> 3 ... Z -> 26 AA -> 27 AB -> 28 ...示例 1&#xff1a; 输入&#xff1a;columnNumber 1 输出&#xff1a;"A"…
阅读更多...
ROS2学习笔记（一） 基本概念

ROS2学习笔记（一） 基本概念

1. Node 节点 节点: 完成具体功能的模块 相关命令 #运行命令 ros2 run <package_name> <executable_name>#当前节点查询查询 ros2 node list#重映射　Remapping ros2 run <package_name> <executable_name> --ros-args --remap __node:<node_na…
阅读更多...
揭开ChatGPT面纱（一）：准备工作（搭建开发环境运行OpenAI Demo）

揭开ChatGPT面纱（一）：准备工作（搭建开发环境运行OpenAI Demo）

文章目录 序言&#xff1a;探索人工智能的新篇章一、搭建开发环境二、编写并运行demo1.代码2.解析3.执行结果 本博客的gitlab仓库&#xff1a;地址&#xff0c;本博客对应01文件夹。 序言&#xff1a;探索人工智能的新篇章 随着人工智能技术的飞速发展&#xff0c;ChatGPT作为…
阅读更多...
虚拟ip地址怎么弄到手机上

虚拟ip地址怎么弄到手机上

在当下的社会&#xff0c;手机已经变得至关重要&#xff0c;它融入了我们的日常生活&#xff0c;无论是上网冲浪、社交互动&#xff0c;还是工作学习&#xff0c;都离不开它。但有时候&#xff0c;由于某些限制&#xff0c;我们可能无法充分享受网络带来的便利。这时&#xff0…
阅读更多...
《苍穹外卖》Day02部分知识点记录

《苍穹外卖》Day02部分知识点记录

一、属性的拷贝以及密码的加密 使用org.springframework.beans中的BeanUtils.copyProperties()方法时&#xff0c;二者的属性名必须要一致。 /*** 新增员工* param employeeDTO*/Overridepublic void save(EmployeeDTO employeeDTO) {Employee employee new Employee();// 对…
阅读更多...
spring webflux 小结

spring webflux 小结

一、WebFlux 简介 WebFlux 是 Spring Framework5.0 中引入的一种新的反应式Web框架。通过Reactor项目实现Reactive Streams规范&#xff0c;完全异步和非阻塞框架。本身不会加快程序执行速度&#xff0c;但在高并发情况下借助异步IO能够以少量而稳定的线程处理更高的吞吐&…
阅读更多...
COIN++: Neural Compression Across Modalities 论文阅读笔记

COIN++: Neural Compression Across Modalities 论文阅读笔记

1. 论文基本信息 发布于&#xff1a; TMLR 2022 2. 创新点 使用元学习将编码时间减少了两个数量级以上&#xff0c;将编码共享结构进行编码&#xff0c;并对该网络应用调制来编码实例特定信息。量化和熵编码调制。虽然我们的方法在压缩和速度方面都大大超过了 COIN&#xff0…
阅读更多...
Navicat导入sql文件图文教程

Navicat导入sql文件图文教程

本文使用的MySQL工具为:Navicat.默认已经连接数据库!! 步骤: 1.右键自己的数据库,选择新建数据库. 2.输入数据库名称&#xff0c;字符集选择“utf8”&#xff0c;排序规则选择“ utf8_general_ci”,确定. 3.双击新建好的“数据库”。右键点击“运行SQL文件”。 4.选择本地的s…
阅读更多...
Linux上的uname

Linux上的uname

2024年4月19日&#xff0c;周五上午 这是我第一篇用CSDN上的markdown编辑器写的博客&#xff0c;感觉还不错 uname 是一个常用的命令行工具&#xff0c;uname 的全称是 “Unix Name”&#xff0c;它是一个 Unix 和类 Unix 操作系统上的命令行工具&#xff0c;用于获取操作系统相…
阅读更多...
同旺科技 USB TO SPI / I2C适配器读写24LC256--页写

同旺科技 USB TO SPI / I2C适配器读写24LC256--页写

所需设备&#xff1a; 1、USB 转 SPI I2C 适配器&#xff1b;内附链接 2、24LC256芯片 适应于同旺科技 USB TO SPI / I2C适配器升级版、专业版&#xff1b; 从00地址开始写入64个字节&#xff0c;然后再将64个字节读回&#xff1b; 页写时序&#xff1a; 读时序&#xff1a…
阅读更多...
【不看后悔】AGI时代，这些工具真的能让你收入翻倍！

【不看后悔】AGI时代，这些工具真的能让你收入翻倍！

引言 在数字化浪潮中&#xff0c;AIGC已经成为不可或缺的一部分 无论你是一名内容创作者&#xff0c;还是简单的社交媒体用户&#xff0c;免费的AI工具都能在多个层面助你一臂之力。这些工具涵盖从文本创作到图像设计&#xff0c;再到视频制作等多个方面&#xff0c;不仅可以…
阅读更多...
Python全栈开发前端与后端的完美融合

Python全栈开发前端与后端的完美融合

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 在当今互联网时代&#xff0c;全栈开发已经成为了一种趋势。全栈开发者具备前端和后端开发的…
阅读更多...
基于java+springboot+vue实现的校园一卡通系统（文末源码+Lw+ppt）23-26

基于java+springboot+vue实现的校园一卡通系统（文末源码+Lw+ppt）23-26

摘 要 近些年来&#xff0c;随着科技的飞速发展&#xff0c;互联网的普及逐渐延伸到各行各业中&#xff0c;给人们生活带来了十分的便利&#xff0c;校园一卡通利用计算机网络实现信息化管理&#xff0c;使整个校园一卡通管理的发展和服务水平有显著提升。 本文拟采用java技…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023