MongoDB Shell 基本命令(三）聚合管道

news2024/11/7 19:32:21

  1. 管道含义
    类似Linux中的管道，前一个命令的输出作为后一个命令的输入。
    在这里插入图片描述

  2. 显示网络连接、路由表和网络接口统计信息

netstat -ano
-netstat:network statistics 网络统计
-a:显示所有连接和监听端口，包括所有活动的TCP和UDP连接。
-n:以数字形式显示地址和端口号，而不是尝试解析为主机名和服务名称。
-o:显示与每个连接关联的进程ID(PID)，这使得用户可以知道哪个进程正在使用特定的网络连接。

加上管道，查看与某个特定端口（27017）相关的连接，findstr相当于Linux中的grep，用于查找字符串的命令行工具。

netstat -ano | findstr :27017

在这里插入图片描述

“ESTABLISHED” 是 TCP 协议的一种状态，表示一条 TCP连接已经成功建立，并且可以开始数据通信。

加上管道，只查看LISTENING相关连接

netstat -ano | findstr :27017 | findstr :27017 | findstr LISTENING

在这里插入图片描述

所以，管道的含义就是：前一个命令的结果，作为后续命令的输入。我们可以在前面查询的基础上，整理过后，再进行查询。

select count(*) from tabname where ...;
select sum() from tabname group by ...;先分组再统计，相当于是多步操作
  1. count()和distinct()
use cqust;
//如果查询条件为空，查询文档记录数
db.students.count();//集合的文档总数

//统计女生/男生的数量
var 查询条件={gender:0};
db.students.count(查询条件);

//第二种写法
db.students.find(查询条件).count()//count(查询条件)等价于find(查询条件).count()

//select distinct major from tbname
//distinct,获取不重复的取值
//查询2022级有哪些专业
var 查询条件={grade:2022};
var 返回字段={_id:0,major:1,grde:1};
db.students.find(查询条件,返回字段);//有重复值

//格式:db.students.distinct(取值字段,查询条件)
db.students.distinct("major",查询条件);//返回数组

//2022级学生上了哪些课程
db.students.distinct("courses.course",{grade:2022});

//一共有哪些课程
db.students.distinct("courses.course");
  1. 聚合管道
  • 聚合是数据处理和分析的过程，对来自多个文档的数据进行计算、总结和分析，强调数据的汇总和计算。
  • 管道是一个结构，通过多个处理阶段（每个阶段可以执行不同类型的操作）来实现聚合的过程。
  • 分组操作用到聚合管道。
image-20241027155427833
  • $match：过滤输入文档，只有满足指定条件的文档会被传递到管道的下一个阶段。where(sql)
  • $group：将输入文档分组，并按指定的键对每个组编制汇总。可以计算总和、平均值等。
  • $sort：对输入文档进行排序。1、0升序和降序；
  • $project：重塑输入文档，选择需要的字段并可以添加计算字段。(字段名修改、增加字段)
  • limit和skip：用于限制返回的结果数量或跳过指定数量的文档。

第一阶段：$match阶段按status字段过滤文档，并将status等于"A"的文档传递到下一阶段。

第二阶段：$group阶段按cust_id字段将文档分组，以计算每个cust_id唯一值的金额总和。

$match 的含义- 功能: $match 阶段用于过滤集合中的文档，以保留所有符合指定条件的文档。它的作用类似于 SQL 中的 WHERE 子句。

  • 聚合管道格式
db.orders.aggregate([
    { $match: { status: "A" } },
    { $group: { _id: "$cust_id", total: { $sum: "$amount" } } }
])
//var 步骤1={步骤操作符:操作文档}
//var 步骤数组=[步骤1,步骤2,步骤3,...]
//db.集合名.aggregate(步骤数组)
{$group:{_id:分组字段,聚合字段:{$统计操作:$值字段}}}
{$project:{field1:1,newfield2:$oldfield2}}
{$sort:{field1:1,field2:-1}}
{$limit},{$skip}
{$unwind:"$listfield"} 将数组中的元素分配到多行（拉平数组）
  • 筛选出选择分布式数据库原理与应用的学生信息
var 步骤1 = {$match:{"courses.course":"分布式数据库原理与应用"}};
var 步骤1 = {$match:{"courses.course":/分布式/}};//正则表达式，匹配包含”分布式“
var 步骤数组 = [步骤1];
db.students.aggregate(步骤数组);
  • 统计男女生人数 0女生 1男生
//select count(*) as 人数,gender from students group by gender
//group操作符，取值进行group by
var 步骤1 = {$group:{_id:"$gender",人数:{$sum:1}}};
var 步骤数组 = [步骤1];
db.students.aggregate(步骤数组);
  • 为了让刚才的结果更直观，用到project ，这个阶段在数据处理过程中起到了选择、重命名和计算字段的重要作用。
var 步骤1 = {$group:{_id:"$gender",人数:{$sum:1}}};
var 步骤2 = {$project:{性别:"$_id",人数:1,_id:0}};//1表示返回原来的人数
var 步骤数组 = [步骤1,步骤2];
db.students.aggregate(步骤数组);
  • 统计大数据专业男女生人数
var 步骤0={$match:{"major":"大数据"}};
var 步骤1={$group:{_id:"$gender",人数:{$sum:1}}}//$表示值,sum:1相当于是count
var 步骤2={$project:{性别:"$_id",人数:1,_id:0}}
var 步骤数组=[步骤0,步骤1,步骤2]
db.students.aggregate(步骤数组)
  • 统计2022级大数据专业1班男女生人数
//非分组做法，分别统计
db.students.count({major:"大数据",grade:2022,class:1,gender:0});//求出女生人数
db.students.count({major:"大数据",grade:2022,class:1,gender:1});//求出男生人数
//分组做法
var 先找出本班所有学生的记录 ={$match:{major:"大数据",grade:2022,class:1}};
var 计算男女生的数量={$group:{_id:"$gender",人数:{$sum:1}}};//相当于是求了count
db.students.aggregate([先找出本班所有学生的记录,计算男女生的数量]);
  • 统计2022级大数据专业1班男女体重和
//db.students.aggregate([{阶段1},{阶段2},{阶段3},...])
//db.students.aggregate([先找出本班所有学生的记录,然后分男女计算体重的和,整理结果]);
//统计2022级大数据专业1班男女体重和
//select sum(bodyweight) as 总体重, gender as 性别 
//from tbstudents 
//group by gender
//where major="大数据" and grade=2020 and class=1
var 先找出本班所有学生的记录 = {$match:{major:"大数据",grade:2022,class:1}};
var 然后分男女计算体重的和 = {$group:{_id:"$gender",总体重:{$sum:"$body.weight"}}};
var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:"$总体重","单位":"kg"}};
db.students.aggregate([先找出本班所有学生的记录,然后分男女计算体重的和,整理结果])
  • 加减乘除运算符号 a d d 、 add、 add、substract、 m u l t i p l y 、 multiply、 multiply、divide
var 先找出本班所有学生的记录 = {$match:{major:"大数据",grade:2022,class:1}};
//var 然后分男女计算体重的和 ={$group:{_id:分组字段,聚合字段:{$统计操作:$值字段}};
var 然后分男女计算体重的和 = {$group:{_id:"$gender",总体重:{$sum:"$body.weight"}}};
//var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:"$总体重","单位":"kg"}};
//var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:{$add:["$总体重",1000]},"单位":"kg"}};//通过$add增加1000
//var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:{$subtract:["$总体重",2000]},"单位":"kg"}};//通过$add减少2000
var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:{$multiply:["$总体重",2]},"单位":"kg"}};//通过$add减少2000
//var 整理结果 = {$project:{_id:0,"性别":"$_id",总体重:{$divide:["$总体重",1000]},"单位":"t"}};//通过$divide将体重从kg转换为吨 
db.students.aggregate([先找出本班所有学生的记录,然后分男女计算体重的和,整理结果]);
  • 统计各科课程的平均分
// "courses": [
//        {
//            "course": "结构化数据存储与应用",
//            "credit": 2,
//            "score": 67
//        }
//    ]

//var 分组统计 = {$group:{_id:分组字段,聚合字段:{$统计操作:$值字段}}}
var 分组统计 = {$group:{_id:"$courses.course",平均分:{$avg:"$courses.score"}}};
db.students.aggregate([分组统计]);//直接这样查询有问题，对于数组\数组字段，无法直接分组统计

二维------>一维（unwind) ；

{ u n w i n d : " unwind:" unwind:"listfield"} 将列表中的元素分配到多行（拉平数组）

正确写法

//需要先将数组拉平，也就是说将数组中的值拆出来与其他字段连接
// {A,B:[1,2]} => {A,B:1} {A,B:2}
var 平摊数组 = {$unwind:"$courses"};
var 分组统计 = {$group:{_id:"$courses.course", 平均分:{$avg:"$courses.score"}}};
//db.students.aggregate([平摊数组]);//此时可以看出，数组已经被拉开了
db.students.aggregate([平摊数组,分组统计]);
  • 在上一步基础上，利用 s o r t 和 sort和 sort和limit返回前3结果
var 平摊数组 = {$unwind:"$courses"};
var 分组统计 = {$group:{_id:"$courses.course", 平均分:{$avg:"$courses.score"}}};
var 排序 = {$sort:{平均分:-1}};
var 返回前3结果 = { $limit : 3 }
db.students.aggregate([平摊数组,分组统计,排序,返回前3结果]);
  • 在上一步基础上，统计平均分大于74.5分的课程
//select avg(score) 平均分,course from tbstudents group by course having 平均分>=74.5
var 平摊数组 = {$unwind:"$courses"};
var 分组统计 = {$group:{_id:"$courses.course", 平均分:{$avg:"$courses.score"}}};
var 结果筛选 = {$match:{"平均分":{$gte:74.5}}}
db.students.aggregate([平摊数组,分组统计,结果筛选])// 方法用于在集合上执行一系列的聚合操作。
  • 统计分布式数据库原理与应用的平均分
var 平摊数组 = {$unwind:"$courses"};
var 分组统计 = {$group:{_id:"$courses.course", 平均分:{$avg:"$courses.score"}}};
var 结果筛选 = {$match:{"_id":/分布式/}}//非courses.course中,$match 是一个筛选操作符，用于过滤文档
//使用了正则表达式来匹配 _id 字段包含“分布式”字符串的文档。
var 整理结果 = {$project:{"course":"$_id","avgscore":{$round:["$平均分",2]},_id:0}}//$project 用于选择和重命名文档中的字段。指定将 _id 字段重命名为 course，平均分 字段重命名为 avgscore，并且排除 _id 字段在输出结果中显示（_id: 0 表示不显示 _id 字段）。{$round:["$平均分",2]}四舍五入，保留两位小数
db.students.aggregate([平摊数组,分组统计,结果筛选,整理结果])
  • 统计分布式数据库课程的平均分,要求保留两位小数
//统计分布式数据库课程的平均分,要求保留两位小数
var 平摊数组 = {$unwind:"$courses"};
var 分组统计 = {$group:{_id:"$courses.course", 平均分:{$avg:"$courses.score"}}};
var 整理结果 = {$project:{"course":"$_id","avgscore":{$round:["$平均分",2]},_id:0}}//$project 用于选择和重命名文档中的字段。指定将 _id 字段重命名为 course，平均分 字段重命名为 avgscore，并且排除 _id 字段在输出结果中显示（_id: 0 表示不显示 _id 字段）。{$round:["$平均分",2]}四舍五入，保留两位小数
db.students.aggregate([平摊数组,分组统计,结果筛选,整理结果])
  • 统计各班级（专业\年级\班级）分布式数据库课程的平均分
//方法一：直接连接
var 拉平数组 = {$unwind:"$courses"};
var 查找课程 = {$match:{"courses.course":/分布式/}};
//_id是一个组合字段，包括专业、年级、班级信息
var 按班级统计平均分 = {$group:{_id:{专业:"$major",年级:"$grade",班级:"$class"},平均分:{$avg:"$courses.score"}}}
var 整理结果 = {$project:{专业:"$_id.专业",年级:"$_id.年级",班级:"$_id.班级",平均分:{$round:["$平均分",2]},_id:0}};
db.students.aggregate([拉平数组,查找课程,按班级统计平均分,整理结果]);

//方法二：利用$concat连接，$tostring强制转换
var 拉平数组 = {$unwind:"$courses"};
var 查找课程 = {$match:{"courses.course":/分布式/}};
//_id是一个组合字段，包括专业、年级、班级信息
var 按班级统计平均分 = {$group:{_id:{"行政班级":{$concat:["$major",{$toString:"$grade"},"-0",{$toString:"$class"}]}},平均分:{$avg:"$courses.score"}}};
var 整理结果 = {$project:{"行政班级":"$_id.行政班级",平均分:{$round:["$平均分",2]},_id:0}};
var 排序 = {$sort:{"行政班级":1}};//按照行政班级升序
db.students.aggregate([拉平数组,查找课程,按班级统计平均分,整理结果,排序]);
  • 按专业求女生平均身高低于170的专业，并排序（$sort)
/* 
SQL: select AVG(height) as avgHeight, major as _id 
     from students 
	 where gender=0
	 group by major
	 having avgHeight<=170
	 sorted by avgHeight DESC
*/	
db.getCollection("students").aggregate([
 //第一步，查数据
 {$match:{gender:0}}
 //第二步，限制返回字段
 ,{$project:{_id:0,major:1, grade:1, class:1, height:"$body.height"}}
 //第三步，分组求平均值
 // _id: group by的字段, 字段名要加$符号前缀，表示是一个字段名
 // avgHeight: 新生成的平均值字段名
 // $avg: 平均值操作符，它的值为要求平均值的字段名，注意加$前缀
 ,{$group:{_id:"$major", avgHeight:{$avg:"$height"}}}
 //第四步，筛选聚合结果
 ,{$match:{avgHeight:{$lte:170}}}
 //第五步，排序，按照avgHeight的值从大到小排序, -1: DESC, 1:ASC
 ,{$sort:{avgHeight:-1}}
 //,{$limit:1}  //取结果中最接近170的值
])
  • 课堂练习
1.统计各课程的平均分，并返回倒数第一名的结果
2.统计本专业分布式数据库课程的平均分,并且保留两位小数

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2235222.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2024年10月国产数据库大事记-墨天轮

2024年10月国产数据库大事记-墨天轮

本文为墨天轮社区整理的2024年10月国产数据库大事件和重要产品发布消息。 目录 2024年10月国产数据库大事记 TOP102024年10月国产数据库大事记&#xff08;时间线&#xff09;产品/版本发布代表厂商大事记信创数据库上市公司2024年Q3财报 达梦数据&#xff1a;2024年前三季度…
阅读更多...
SQL Server 日志记录

SQL Server 日志记录

SQL Server是一个关系数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;旨在有效地存储、组织、检索和操作大量结构化数据。SQL Server日志是监控数据库活动、排查问题和确保数据一致性的基础&#xff0c;这些日志记录了SQL Server实例中发生的事件的时间顺序。它们充当…
阅读更多...
yolo v5 开源项目

yolo v5 开源项目

项目地址&#xff1a;https://gitcode.net/EricLee/yolo_v5
阅读更多...
队列详解

队列详解

目录 队列队列的概念及结构队列的实现代码 队列功能的实现队列的尾插void QueuePush(Queue*pq, QDataType x);结构体封装指针typedef struct Queue总结 代码 队列的头删void QueuePop(Queue* pq)代码 队列的初始化void QueueInit(Queue* pq)代码 队列的销毁void QueueDestroy(Q…
阅读更多...
ViT模型复现项目实战

ViT模型复现项目实战

项目源码获取方式见文章末尾&#xff01; 600多个深度学习项目资料&#xff0c;快来加入社群一起学习吧。 《------往期经典推荐------》 项目名称 1.【基于CNN-RNN的影像报告生成】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【GAN模型实现二次元头像生成】 4.【CNN模型实现…
阅读更多...
是时候用开源降低AI落地门槛了

是时候用开源降低AI落地门槛了

过去三十多年&#xff0c;从Linux到KVM&#xff0c;从OpenStack到Kubernetes&#xff0c;IT领域众多关键技术都来自开源。开源技术不仅大幅降低了IT成本&#xff0c;也降低了企业技术创新的门槛。 那么&#xff0c;在生成式AI时代&#xff0c;开源能够为AI带来什么&#xff1f;…
阅读更多...
【C++打怪之路Lv13】- “继承“篇

【C++打怪之路Lv13】- “继承“篇

&#x1f308; 个人主页&#xff1a;白子寰 &#x1f525; 分类专栏&#xff1a;重生之我在学Linux&#xff0c;C打怪之路&#xff0c;python从入门到精通&#xff0c;数据结构&#xff0c;C语言&#xff0c;C语言题集&#x1f448; 希望得到您的订阅和支持~ &#x1f4a1; 坚持…
阅读更多...
数据特征工程：如何计算Teager能量算子(TEO)？ | 基于SQL实现

数据特征工程：如何计算Teager能量算子(TEO)？ | 基于SQL实现

目录 0 TKEO能量算子 1 数据准备 2 特征求解 3 小结 0 TKEO能量算子 TEO（Teager能量算子），由Kaiser于1990年代提出的非线性分析方法（参见Kaiser, 1990; 1993），是一种有效的非线性信号处理工具，它能即时反映信号能量的变化。通过计算相邻采样点的值，TEO能够迅速跟…
阅读更多...
淘宝/天猫探店大冒险：用taobao.item_search_shop API把宝贝一网打尽

淘宝/天猫探店大冒险：用taobao.item_search_shop API把宝贝一网打尽

想象一下&#xff0c;你是一位勇敢的探险家&#xff0c;手拿藏宝图&#xff08;店铺ID&#xff09;&#xff0c;准备潜入神秘的淘宝/天猫店铺&#xff0c;寻找那些隐藏在角落里的宝贝。今天&#xff0c;我们要用taobao.item_search_shop API这张神奇的藏宝图&#xff0c;带你走…
阅读更多...
D60【python 接口自动化学习】- python基础之数据库

D60【python 接口自动化学习】- python基础之数据库

day60 数据库定义 学习日期&#xff1a;20241106 学习目标&#xff1a;MySQL数据库-- 128&#xff1a;数据库定义 学习笔记&#xff1a; 无处不在的数据库 数据库如何存储数据 数据库管理系统&#xff08;数据库软件&#xff09; 数据库和SQL的关系 总结 数据库就是指数据…
阅读更多...
2024年最佳解压软件推荐：轻松管理压缩文件的必备工具

2024年最佳解压软件推荐：轻松管理压缩文件的必备工具

在当今数字化时代&#xff0c;文件的传输和存储变得日益频繁&#xff0c;解压软件在文件管理中扮演着至关重要的角色。 随着数据量的不断增长&#xff0c;大文件的压缩和解压需求也越来越高。解压软件能够将大容量的文件压缩成较小的体积&#xff0c;便于存储和传输&#xff0…
阅读更多...
Kubernetes的基本构建块和最小可调度单元pod-0

Kubernetes的基本构建块和最小可调度单元pod-0

文章目录 一&#xff0c;什么是pod1.1pod在k8s中使用方法&#xff08;1&#xff09;使用方法一&#xff08;2&#xff09;使用方法二 1.2pod中容器的进程1.3pod的网络隔离管理&#xff08;1&#xff09;pause容器的作用 1.4 Pod分类&#xff1a;&#xff08;1&#xff09;自主式…
阅读更多...
vue实现天地图电子围栏

vue实现天地图电子围栏

一、文档 vue3 javascript WGS84、GCj02相互转换 天地图官方文档 注册登录然后申请应用key&#xff0c;通过CDN引入 <script src"http://api.tianditu.gov.cn/api?v4.0&tk您的密钥" type"text/javascript"></script>二、分析 所谓电子围…
阅读更多...
QT 实现绘制汽车仪表盘

QT 实现绘制汽车仪表盘

1.界面实现效果 以下是具体的项目需要用到的效果展示，通常需要使用QPainter类来绘制各种图形和文本，包括一个圆形的仪表盘、刻度、指针和数字。 2.简介 分为以下几个部分，首先设置抗锯齿 painter.setRenderHint(QPainter::Antialiasing)。 QPainter p(this);p.setRender…
阅读更多...
【网络】传输层协议TCP（下）

【网络】传输层协议TCP（下）

目录 四次挥手状态变化 流量控制 PSH标记位 URG标记位 滑动窗口 快重传 拥塞控制 延迟应答 mtu TCP异常情况 四次挥手状态变化 之前我们讲了四次挥手的具体过程以及为什么要进行四次挥手&#xff0c;下面是四次挥手的状态变化 那么我们下面可以来验证一下CLOSE_WAIT这…
阅读更多...
阿里云docker安装禅道记录

阿里云docker安装禅道记录

docker network ls docker network create -d bridge cl_network sudo docker run --name zentao --restart always -p 9982:80 --networkcl_network -v /data/zentao:/data -e MYSQL_INTERNALtrue -d hub.zentao.net/app/zentao:18.5 升级禅道 推荐用按照此文档升级&a…
阅读更多...
迈入国际舞台，AORO M8防爆手机获国际IECEx、欧盟ATEX防爆认证

迈入国际舞台，AORO M8防爆手机获国际IECEx、欧盟ATEX防爆认证

近日&#xff0c;深圳市遨游通讯设备有限公司&#xff08;以下简称“遨游通讯”&#xff09;旗下5G防爆手机——AORO M8&#xff0c;通过了CSA集团的严格测试和评估&#xff0c;荣获国际IECEx及欧盟ATEX防爆认证证书。2024年11月5日&#xff0c;CSA集团和遨游通讯双方领导在遨游…
阅读更多...
Win11家庭版 配置 WSL/Ubuntu+Docker详细步骤

Win11家庭版 配置 WSL/Ubuntu+Docker详细步骤

最近换了台工作电脑&#xff0c;Windows系统的&#xff0c;想发挥下显卡的AI算算力&#xff0c;所以准备搞下docker环境&#xff0c;下面开始详细介绍&#xff1a; 1、准备系统 最开始是想安装Windows Docker Desktop的&#xff0c;奈何网络问题&#xff0c;死活不能下载镜像…
阅读更多...
apache poi 实现下拉框联动校验

apache poi 实现下拉框联动校验

apache poi 提供了 DataValidation​ 接口 让我们可以轻松实现 Excel 下拉框数据局校验。但是下拉框联动校验是无法直接通过 DataValidation ​实现&#xff0c;所以我们可以通过其他方式间接实现。 ‍ 步骤如下&#xff1a; 创建一个隐藏 sheet private static void create…
阅读更多...
LabVIEW扫描探针显微镜系统

LabVIEW扫描探针显微镜系统

开发了一套基于LabVIEW软件开发的扫描探针显微镜系统。该系统专为微观尺度材料的热性能测量而设计&#xff0c;特别适用于纳米材料如石墨烯、碳纳米管等的研究。系统通过LabVIEW编程实现高精度的表面形貌和热性能测量&#xff0c;广泛应用于科研和工业领域。 项目背景 随着纳…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023