【mongoDB查询进阶】聚合管道(二) -- 阶段操作符 - Go

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

https://segmentfault.com/a/1190000010826809

什么是管道操作符(Aggregation Pipeline Operators)

mongoDB有4类操作符用于文档的操作，例如find查询里面会用到的$gte，$in等。操作符以$开头，分为查询操作符，更新操作符，管道操作符，查询修饰符4大类。其中管道操作符是用于聚合管道中的操作符。

管道操作符的分类

管道操作符可以分为三类：

阶段操作符（Stage Operators）
表达式操作符（Expression Operators）
累加器（Accumulators）

阶段操作符（Stage Operators）

阶段操作符是使用于db.collection.aggregate方法里面，数组参数中的第一层。

db.collection.aggregate( [ { 阶段操作符：表述 }, { 阶段操作符：表述 }, ... ] )

表达式操作符（Expression Operators）

表达式操作符主要用于在管道中构建表达式时使用，使用类似于函数那样需要参数，主要用于$project操作符中，用于构建表达式，使用方法一般如下：

方法1：

{ <operator>: [ <argument1>, <argument2> ... ] }

方法2：

{ <operator>: <argument> }

累加器（Accumulators）

累加器本来只能使用与$groud下，但是版本3.2或以上，部分累加器还能使用于$project。当在$group中使用时，累加器是针对每个分组使用的；当在$project中使用时，累加器则是针对每个字面量起作用，具体用法下一篇文章阐述。

常用阶段操作符

操作符	简述
$match	匹配操作符，用于对文档集合进行筛选
$project	投射操作符，用于重构每一个文档的字段，可以提取字段，重命名字段，甚至可以对原有字段进行操作后新增字段
$sort	排序操作符，用于根据一个或多个字段对文档进行排序
$limit	限制操作符，用于限制返回文档的数量
$skip	跳过操作符，用于跳过指定数量的文档
$count	统计操作符，用于统计文档的数量
$group	分组操作符，用于对文档集合进行分组
$unwind	拆分操作符，用于将数组中的每一个值拆分为单独的文档
$lookup	连接操作符，用于连接同一个数据库中另一个集合，并获取指定的文档，类似于populate

阶段操作符详解

假设有一个保存用户的集合Users，一个文章的集合Articles，数据大致如下：
users:

[

    { name: 'John', age: , sex: male, city: guangzhou, _id: , ...},

    { name: 'Rose', age: , sex: female, city: beijing, _id: , ...},

    { name: 'Jack', age: , sex: male, city: guangzhou, _id: , ...},

    { name: 'Allen', age: , sex: female, city: beijing, _id: , ...},

    { name: 'Cruz', age: , sex: male, city: guangzhou, _id: , ...},

    { name: 'Peter', age: , sex: male, city: guangzhou, _id: , ...},

    { name: 'Kelly', age: , sex: female, city: shanghai, _id: , ...},

    ...

]

articles:

[

    { title: 'this is article A', author: 'John', _id: , ... },

    { title: 'this is article B', author: 'Jack', _id: , ... },

    { title: 'this is article C', author: 'Rose', _id: , ... },

    { title: 'this is article D', author: 'John', _id: , ... },

    { title: 'this is article E', author: 'John', _id: , ... },

    ...

]

$match 匹配操作符

说明：

用于重构每一个文档的字段，可以提取字段，重命名字段，甚至可以对原有字段进行操作后新增字段

用法:

{ $match: { <query> } }

示例：

查询用户年龄是18岁的用户

db.users.aggregate([{ $match : { age : "" } }]);

$project 投射操作符

说明：

用于对文档集合进行筛选

用法:

{ $project: { <specification(s)> } }

specification的规则

规则	描述
<字段名>: 1 or true	选择需要返回什么字段
_id: 0 or false	不返回_id(默认返回)
<字段名>: 表达式	使用表达式，可以用于重命名字段，或对其值进行操作，或新增字段
<字段名>: 0 or false	选择需要不返回什么字段，注意：当使用这种用法时，就不要用上面的方法

示例1：

用户集合投射用户姓名
不返回_id

db.users.aggregate([{ $project : { name:  } }]);

示例2：

将_id重命名为userId
不返回_id_

db.users.aggregate([{ $project : { ueserId: '$_id', _id:  } }]);

示例3：

返回新字段username,并使用表达式让它的值为name的大写。

db.users.aggregate([

    {

        $project : {

            name: ,

            username: { $toUpper: '$name' },

            _id:

        }

    }

]);

关于管道表达式：最简单的“$project”表达式是包含和排除字段(如: { name: 1 })，以及字段名称$fieldname(如: { userId: '$_id' })。除此以外，还可以使用表达式操作符(如: $toUpper)构成更丰富的表达式，将多个字面量和变量组合在一起使用，得到更多有意思的值，更多表达式操作符的说明及使用在另外的篇章中详细阐述。

$sort 排序操作符

说明：

用于根据一个或多个字段对文档进行排序

用法：

{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }

示例：

users集合按照年龄age从低到高排序

db.users.aggregate([{ $sort : { age:  } }]);

$limit 限制操作符

说明：

用于限制返回文档的数量

用法：

{ $limit: <positive integer> }

示例：

返回5篇article

db.articles.aggregate({ $limit :  });

$skip 跳过操作符

说明：

用于跳过指定数量的文档

用法：

{ $skip: <positive integer> }

示例：

跳过1个文档

db.users.aggregate([{ $skip :  }]);

$count 统计操作符

说明：

用于统计文档的数量

用法：

{ $count: <string> }

string是统计之后输出统计结果的字段名

示例：

统计文章的总数，以totalArticle返回

db.articles.aggregate([{ totalArticle :  }]);

$group 分组操作符

说明：

用于对文档集合进行分组

用法：

{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }

_id是必须的，用作分组的依据条件

示例：

将用户(users)按性别（sex）分组

db.users.aggregate([{ $group : { _id: '$sex' } }]);

返回结果：

[

  { _id: 'male' },

  { _id: 'female' }

]

进阶示例：

将用户(users)按性别（sex）分组
分组后使用计算各自性别的平均年龄
统计不同的性别的人数，并以count返回

db.users.aggregate([

    {

        $group : {

            _id: '$sex',

            avgAge: { $avg: '$age' },

            conut: { $sum:  }

        }

    }

]);

返回结果：

[

  { _id: 'male', avgAge: <男性平均年龄>, count: <男性人数> },

  { _id: 'female', avgAge: <女性平均年龄>, count: <女性人数> }

]

此处用到的表达式 { $avg: '$age' } 用于求平均年龄，$avg是求均值的操作符，$sum用于汇总， 都只能在$group中使用的累加器，mongoDB3.2以上版本则还可以在$project中使用，详细会在另外的篇章中阐述。

$unwind 拆分操作符

说明：

用于将数组中的每一个值拆分为单独的文档

用法：

{ $unwind: <field path> }

3.2+版本的用法：

增加icludeArrayIndex,preserveNullAndEmptyArrays两个可选配置

{

  $unwind:

    {

      path: <field path>,

      includeArrayIndex: <string>,

      preserveNullAndEmptyArrays: <boolean>

    }

}

字段	类型	描述
path	string	必填，数组的字段名，指定需要拆分的字段
includeArrayIndex	string	可选，定义返回的字段名，返回的值是拆分前值在原数组的位置
preserveNullAndEmptyArrays	boolean	可选，配置在path的值为空或缺失的情况下是否拆分，默认false

示例：

假设articles文档集合是这样：

{ title: 'this is article A', author: 'John', _id: , comments: ['a', 'b', 'c']}

db.articles.aggregate([{ $unwind: '$comments' }]);

结果：

[

    { title: 'this is article A', author: 'John', _id: , comments: 'a'},

    { title: 'this is article A', author: 'John', _id: , comments: 'b'},

    { title: 'this is article A', author: 'John', _id: , comments: 'c'},

]

进阶示例（v3.2+）：

假设articles文档集合是这样：

[

    { title: 'this is article A', author: 'John', _id: , comments: ['a', 'b', 'c'] }

    { title: 'this is article B', author: 'Jack', _id:  },

    { title: 'this is article C', author: 'Amy', _id: , comments: [] },

    { title: 'this is article D', author: 'Lam', _id: , comments: null },

]

操作：

db.articles.aggregate([

    {

        $unwind: {

            path: '$comments',

            includeArrayIndex: 'arrayIndex',

        }

    }

]);

结果：

[

    { title: 'this is article A', author: 'John', _id: , comments: 'a', arrayIndex: NumberLong() },

    { title: 'this is article A', author: 'John', _id: , comments: 'b', arrayIndex: NumberLong() },

    { title: 'this is article A', author: 'John', _id: , comments: 'c', arrayIndex: NumberLong() },

]

操作：

db.articles.aggregate([

    {

        $unwind: {

            path: '$comments',

            preserveNullAndEmptyArrays: true,

        }

    }

]);

结果：

[

    { title: 'this is article A', author: 'John', _id: , comments: 'a' },

    { title: 'this is article A', author: 'John', _id: , comments: 'b' },

    { title: 'this is article A', author: 'John', _id: , comments: 'c' },

    { title: 'this is article B', author: 'Jack', _id:  },

    { title: 'this is article C', author: 'Amy', _id:  },

    { title: 'this is article C', author: 'Amy', _id: , comments: null }

]

$lookup 连接操作符

说明：

用于连接同一个数据库中另一个集合，并获取指定的文档，类似于populate

用法：

{

   $lookup:

     {

       from: <collection to join>,

       localField: <field from the input documents>,

       foreignField: <field from the documents of the "from" collection>,

       as: <output array field>

     }

}

字段	描述
from	需要关联的集合名
localField	本集合中需要查找的字段
foreignField	另外一个集合中需要关联的字段
as	输出的字段名

示例：

ariticles中的author关联到user表
authoer字段返回详细的用户的信息

db.articles.aggregate([

  {

    $lookup:

      {

        from: "users",

        localField: "author",

        foreignField: "name",

        as: "author"

      }

  }

])

结果：

[

    {

        title: 'this is article A',

        author: {

            name: 'John',

            age: ,

            sex: male,

            city: guangzhou,

            _id: ,

            ...

        },

        _id: ,

        ...

    },

    {

        title: 'this is article B',

        author: {

            name: 'Jack',

            age: ,

            sex: male,

            city: guangzhou,

            _id: ,

            ...

        },

        _id: ,

        ...

    },

    {

        title: 'this is article C',

        author: {

            name: 'Rose',

            age: ,

            sex: male,

            city: beijing,

            _id: ,

            ...

        },

        _id: ,

        ...

    },

    {

        title: 'this is article D',

        author: {

            name: 'John',

            age: ,

            sex: male,

            city: guangzhou,

            _id: ,

            ...

        },

        _id: ,

        ...

    },

    {

        title: 'this is article E',

        author: {

            name: 'John',

            age: ,

            sex: male,

            city: guangzhou,

            _id: ,

            ...

        },

        _id: ,

        ...

    },

    ...

]

综合示例

需求

找出发表文章最多的5位作者，按发表文章排序，显示他的发表文章的总次数，和他自己的信息

文章按照作者分组,统计次数
按照次数从高到低排序
截取头5名
关联用户信息
不输出文章_id

操作

db.articles.aggregate([

  {

    $group:

      {

        _id: "$author",

        count: { $sum:  },

      }

  },

  {

        $sort: { count: - }

  },

  {

      $skip:

  },

  {

      $lookup:

        {

          from: "users",

          localField: "author",

          foreignField: "name",

          as: "author"

        }

  },

  {

      $project: {

          _id: ,

      }

  }

])

总结

本文介绍了几个使用聚合管道查询时常用的管道操作符的用法，熟练地综合使用以上操作符可以对数据进行多样的处理，组合，统计，得出多样化的数据。另外再加以配合表达式操作符(Expression Operators)组成的表达式, 或者在$project或$group中使用累加器(Accumulators)能查询统计的内容会更加的多样化。

https://segmentfault.com/a/1190000010826809

什么是管道操作符(Aggregation Pipeline Operators)

管道操作符的分类

阶段操作符（Stage Operators）

表达式操作符（Expression Operators）

累加器（Accumulators）

常用阶段操作符

阶段操作符详解

$match 匹配操作符

说明：

用法:

示例：

$project 投射操作符

说明：

用法:

示例1：

示例2：

示例3：

$sort 排序操作符

说明：

用法：

示例：

$limit 限制操作符

说明：

用法：

示例：

$skip 跳过操作符

说明：

用法：

示例：

$count 统计操作符

说明：

用法：

示例：

$group 分组操作符

说明：

用法：

示例：

进阶示例：

$unwind 拆分操作符

说明：

用法：

3.2+版本的用法：

示例：

进阶示例（v3.2+）：

$lookup 连接操作符

说明：

用法：

示例：

综合示例

需求

操作

总结

相关阅读

mysql索引聚合函数，mysql聚集索引和主键索引

sqlserver聚合，sqlserver聚合索引

面向对象聚合依赖，面向对象聚合关系

mysql聚合拼接字符串，mysql数据库拼接字符串

sqlserver聚合函数拼接，sql 聚合函数 文本拼接

mongodb不同字段聚合，mongodb 合并数据库

mongodb与oracle聚合，mongodb 合并数据库

cmongodb聚合，聚合mdi百度百科

目录[+]

sqlserver聚合函数拼接，sql 聚合函数文本拼接