Nosql Mongodb之旅(12)—MongoDB MapReduce

MongDB的MapReduce相当于MysqL中的“group by”，所以在MongoDB上使用Map/Reduce进行并行“统计”很容易。

使用MapReduce要实现两个函数Map函数和Reduce函数，Map函数调用emit(key,value),遍历collection中的所有记录，将key和value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JS来实现，可以通过db.runcommand或mapReduce命令来执行一个MapReduce操作。

示例shell

[plain]view plaincopy

1. db.runcommand(
2. {mapreduce:<collection>,
3. map:<mapfunction>,
4. reduce:<reducefunction>
5. [,query:<queryfilterobject>]
6. emitkeyforfewerreduces>]
7. utoptionsbelow>]
8. zefunction>]
9. cope:<objectwherefieldsgointojavascriptglobalscope>]
10. }
11. );

参数说明:

mapreduce: 要操作的目标集合。

map: 映射函数 (生成键值对序列，作为 reduce 函数参数)。

reduce: 统计函数。

query: 目标记录过滤。

sort: 目标记录排序。

limit: 限制目标记录数量。

out: 统计结果存放集合 (不指定则使用临时集合，在客户端断开后自动删除)。

keeptemp: 是否保留临时集合。

finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。

scope: 向 map、reduce、finalize 导入外部变量。

verbose: 显示详细的时间统计信息。

下面我们准备数据以备后面示例所需

[plain]view plaincopy

1. >db.students.insert({classid:1,age:14,name:'Tom'})
2. >db.students.insert({classid:1,age:12,name:'Jacky'})
3. >db.students.insert({classid:2,age:16,name:'Lily'})
4. vincent'})
6. >

现在我们演示如何统计1班和2班的学生数量

Map 函数必须调用 emit(key,value) 返回键值对，使用 this 访问当前待处理的 Document。

这里this一定不能忘了！！！

[plain]view plaincopy

1. >m=function(){emit(this.classid,1)}
2. function(){
3. emit(this.classid,1);
4. >

value 可以使用 JSON Object 传递 (支持多个属性值)。例如:
emit(this.classid,{count:1})
Reduce 函数接收的参数类似 Group 效果，将 Map 返回的键值序列组合成 { key,[value1,value2,value3,value...] } 传递给 reduce。

[plain]view plaincopy

1. >r=function(key,values){
2. ...varx=0;
3. ...values.forEach(function(v){x+=v});
4. ...returnx;
5. ...}
6. function(key,values){
7. varx=0;
8. values.forEach(function(v){x+=v;});
9. returnx;
10. >

Reduce 函数对这些 values 进行 "统计" 操作，返回结果可以使用 JSON Object。

结果如下：

[plain]view plaincopy

1. >res=db.runcommand({
2. ...mapreduce:"students",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ...map:m,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ...reduce:r,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ...out:"students_res"
3. ...});
4. {
5. "result":"students_res",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "timeMillis":1587,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "counts":{
6. "input":8,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "emit":8,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "output":2
7. },108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "ok":1
8. >db.students_res.find()
9. {"_id":1,"value":3}
10. {"_id":2,"value":5}
11. >

mapReduce() 将结果存储在 "students_res" 表中。

利用 finalize() 我们可以对 reduce() 的结果做进一步处理。

[plain]view plaincopy

1. >f=function(key,value){return{classid:key,count:value};}
2. return{classid:key,count:value};
3. >

我们再重新计算一次，看看返回的结果:

[plain]view plaincopy

1. ...out:"students_res",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ...finalize:f
2. ...});
3. {
4. "timeMillis":804,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "counts":{
5. "output":2
6. "ok":1
7. }
8. >db.students_res.find()
11. >

列名变与 “classid”和”count”了，这样的列表更容易理解。

我们还可以添加更多的控制细节。

[plain]view plaincopy

1. ...finalize:f,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> ...query:{age:{$lt:10}}
2. "timeMillis":358,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "input":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "emit":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "output":1
3. >db.students_res.find();
5. >

可以看到先进行了过滤，只取age<10 的数据，然后再进行统计，所以就没有1 班的统计数据了。