bsr666 发表于 2015-6-9 15:41:51

谷歌三大核心技术（二）Google MapReduce中文版

本帖最后由 甲骨论 于 2018-1-24 15:03 编辑

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子， 本论文将详细描述这个模型。



MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的 集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用MapReduce架构可以使那些没有并行计算和分布式处理系统开发经验的 程序员有效利用分布式系统的丰富资源。



我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的集群上：一个典型的MapReduce计算往往由几千台机器组成、处理 以TB计算的数据。程序员发现这个系统非常好用：已经实现了数以百计的MapReduce程序，在Google的集群上，每天都有1000多个 MapReduce程序在执行。






**** Hidden Message *****

qyx0531 发表于 2015-6-10 14:20:48

谢谢分享，顶一个。

leoding5927 发表于 2015-8-6 23:39:19

fsdsfdsfdsfsdfdsf

BarcaMessi 发表于 2015-8-8 17:29:14

高大上的东西来了

JHL2015 发表于 2015-9-18 16:41:55

谢谢分享，顶一个。

ronaldo 发表于 2016-8-13 12:04:43

谢谢分享，顶一个。

onepiecer 发表于 2016-8-25 11:14:21

顶顶顶顶顶顶顶顶顶

voguett 发表于 2016-8-30 12:20:50

月月月月月月月月月月月月月月月月月月月月

陈溜 发表于 2016-9-12 14:22:45

学习学习，谢谢了

Jan 发表于 2016-9-14 21:21:55

谢谢分享么么哒
页: [1] 2 3
查看完整版本: 谷歌三大核心技术（二）Google MapReduce中文版