云里雾里云计算 【7】天上究竟会有几朵云？ : 弯曲评论

云里雾里云计算 【7】天上究竟会有几朵云？ : 弯曲评论

1. Google File System: http://research.google.com/archive/gfs-sosp2003.pdf

把多个电脑的硬盘组合起来，形成一个超大规模的硬盘，用来存储海量数据，同时保障万一有某些硬盘崩溃了，不至于遗祸整个系统。

2. MapReduce: http://labs.google.com/papers/mapreduce-osdi04.pdf

如何实现并行计算。道理很简单，但是用好却不容易。下面两篇论文，可以作为范例，指导如何正确使用MapReduce。

2.1. Large Language Models in Machine Translation

http://acl.ldc.upenn.edu/D/D07/D07-1090.pdf

2.2. Parallelizing Support Vector Machines on Distributed Computers

http://books.nips.cc/papers/files/nips20/NIPS2007_0435.pdf

3. Chubby lock service: http://research.google.com/archive/chubby-osdi06.pdf

电脑操作经常要用到锁机制，譬如用锁防止两个进程同时向同一个文件写数据。这篇论文谈的是，在由多台电脑组成的分布式系统中，集中管理锁的机制。

4. BigTable: http://research.google.com/archive/bigtable-osdi06.pdf

这篇文章既是讲如何实现分布式数据库，同时也可以把它看成范例，如何正确使用Chubby锁机制，和GFS文件系统。

5. The Google cluster architecture: http://www.computer.org/micro/mi2003/m2022.pdf

各个组成部分完成以后，如何组建一个计算中心。这是这篇文章的主题。

Google式云计算平台有两大特色，

1. 便宜。即使用几台穷人买得起的烂PC，也能构建一个麻雀虽小但是五脏俱全的Google式云计算平台。其实，Google自己就是这么起家的。

2. 稳定。便宜的机器经常死机。Google式云计算平台，能保证一部份机器死机不会造成整个系统的崩溃。

1. Memory management。2. Scheduling。

为什么不列举这两个方面的论文，方便大家阅读？

因为Google没有发表。或许是Google把这两个方面的技术，视为Google云计算的核心机密，所以才没有发表论文公开介绍。

读完论文后，想构建一个云计算平台，是不是必须写程序，从头实现？

No!

Hadoop是一个开源项目，把前面提到的几个Google式云计算技术，用Java实现了。

我们不妨站在Hadoop台阶上，把未尽的事业推向前进。

前进方向，

1. Memory management。2. Scheduling。