2012年3月19日—26日，我们参加中国电子学会云计算专家委员会组织的“云计算美国之行”访问团，到西雅图和旧金山两地拜访美国多家云计算相关公司，其中既有Amazon、微软、Google、Facebook、Rackspace这样的行业巨头，也有Heroku、Engine Yard、Puppet等新兴云计算公司，还包括CloudCamp为代表的美国云计算社区。虽然行色匆匆，难以进行非常深入的交流，但接触面比较广，对美国云计算产业和技术的发展情况有了更多直观认识。
微软
我们到访的第一站是位于西雅图的微软总部。企业IT走向云计算已成为大势所趋，所以微软与软硬件巨头IBM、HP、Oracle、Dell一样，都在积极布局云计算技术、产品和平台，或收购，或积极研发。
为什么现在云计算如此重要？负责微软企业云战略的Rolf Harms从经济学角度给出了答案：
Cloud = doing what you do today for less
Cloud = doing what you do today better
Cloud = doing things you can’t do today
微软自己的官方网站Microsoft.com迁移到Azure平台后，成本降低了90%，可用性从99.1%提高到99.997%，部署时间却从数周下降到45分钟，改善巨大。
Harms的介绍中有一幅图讲述私有云和公共云的不同使用场景，非常清晰，如图1所示。
图1 私有云与公共云适用场景
而长远看，公共云相比私有云具有明显的价格优势，如图2所示。
图2 私有云与公共云成本比较
云计算大战的焦点之一，是如何降低数据中心的建设和运营成本以及环保问题。Facebook开源Open Compute项目更加剧了数据中心技术方面的竞争。微软也大幅投资云计算数据中心，发展新一代数据中心。这次我们有幸参观了微软在Redmond Ridge的研发数据中心，各方面都非常先进，虽然设备的密度极大（52U/rack），PUE值仍然能够达到1.17。应该说，在纯粹设备上国内并不落后，但这个数千平米的数据中心只有10人负责运营，而支撑Azure平台的主力Quincy数据中心，占地47万平方英尺，运营人员也只有35人，自动化程度惊人。另外负责人介绍，由于设备密度太大，思科现有的交换机已经无法支持，必须开发新一代。
图3 Gartner的IaaS魔力象限
云计算推动创业
比AWS等云平台本身发展更重要的是，它们已成为美国云计算和创业生态系统的基石。由于云平台的存在，加上移动互联网的重大机遇，大量创业公司得以迅速兴起，硅谷、纽约、波士顿等各地，到处一派繁荣景象。比如在旧金山，我们到访的一座不起眼的四层小楼里，《Wired》杂志、Wikia和Engine Yard都在其中。AWS的客户名单（数以十万计）中包括许多美国当前热门公司（其他多是广告平台）：Pinterest、Dropbox、Instagram、Reddit、Zynga……
图7 AWS上每天访问量最大的客户（出自DeepField的演示稿）
这些新兴企业的网络服务就架设在AWS平台上，从而免除了“为了让灯亮起来就要在IT上花费80%的时间和成本”（Gartner语），可以专注于开发应用、满足用户需求。比如，最近刚以10亿美元（因为大部分是股票，实际价值可能更高）被Facebook收购的Instgram，其技术方案大量采用AWS（主机选择Amazon EC2，图片数据库采用Amazon S3，CDN选用Amazon CloudFront等）。所以虽然Instgram只有13名员工（工程团队仅3人），却构建了最强大的移动端图片分享平台，甚至让Facebook感到了威胁。
除了面向消费者的互联网和移动应用之外，云计算也为技术提供商创造了机遇。本次访问中我们在CloudCenter巧遇Puppet创始人Luke Kanies，并进行了简短的交流。他是一位资深的系统管理员，后转开发，2003年用没学多久的Ruby写出Puppet，是DevOps的最初推动力之一。后以此辞职创业，因为采用开源模式，最初三年公司基本没有收入，是苦苦撑下来的。今天，Puppet已经用于Google、Twitter、Zynga等数千企业，2011年底累计融资2500万美元。Puppet的劲敌，是Amazon的灾难处理大师Jesse Robbins开发的Chef，但他本人现在只担任Opscode的首席社区官。而Rackspace旧金山办公室的负责人Alex Polvi也是系统管理员出身的成功创业代表，他的云管理和监控服务CloudKick去年被Rackspace收购。
图8 AWS其实已经不只是IaaS
值得注意的是，Amazon现在已经并不限于Infrastructure这一层。从图8中还可以很清楚地看到，它也在同时向Platform层发展，加入很多管理和监控服务。这毫不奇怪，IaaS公认利润不高（虽然比Amazon的老本行还是要高一些），PaaS和SaaS才是肥沃之地。而且从用户的角度来看，一站式的服务永远是有吸引力的。
Rackspace与OpenStack
此次我们也访问了Rackspace在旧金山的办公室。Rackspace是韩裔美国人Richard Yoo于1998年创办的，最初只是一家普通的ISP。在传统的主机托管厂商之中，较早转型云计算，也成为IaaS领域另一个领导性厂商，市值接近80亿美元，2011年营收超过10亿美元。最近他们透露，总服务器数已经超过8万台，云计算方面已经占到总业务的两成以上，据估计，它的规模是Amazon云平台的五分之一。
图6 与Rackspace创业者关系负责人Robert Scoble合影
Rackspace在云计算领域的领导地位还有一个重要原因——它是目前关注度最高的开源云计算项目之一OpenStack的主要发起者和实际领导者。而OpenStack的核心开发人员有些就在旧金山办公室。到访当天他们显得很忙，未及深谈，后来得知，不久后第五个OpenStack版本Essex发布了。
从技术上说，OpenStack其实与其他开源云技术项目相比并不具备绝对优势。但由于拥抱开源早，路线图明确，很快获得了急需IaaS和私有云平台技术的众多厂商的支持。很大程度上，OpenStack已经成为抗衡Amazon霸主地位的阵营中坚。当然，社区运营和生态系统建设方面，OpenStack也有很多成功经验可供国内企业借鉴。现在参与开发的公司除了Rackspace、Nebula之外，还有Red Hat、Nicira、HP、Canonical、DreamHost、新浪、维基百科、思科甚至Citrix。
在美国的交流中，我们发现除了大家言必称OpenStack之外，VMware主导的开源PaaS项目Cloud Foundry的关注度也较高。有趣的是，两者都将自己的目标定为成为云时代的Linux。相比之下，Citrix最近捐献给Apache的CloudStack（主要创始人是当年Sun JVM的作者Sheng Liang）和老牌的Eucalyptus的人气就差了很多，但它们都与AWS兼容，可以列入Amazon阵营。这三大生态系统之间如何竞合，将是云计算的大看点之一。
Amazon
云计算的理念其实已经发展了很多年，而作为一个术语而流行始自2006年，但至今仍然免不了众说纷纭，这一点国内外情况倒是差不多。云管理平台企业enStraus副总裁Bernard Golden在美国CIO圈子里颇有名气，他在交流中说到一个很有意思的现象：很多大公司的CIO虽然一方面口口声声云计算还不安全，不能轻率采用，可另一方面已经非常普遍地使用Salesforce、Workday等SaaS软件管理客户和员工等最敏感的信息。不过他也承认，虽然在美国云计算已经成为主流，但大家还是免不了不断的分歧与纷争，因为有太多背景不同的厂商和人说自己在做云计算。
图4 AWS历年发布的服务（出自Jeff-Barr的演示稿）
但有一点是大家都有共识的，那就是Amazon已经在公共云领域比较稳固地建立了自己的优势。2011年12月Gartner的研究表明，AWS自2006年推出以来，一直保持高速的产品研发节奏。AWS云平台无论在执行能力还是在前瞻性上，都在IaaS提供商中处于领先地位。而且它也在向PaaS扩张。
与此对应的是，AWS惊人的指数型发展速度。由图5可见，截止到2011年底，Amazon S3已存储了7620亿对象，年增长率达到192%，而且还在不断加速。另外，据美国调查公司451Group的报告，AWS已经占据了美国59%的IaaS市场份额。
图5 Amazon S3所存对象数的增长（出自Jeff Barr的演示稿）
虽然Amazon很少公布图5那样具体的规模数字，但我们还是可以从各种渠道做一些估算。此前Accenture的Huan Liu曾估算AWS的服务器可能有44.5万台，但一般都认为这个数字可能偏高。James Hamilton去年6月曾透露，AWS当时每天增加的容量足可以支持Amazon最初头五年全球运营，而那时公司营收已经接近30亿美元了。另据4月中旬DeepField的数据，现在每天有1/3的美国互联网用户至少访问一次AWS，它还占据了1%总互联网流量，并已经是全球第四大CDN。
拜访Amazon云计算部门时得知，它现在约有2000多人（其中有相当比例是销售人员），今年还准备扩招500人左右。有熟悉美国企业运作的同行者据此粗略算出，Amazon今年的营收目标至少应该是20亿美元。而2011年Gartner对此数字的估计是10亿。发展速度的确惊人。
云计算最初的用户主要是新兴公司，但现在大型互联网企业和许多大型公司也已经转向AWS。其中视频服务商Netfilix是一个经典案例，这个流量巨大的网站完全放弃了自建数据中心。利用AWS做海量存储、大数据分析和容灾备份的就更多了：SAP、Adobe、三星、爱立信、日立、趋势……
值得注意的是，除了Web应用和海量数据领域，AWS近年也在开拓面向企业云服务的产品，IBM、Microsoft、Oracle、SAP的全线商业产品和各开源产品的都可部署在AWS云服务上。4月底，Amazon又推出应用商店AWS Marketplace，由Amazon负责统一计费，更加方便用户。
但基于AWS的各种第三方PaaS服务仍然在繁荣发展，我们这次访问的Engine Yard和Heroku都是其中的优秀代表。
Engine Yard是历史最久规、模最大的PaaS平台，有Amazon投资。目前付费用户超过2400个，包括Apple iTunes在欧洲的平台也依靠它们支撑。目前90%的应用为Ruby，其次也支持PHP和Node.js。
而Heroku则是一家以用户体验和技术精湛而著称的PaaS公司，最初主要支持Ruby（Ruby创始人Matz是其首席架构师），现在也覆盖了Python、Java、Scala和Node.js。2010年以2.12亿美元卖给Salesforce，是云计算平台领域最大的并购之一。但有意思的是，收购已经过去一年多，Heroku仍然独立经营，只是从最初的地址搬到了旁边一座更大的楼里，完全保持创业公司的样子，而且平台也丝毫没有要从AWS迁移到自家Salesforce基础设施的打算。同样有趣的是，Facebook不是自建平台，而是在2011年9月与Heroku合作，让后者为Facebook上的社会化应用开发者提供PaaS服务。为了这次合作，Heroku特别增加了PHP支持。而合作也为Heroku带来丰厚回报：用户激增，平台上的应用数超过140万。
有竞争，但合作共赢是主流，大家把更多精力放在产品和创新，为用户提供更好体验上。这种和谐共生的现象，尤其令我们这些见惯了乱景的中国人印象深刻。
今天，一个普通的技术人员可以短时间内借助云计算平台，拥有和巨人对手们相同的计算资源，实现梦想，这才是云计算的真正价值所在。我们需要共同为之努力。
延伸阅读：
互联网大数据处理的技术挑战
处理互联网大数据充满挑战，首当其冲的就是处理大数据的能力。为使消费数据的速度赶超生成数据的速度，拥有足够的计算资源是必要条件。在此基础上，线性扩展的计算框架、高效稳定的程序设计以及精准的算法都是大数据处理的核心能力。
第 二个挑战便是时效性。用户在互联网上的操作不断地暗示其意图，只有及时感知到这些意图，才能在用户下一次操作前做出有效的响应，最终给用户带来便捷。这样 的时效性要求系统的计算框架能够以数据流的方式来运转。最终导致系统在如何实时分流负载、实时容错等问题上采用与传统批量大数据处理截然不同的技术方案。
为 了更大程度地满足个性化需求，还必须具有足够强大的定制能力。一方面，尽管单个用户的定制需求可能很小，但用户数量巨大，定制需求迥异，不是几个工程师努 力下就能完全解决问题的。需要有像数据库SQL语言那样给用户足够多的自由，使再小的需求通过简单的操作就能满足。这样的定制能力要在数据的存储、运算、 查询、展现等多方面都有体现。
个性化是商业的未来
现 代社会是一个商业社会，工业化解决了批量生产商品的问题，促进商业蓬勃发展。随着社会的不断发展，商品也越来越多样化，以期满足大众的不同需求。以电视机 为例，最初只有尺寸的区别，后来可以选择品牌型号。直到2011年9月27日，海尔和天猫在网上发起用户定制电视的活动：用户可以在电视机生产以前就选择 电视尺寸、边框、清晰度、能耗、颜色、接口等属性，再由厂商组织生产并送货到客户家中。这样的个性化服务受到广泛欢迎，2天内1万台定制电视的额度被抢 光。类似的定制服务在空调、服装等商品上都受到用户欢迎。这些事例已经展示了未来商业的曙光——通过满足个性化需求来使用户得到更满意的产品，进而缩短设 计、生产、运输、销售的周期来提升商业运转的效率。
大数据是实现个性化的基础
要实现个性化的商业模式，充足的数据是基础。比基尼生产厂商都知道他们的产品在海滩边或滨海城市有市场。可有谁能料到新疆和内蒙古的男人最爱给自己女人买比 基尼呢？这样的“潜规则”隐藏在数据中，需要深挖才能见天日，就像“啤酒和尿布”的经典故事那样。而“大数据”相对于传统的数据挖掘更进一步。数据量大、 数据种类多、数据之间有潜在关联是挖掘大数据的前提。整个互联网的用户和所有的商品本身就是一个足够大的数据空间，加上空间、时间、天气等潜在相关因素， 想要知道每个用户的喜好，所需要的数据量是巨大的。数据越多对用户的理解越精准。
阿里云的解决之道——云推荐
不论是收集大数据的计算和存储能力，还是处理个性化问题所需要的实时计算和算法技术，对于网站站长和开发者而言都是不容易快速得到解决的问题。阿里云正试图通过云端服务来降低个性化服务的门槛，使更多网站站长和开发者能够低成本享有自己的个性化服务。
如果某网站是介绍美食菜谱的，用户在浏览“茶树菇鸡汤”的时候，若能有些相关菜谱推荐，那么便可以让用户在网站内停留更多时间，访问更多内容。事实上，有多种推荐算法可以找到用户感兴趣的内容。
从用户访问日志里面也许发现用户访问好这个菜谱以后五成用户都会去看看“补血益气乌鸡汤”，这种现象一定有其背后的理由，也许会成为一个不错的推荐。
既然用户在看“鸡汤”类别的菜谱，那就可以把网站里面其他热门的“鸡汤”菜谱推荐出来，如“香菇鸡汤”。
通过分析某一个用户过去历史的访问记录，或许能发现该用户相对于其他用户更偏向于文火慢炖的汤，那就应该适当推荐出类似“炖鸡汤”这样的菜谱。
相对于“鸡汤”而言，“羊肉汤”也是汤类别的热门品种，用户也许会吃鸡汤吃腻了想换换口味。
然 而，要实现这样的推荐，传统的做法需要大量人工编辑工作。既不能做到即时，也很难保证效果。人工编辑更难验证这些推荐算法是否能在真实流量上产生足够好的 效果。一个精准的推荐模型，必须对算法本身的整体效果以及用户对各种算法推荐结果的偏好作一个综合评估，这样才能找到适合每一个用户的精准推荐模型。最终 让用户享受到推荐展位“千人千面”的个性化服务。
