深度揭秘:Google是如何运行的?
发布时间:2006-07-13 01:11:59 来源:cathayan 网友评论 0 条不过,正如文章中提到的:我们知道许多人进了Google,然后他们就消失了。这就是Google的神秘之处以及它保持神秘的方法。所以这篇文章的出处包括一些公开发表的论文,演讲,数量也很少,其他也是推测。
首先是Google的硬件,是许多台普通的电脑,文中猜测的数字是45万台(这个数字可能会有出入,但随着时间不断增长应该是真的)。我记得有报道说某Google高管一次说不是随便的PC,而是很高档的服务器,这个说法并没有得到其他佐证。这些机器分布在全球许多个数据中心,都柏林、弗吉尼亚、加州、俄勒岗等等。Google的所有服务都依赖于这些机器。2005年,Google在服务器以及数据中心上面花费了8.38亿美元。
而且Google已经研发了快速部署这些服务器的技术,它把机器组装在20英尺或40英尺长的集装箱中,放在卡车上就可以运走。一个箱子里可能会装5000个Opteron处理器和3.5PB的存储设备。
为了利用这些机器,当然首先是为了满足网页索引计算的要求,Google还开发了自己的文件系统,最早称为BigFile,然后称为GFS,这个系统单个分块就有64MB,并且据说很少出现小文件,所以利用还是很充分。最初当Google只索引2500个网页的时候,总容量就有100多GB。但一般网页通常都很小,整个网站扒下来才能用MB来算,不知道是不是一个网站算一个文件?
在这个系统中,有一个主服务器,它掌管文件的名字存放位置等数据,真正的文件放在文件服务器上,一个主服务器加上成千上万台文件服务器成为一个GFS集群,据说大概有50个这样的集群。
而为了保证可靠与服务快速,每个文件都至少有3个备份,一个坏了,另外两个马上响应,延迟不过是几个毫秒。 为了存储结构数据,Google还开发了BigTable,这是个数据库系统,它里面的表可以分成块存放在GFS上,这样就可以处理超级大的数据表。
为了在这样的分布平台上编程,Google开发了MapReduce,它是个中间层或接口,用C++完成,另有Java和Python接口。它可以把计算分布到多台机器上,让应用工程师不必再考虑这个问题。据说新加入的工程师第一周的培训就是用这个工具写统计一组网页中词汇出现频率的程序。去年10月,这个系统每天要处理3000项作业,比如分析最新的网页以及更新索引。
在这样复杂的情况下,Google还保持着性价比上的优势,通常其对手花3美元办成的事,它只要1美元。
文中说现任CEO去Google的时候,发现两位创始人还在用Quicken算账,而当时他们已经有200名员工和2000万的收入。而Google的项目管理绩效考评也很有意思,每周系统会给员工发个Email,问他们这周干了什么,以及下周要干什么。员工就回复;到下一周,系统会发信问,你上周说你要干123,那么做完了吗?这些全部是自然语言的,并且是可以搜索的。大家就能互相发现一些新点子。
文中引用比较多的话来自Google的CIO,Doug Merrill,一位普林斯顿的心理学博士。
- 推荐阅讯
- 网页优化中的作弊行为
- 不上你的网站的50个原因
- Google是我亲戚
- 搜狗推出其网页评级参数 sogou rank
- 做google推广,如何选择好关键词?
- keywords密度的常见问题
- SEO研究:搜索引擎优化中的pr值问题
- 交友网站韩国最大Cyworld进军台湾
- 组建小型团队 让个人网站强壮起来
- google左侧排名最重要的因素是什么?
- 阅读排行
- 1.针对搜索引擎的页面优化一:关键词优化
- 2.网站的搜索引擎优化(SEO)九大秘法
- 3.ALEXA站长全攻略
- 4.一个网站的灵魂 打造完美网站的奇招巧技
- 5.让百度重新收录你的网站的有效方法
- 6.休闲一下:我用Google抓拉登的全过程
- 7.建站基础 将网页上传到服务器
- 8.Google Office轮廓愈加清晰 成形指日可待
- 9.10条优秀的网站设计经验
- 10.Google AdSense推收益分享新模式
- 专题教程
- Windows Server-Windows Server文档-Windows Server新闻-Windows Ser PostgreSQL-PostgreSQL文档-PostgreSQL新闻-PostgreSQL专家
- WebLogic-WebLogic文档-WebLogic新闻-WebLogic专家 FreeBSD-FreeBSD文档-FreeBSD新闻-FreeBSD专家
- Linux-内核 GUI KDE Gnome DNS FTP 安全 安装-Linux专区 Windows-AD IIS ServerCore 虚拟化 安全 HPC-Windows专区
- 大话G游 专题:手机病毒揭密
- ARP攻击防范与解决方案 路由故障处理手册
