Internet Archive 的海量存储浅析
Internet Archive 的海量存储浅析作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/database/internet_archive_storage.html
Internet Archive(IA) 这个站点大家应该都不陌生。IA 旨在建立所有互联网站点的"档案库"，如果说 Google 是互联网的数据库的话，那么 IA 就是互联网的数据仓库了，定期对每个 Web 页面保存快照，数据量之大可想而知。
先看看 IA 每天需要面对的处理能力：
存储超过 850 亿个 Web 页面；
每天大约 600 万次的下载；
Wayback Machine 收到大约 1000 万次点击，每秒钟要处理 100-200 个点击;
每天10万次左右通过 URL 查找;
每天 400 万次返回请求;
存储的内容包括本文、音频、视频...等各种 Web 可见的格式。
显然 IA 需要的是一种前所未有的存储解决解决方案--廉价、可靠、低功耗...总之用起来要省钱。IA的志愿者不得不考虑自己动手建立符合他们需要的存储系统，这下子可不简单，2004 年，第一个 100GB 容量的近线存储投入使用 。IA的志愿者之一 Saikley 干脆抽身而出成立了 Capricorn Technologies 公司，专为类似组织提供存储解决方案。前面提到的 100TB 容量的产品即为该公司 GB系列的产品。现在 IA 已经采用 PS(PowerStore) 系列的 PetaBox，是量身定做的，装机容量 1.5T，目前容量已经超过3PB(怕是远远超过 3PB 了)。PS 系列产品每节点原始容量可以达到 3T，使用日立 Deskstar 硬盘，仅仅占 1U的机柜空间。IA 也在站点上介绍了定制的这台 PetaBox 的一些规格要求以及参数。
http://www.dbanotes.net/Images/capricorn_technologies_PS.jpg
PetaBox 也是 Linux 在企业级应用取得成功的一个范例。
PetaBox 存储产品给存储界带来了不小的震撼。每 GB 的成本仅仅是 2 美元。这还是 2005 年的价格，现在应该更便宜了。搜索了一下，这家公司目前还没有进入中国。
PetaBox 系统通过一个集中式的 PXE 启动服务器运行在 Debian 或是 Fedora Linux ，通过 Nagios 进行整个环境的监控。 管理成本也并不高--每 PB 一个人。
页:
[1]