首页 > ETL > ETL装载速度Greenplum vs Vertica

ETL装载速度Greenplum vs Vertica

2009年3月20日 发表评论 阅读评论

在08年底的时候vertica 宣布了它的ETL世界纪录,在57分21.51秒时间内装载了5.4TB 的记录,这项记录由Syncsort(一个DI 供应商)和Vertica 共同发布. 最近Greenplum 在mysql/fox interactive media 的应用也发布了一个ETL装载记录4TB/h.
vertica 的记录由16 two quad-core server blades and 16 storage blades in HP BladeSystem c-Class enclosures , 运行在Red hat Linux operation system 上.
Greenplum 则是在一小时装载4TB , 由40台Sun fire 4500 运行的greenplum 集群组成,Sun fire 4500 有2 dual-core AMD .

两个声明都是由供应商自己发出,取自客户的实例,只不过greenplum 的应用是在myspace/fox 上. 更加实际,Vertica 更像是一种实验性质的测试.
两个测试其实都不能说明什么,里面的很多实际的硬件数据不详,CPU 具体是什么牌子,硬盘是什么牌子的. 一个高端的SSD 硬盘根本就不是普通机械硬盘可比的速度,再加上现在grid 技术像白菜一样普通,不能随便发个什么世界级记录然后又不说清楚硬件和软件环境, 虽然硬件越来越便宜,但是企业在实施很多应用的时候,费用还是第一考虑要素,要不然现在数据这样增长,哪个公司有钱别说什么PB级数据库,想什么级别数据库都可以做到,只要你有钱.
最后还是那句废话,谁都不信,做什么东西都自己测,多找几个供应商. 好好的计算一下成本和需求,达到平衡即可.

参考资料
http://www.dbms2.com/2009/03/20/greenplum-claims-very-fast-load-speeds-and-fox-still-throws-away-most-of-its-myspace-data/

http://www.dbms2.com/2009/03/20/more-on-greenplum-foxmyspace-and-load-speeds/

http://www.dbms2.com/2009/03/20/greenplum-claims-very-fast-load-speeds-and-fox-still-throws-away-most-of-its-myspace-data/
dbms2 上的文章,综合了一下信息,包括里面提到的其他blog 数据.

http://www.ningoo.net/html/2008/a_ssd_orion_test.html
ningoo 写的ssd 硬盘的测试

分类: ETL 标签: , ,
  1. wang_yanmei
    2011年11月17日21:55 | #1

    请问用ETL工具如何将数据导入到GreenPlum数据库中?

  1. 本文目前尚无任何 trackbacks 和 pingbacks.