Alex的个人Blog » Kettle

Kettle 的性能测试说明

Alex — Fri, 16 Jan 2009 06:16:17 +0000

我之前的一篇文章写到Kettle 的一些性能测试的说明, http://www.gemini5201314.net/?p=129 主要比较了kettle 和talend 在读和写方面的性能测试, 由于有代码可以自己运行, 每个人都可以试一下结果, 一个ETL转换肯定会有写的步骤,所以主要说明一下同时有读和写的情况文件大小为2.4GB , Kettle 单步骤运行的时候, 读大概:12 – 18M/s , 写大概14M/s , 平均0.7GB/min. 2步骤运行的时候, 读还是12-18 M/s , 写大概18M/s ,平均1.0GB/min , 写是在两个文件上, 但是还是由一个物理磁盘来写的. 运行这个测试的机器是普通的笔记本电脑,估计硬盘的缓存大小为16M/s , 由于写的时候是Linux 系统(kubuntu 8.10), 所以写的速度最大可以略微超过一点. 我在自己的电脑上也测试过这个转换任务, 读大概是18-20M/s , 写只有接近600M/min , 之所以速度慢的原因是我的物理磁盘比较慢, 磁盘是Maxtor 的, 缓存大小只有8M/s , 所以一分钟的最大速度只可能有8*60M/min = 480M/min , 所以我的写速度大概是600M /min 不到是正常的. [...]

Kettle 的JDBC Driver

Alex — Sun, 11 Jan 2009 05:41:38 +0000

随着越来越多的企业开始重视数据仓库的建设,而在非数据仓库方面,SOA的流行越发对数据集成有更多的依赖,所以不少的ETL工具提供商都开始称自己的产品有"数据集成解决方案". 传统的ETL大概有以下几种实现方式: 图形化设计器生成XML设计文件,然后有个engine 执行图形化设计器生成某种编程语言代码,然后执行代码使用某种ETL 引擎框架, 通过编程来执行ETL任务手工写代码执行每一种方式实际上都不能完全解决各种复杂的企业数据集成的需求,图形设计器设计出来虽然方便,维护轻松,但是不够灵活,对于传参数,动态判断条件,跟企业已有系统集成较为困难,而使用编程或ETL执行引擎虽然能解决前面的缺点,但是太过复杂,维护成本高,需要比较多的技巧. Kettle 作为第一种ETL工具, 虽然在功能和易用性上做的不错,但是如果你要从一个已有的程序里面传参数,或者根据一些动态条件来修改设计文件,甚至完全不依赖设计器用编程的方式实现ETL任务基本上都是不可能的. 新出现的kettle jdbc driver 则一部分解决了上述问题, 通过像sql 一样的语法从一个kettle 转换里面取出结果,然后在程序里面使用. 它可以取出任意步骤的结果. 它里面提供的演示是基于pentaho 的,如果不是很懂pentaho 的话建议用文本编辑器打开看一下就好了,而且都是报表的演示,可能不一定都看得懂. 如果想用的话还需要研究一下. 这个项目在google 上, 同时有国内的一位朋友qinhui99 参与, 有兴趣可以去看一下他的个人主页: http://qinhui99.itpub.net/ 参考资料 http://code.google.com/p/jdbckettle/ jdbc kettle 的主页

Kettle 不能启动ClassNotFoundException

Alex — Tue, 30 Dec 2008 03:37:19 +0000

我个人重来都是没有碰到过这个错误的,不过最近有个朋友从itput 看到我写的关于kettle 的文章,问我这个问题, 后来找到几种可能性, 主要可能是发生在Windows 2000 上, 我用的是xp ,还没碰到过, windows 2000 的command line 最大可以有2047 个字符,xp是8091 , kettle 3.0 之后加载的东西太多了,所以有些jar 加不进去,解决办法如下: 1. 把kettle 尽量放在顶层目录比如 E:/pdi 下,减少字符长度 2. 把libext/JDBC 目录下的不用的数据库驱动删掉,比如你只用mysql 和oracle 就只保留mysql-connect-xxx.jar 和ojdbc12.jar 其他的都删掉, 3. 在xp 系统下把cmd.exe 文件拷贝到2000 下, 这个字符串长度限制是写死的,xp 的长度限制为8091. 另外需要注意的是至少需要jdk 1.5 以上才能运行, 1.4 是不行的, 我用的是jdk 1.6 的, 点那个kettle.exe 文件它还报错说要jdk 1.5 , 不用exe 文件启动,直接点spoon.bat 启动就是好的. [...]

再谈Kettle 性能问题

Alex — Tue, 09 Dec 2008 08:46:26 +0000

最近talend 的一些讨论似乎又激起了kettle 社区的一些"回应" , 讨论的问题又回到了性能的问题上，按照talend 的说法，kettle 的性能不如talend 的, 然后kettle 的首席架构师matt 又出来回应,然后就出现了关于ETL工具性能的讨论: 1 .http://blog.gobansaor.com/2008/12/04/pentaho-data-integration-kettle-v-talend-benchmark/ 事情的起因, 2. http://www.nicholasgoodman.com/bt/blog/2008/11/26/an-arms-race-my-customers-dont-care-about/ kettle 社区的一些回应 3 .http://www.ibridge.be/?p=150 matt 做的实验按照matt 做的实验 , 环境是在他个人笔记本上， CPU Intel(R) Core(TM)2 CPU T7600 @ 2.33GHz Disk 90GB 7200 rpm laptop disk Memory 3.3GB, 666Mhz OS Kubuntu 8.10 : Intrepid Ibex Linux kernel 2.6.27-8 kettle [...]

kettle 3.1 发布

Alex — Wed, 08 Oct 2008 15:23:05 +0000

Pentaho Data Integration (Kettle) 3.1 已经发布了，你可以在下列地址下载

Binary zip file (60 MB)
Wiki documentation export (105 MB)
Source zip file (72 MB)
Javadoc zip file (7 MB)
OSX dmg image (52 MB)
Windows Installer : under construction

3.1 版中把文档分离出来，放在了pentaho的wiki上来，这次一共有562 个bug 修复和新功能.