Hadoop 0.23 性能笔记
2011年11月21日
没有评论
Cloudera 的Hadoop World上看到的这个PPT: Hadoop and Performance,介绍了一些现在0.20 和0.23 版本性能优化的技巧，这里做个笔记
Hadoop 性能误区
- Java 很慢 Hadoop 主要的瓶颈在磁盘IO 或者网络传输上，不是cpu
在cpu 热点上，我们可以使用JNI 或者sun.misc.Unsafe
- Java 没有提供足够的系统底层的支持 JNI 跟C一样可以容许我们调用任何系统调用
我们能够集成汇编代码
- Hadoop IO 有太多层了 Linux IO调度器，ext4,XFS 的开发人员的确比我们更了解系统底层IO
每个系统都会有IO调度和文件层，那些绕开操作系统的（比如DBMS)都是为了实现移植性