存档

文章标签 ‘tenzing’

Hive 进化最终方向：列数据库

2011年11月20日 没有评论

Facebook 在2010年4月发表了一篇在Hadoop 里面实现列储存的论文: RCFile: A Fast and Space efficient Data Placement Structure in MapReduce based Warehouse Systems.

CSDN 上面有这篇文章的一部分翻译, 它当时提出这个设想其实就是想做一个列数据库，而实现列数据库的第一步就是实现列储存，本文主要介绍当时Hive 的RCFile 的实现环境与限制，下一代Hadoop的架构对新的RCFile 产生的影响以及将来可能出现的Hadoop 列数据库计算模型的一些相关问题.

 

RCFile 在实现的时候主要需要满足facebook 在以下4个方面的需求:

  • Fast data loading、
  • Fast query processing、
  • Highly efficient storage space utilization
  • Strong adaptivity to highly dynamic workload patterns

    facebook 团队在参考设计的时候使用的是实验性质的C-store 数据库，而不是像另外一篇非常有名的Hadoop 与DBMS 争论的论文: A Comparison of Approaches to Large-Scale Data Analysis 中使用的是列数据库中非常好的Vertica 数据库做参考. 所以其在上面4点中并没有得到最好的设计，尤其是当时的Hadoop 架构上的限制非常的大，RCFile 的推出算是一种可以接受的能够实现的设计, 毕竟一个不算完美的设计可以慢慢修改，而一个设计非常优秀但是不能实现的设计等于空话.

    阅读全文…

    • 分类: Analytic Platform, Hadoop 标签: , , , ,