Alex的个人Blog

分析型数据仓库的选择不同于普通的数据库选型, 它可能需要更多的综合考虑, 而不仅仅是数据库软件本身的选择, 硬件,软件,储存,用户需求, 而其中最大的挑战就是 性能 , 在其他硬件cpu , 内存都循着摩尔定律提升的时候,硬盘却没有明显的速度上的进步, 而大型分析型数据仓库往往又是大容量的同义词,所以性能比功能,管理性等等其他的都要重要.

    现在总的来说有18个比较有名的供应商可以应对生产环境的挑战, 其中既有私有软件与硬件的组合 ,也有开放式软件+普通硬件的组合

    总体架构上有4种, 普通的OLTP 型的 , MPP row-based型的 (mpp 是大规模并行处理), 列选择型的, MOLAP型的.

    每一种都有典型代表, 基本上没有谁有特别的架构上的优势,

    用户需求则是决定数据仓库选型的第一条件 , 总体容量,并发用户,数据刷新频率等等, 尤其重要的是在购买前一定要有足够的POC (PROOF OF CONCEPT) , 最还是能有真实环境完完全全的测一遍, 分清楚你一定要有的功能和如果有更好的功能 , 价格上的限制,特定供应商的限制,私有硬件的容忍度,管理难度和将来可扩展的要求,

    调查清楚你的用户将来会如何使用数据库也是重点之一,

Reports , Dashboards and alerts ,  Ad-hoc , OLAP , data mining , 每一个分析领域的并发用户,使用频率,

    记住一定至少要有三个以上的供应商供选择, 让他们辅助你测试,而不是辅助你选型.

    调查清楚用户需求可能是最难的,千万不要想当然 , 最好能让各部门都调查清楚自己的需求,然后再汇总, 并且一定一定要真实测试.

可以参考一下下面的PPT 文档, 文章是dbms2 的编辑写的.

参考资料

http://www.dbms2.com/2009/02/04/draft-slides-on-how-to-select-an-analytic-dbms/

2009年1月16 gartner 又发布了2008年的商业智能魔力象限的调查报告, 不像数据仓库提供商有很明确的领跑者跟挑战者, 商业智能平台方面没有很大的差距, 尤其是跟2007年相比, 除了原先商业智能方面的3巨头被收购以外, 使原本的差距缩的更小, 传统的四大软件供应商IBM ,Oracle , Microsoft , SAP (BO) 以及专注于数据挖掘的SAS . 个人还是比较欣赏Actuate 的, 不过今年的执行度和愿景完整性还比去年下降了. 不多说了,看图吧

2008年的魔力四象限

2007年的魔力四象限

参考资料

http://www.dbms2.com/2009/01/22/gartners-2009-magic-quadrant-for-business-intelligence/

http://mediaproducts.gartner.com/reprints/sas/vol5/article8/article8.html

http://mediaproducts.gartner.com/reprints/microsoft/vol7/article3/article3.html

BI作为一个方兴未艾的领域, 在我们还没来得及数清到底有多少BI 工具提供商的时候, 大大小小的专门面向BI的数据仓库解决方案已经进入竞争激烈的市场, 其中不乏传统的数据库大鳄,更有不少新兴的创业公司,当然也少不了开源数据库厂商的参与.

除开传统的商业智能方面数据库四大天王:teradata , oracle,ibm, microsoft 之外, 也有不少后期之秀不断挑战,像是我们熟知的"以列为导向的"Sybase IQ . 除开我们众所周知的明星之外, 下面介绍一些大家不太熟悉的有潜力的挑战者, 让我们开始这场选秀活动吧(Rock and Roll) :!

                    Garnter 的数据库魔力四象限

我们看到最接近Sybase IQ 的Netezza 公司是非常有实力的挑战者之一 , 它的主要特点就是面向商业智能并且专注于商业智能领域的应用,其主要产品为Netezza Performance Server系列数据仓库专用设备，为了能够分析商业数据，其数据仓库专用设备中整合了数据库、服务器和存储等各项功能, 你可能对这家公司不太熟悉,但是这家成立于2000年的公司早已经是中高端市场的老大了, 早已经是混的风声水起,即使是Oracle Open World 大会上,oracle 与hp 推出了硬件和软件组合的两款Exadata Programmable Storage Server 和HP Oracle Database Machine , Netezza 一样毫不含糊, 立刻展开针对这个组合的宣传,Netezza is fast, Netezza has more processing power, Netezza handles analytics inside the box,netezza is integrated in one box,from one vendor, netezza needs no tunning or indexing, 甚至打出了连圣诞老人都想要netazza 的广告, 专门针对oracle 销售策略,俨然一副我是老大,就算你是oracle 和hp 跟我抢食也要看你有几分斤两.

公司网址:http://www.netezza.com/

Greenplum 也是非常耀眼的新星之一 , 其首要目标就是直指PB 级别的超大型数据仓库, 其shared-nothing 的架构更是不像Teradata 和netezza 一样需要专属高端硬件配合, 任何Intel , AMD 芯片的普通服务器都能很容易的搭建集群环境, SQL Parallel Process + MapReduce 技术优势更是其宣传的最大卖点,Teredata 共有5家客户达到PB 级别,其中ebay 和walmart 的级别更是2PB 和 1.1 PB , Greenplum 这个运行在普通PC Server 上通过集群的高性能数据库相信在不久的将来也会很快有真正的PB 级别的案例产生. 在获得Sun ,SAP 等公司的风投后共获得4200万美元资金,更在中国建立合作伙伴关系开发国内市场,SUN 更是直言不讳的想通过Greenplum 的优势杀入商业智能市场,带动其服务器,储存和Solaris 的销售, 国内的淘宝团队也开始考虑使用greenplum + hadoop 的技术构建商业智能平台, 它不仅支持SQL、MapReduce、R、Pythons 等编程语言,新的3.2 功能还增加了GUI , 性能管理器的功能. 如果你嫌Teredata 和 Oracle RAC 太昂贵的话, Greenplum 一定在你构建超大型数据仓库的考虑范围之内. 注意它虽然构建在Postgresql 之上,但是数据库本身是闭源的商业产品, 因为Postgresql 是BSD license 的.

首页: http://www.greenplum.com

http://rdc.taobao.com/blog/dw/archives/category/greenplum

淘宝的一些greenplum 研究.

DATAllegro  是一家已经被microsoft 收购的公司,为了补充SQL Server 在商业智能方面的应用. 它同时也提供专属的硬件,microsoft 收购之后已经着手进行整合,产品的最终版本可能要到2010年上半年才能面世. 数据库的规模大概在百T左右.

http://www.datallegro.com/

Kognitio是一家提供数据仓库主机托管解决方案提供商（APS）,第一次进入Gartner , 主要市场针对UK.

http://www.kognitio.com

Sand Technology 是一家加拿大的公司,主要市场在UK,Germany , US. 也是基于列的数据库, 主要强调用廉价的低速磁盘获得可接受的查询性能.

http://www.sand.com/

http://www.dbms2.com/2008/12/16/introduction-to-sand-technology/

除了能够上Garnter 的一些厂商之外,还有很多商业产品都各自有其技术优势: 像是Clearpace   比较强调数据归档和压缩,查询性能也能够与Oracle 匹敌(当然没有Netezza 那么肯定的强调) .

还有vertica , 也是强调基于列和网格的数据库,也能进行高性能的分析查询.运行于普通的硬件上,大客户包括JP Morgan Chase 等,Vmware 上还有一个装好的vertica analytic database 虚拟机给你玩, 它的ETL 性能测试还刷新的新的ETL记录,一小时转载了5.4TB 的数据.

http://www.vmware.com/appliances/directory/1266

vmware 虚拟机的下载地址.

kickfire 一家基于mysql 数据库,但是面向商业智能的基于列的数据库提供商.

还有太多就不一一列举了

http://www.paraccel.com

http://db.cs.yale.edu/hstore/

http://www.asterdata.com

http://www.exasol.com/

http://pyrrhodb.msroot.paisley.ac.uk/org/

每个都是各有强调重点, 技术特长不一.

就像OLTP 数据库中众多的厂商也没有阻止开源数据库的脚步,data warehouse 数据库中自然也不乏开源的身影.

比较有名的像是Infobright (http://www.infobright.org) , 这是一个基于mysql 的储存引擎, 同样也是基于列计算, 其最大的宣传重点在于高压缩比率和知识网络, 宣传的压缩比率经常在10:1 – 40:1 之间, 其知识网格技术可以不使用索引也能够进行高效率的查询运算.另外还有高速的数据装载工具, 当然还有一些技术上的限制比如缺乏国际支持, 并发性不高, 不能利用多核,没得到Windows或Solaris支持,没有ALTER TABLE有关的支持等, 详情可以查看

http://tech.it168.com/a2008/1024/209/000000209206.shtml

Bizgres(http://bizgres.org) , 是一个多厂商合作的,主要由greenplum 领导,基于postgresql 的商业智能数据库, 它最大的强调重点就是和其他开源的商业智能工具和平台提供商有很好的合作,像是JasperSoft reporting tools 和Kinetic Networks ETL tools

enterprisedb (http://www.enterprisedb.com) , 在基于postgresql 的基础上构建了OLTP 的数据库,主要走商业路线, 在商业智能领域则是另外一款产品grid sql , 或者说postgresql plus , 听名字就知道强调网格计算, 使运行在普通PC Server 上的数据库可以轻松进行并行计算完成复杂查询,再加上postgresql 本来就有的不少高级特性(物化视图,bitmap index 和分区) , 使得在中小型数据仓库中也值得一试.

MonetDB (http://monetdb.cwi.nl/) , 强调其在数据挖掘上的应用,OLAP , GIS, XML Query , 文本和多媒体查询. 有windows 和linux 两个版本, 如果你有特殊的商业智能应用,或者科研机构之类的可以研究一下.

LucidDB (http://www.luciddb.org/) 将是今天最后一个介绍的数据库, 它强调自己是第一个也是唯一一个只为数据仓库目的建造的数据库,同样也有 列储存,bitmap indexing , hash join/aggregation 等常见数据仓库技术, 新版中强调在线热备份和基于时间点的快照功能, 另外一个最大的特色就是和开源的商业智能厂商之间有很好的合作, 像是开源ETL工具中的kettle 和talend 都有其插件帮助装载数据, 还有pentaho 最有名的产品,开源OLAP 中的实际标准mondrian 的支持:automatic Mondrian aggregate table designer add-on 和Mondrian source replication . (注: mondrian aggregate 是pentaho 2.0 新功能之一, 查看我写的pentaho 2.0 新功能一览(http://www.gemini5201314.net/?p=108) )

它同时是Eigenbase 项目的一部分,主要也是强调商业智能和数据仓库这一块的一个项目,和一个商业的中间件sqlstream 可以很好的组合( stream processing ,the SQLstream continuous query engine , 实现实时数据仓库的一个中间件,主要做CDC change data capture, mondrian 的主开发者很喜欢这个东西, 他已经写了两篇介绍这个玩意

http://julianhyde.blogspot.com/2008/12/streaming-analytics-over-content-feeds.html

http://julianhyde.blogspot.com/2008/12/streaming-content-feeds-part-2-forging.html

好吧,今天就到这里吧,Until next time.