阅读 102

Hbase与Hive的区别与联系

参考了网上的一些资料,这两者的关联基本如下

  • Hbase,是数据库,是基于Hadoop的一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如交易清单、日志明细、轨迹行为等。使用Phoenix等工具,可以接近于操作传统rmdb一样操作hbase数据库。
  • Hive,通过元数据来描述HDFS上的结构化文本数据。因此,严格地讲,Hive并非数据库,主要是让开发人员能够通过SQL(HQL语言)来计算和处理HDFS上的结构化数据(Hive会将SQL翻译为MapReduce来处理数据)。Hive适用于离线的批量数据计算。Spark这类计算引擎,其用的就是Hive的元数据。
  • Hbase与Hive通常用来合作进行大数据处理:
    1、通过ETL工具将数据源抽取到HDFS存储;
    2、通过Hive清洗、处理和计算原始数据;
    3、HIve清洗处理后的结果,如果是面向海量数据随机查询场景的可存入Hbase
    4、数据应用从HBase查询数据;


    26.png

简单点说,Hive用于数据清洗、处理,是“后台服务”,而Hbase存储Hive处理后的数据,面向外部提供查询,是“前台服务” :)

参考:(6 封私信 / 80 条消息) HBase 和 Hive 的差别是什么,各自适用在什么场景中? - 知乎 (zhihu.com)

浅谈Hbase和Hive的区别以及分别适用的场景(内附大数据资料) (sohu.com)

作者:阿乐_822e

原文链接:https://www.jianshu.com/p/3083fc86329a

文章分类
后端
文章标签
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐