hbase importtsv 能导csv格式的数据吗

发布网友

我来回答

2个回答

热心网友

一、HBase介绍

HBase是Apache
Hadoop中的一个子项目,依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Rece对HBase进行操作。HBase是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式。HBase是介于Map
Entry(key & value)和DB
Row之间的一种数据存储方式。你很可能需要存储多个属性的数据结构,但没有传统数据库表中那么多的关联关系,这就是所谓的松散数据。简单来说,你在HBase中的表创建的可以看做是一张很大的表,而这个表的属性可以根据需求去动态增加,在HBase中没有表与表之间关联查询。你只需要告诉你的数据存储到HBase的那个column
family就可以了,不需要指定具体类型,需要注意的是HBase中不包含事务的功能。

二、ImportTsv介绍

将数据导入HBase,通常HBase用户会使用HBase
API进行数据导入,但是如果一次性导入大批量数据,可能会占用大量Regionserver资源,影响存储在该Regionserver上其他表的操作,或者性能低下,那么怎么才能高效地将数据导入HBase呢?
ImportTsv是HBase官方提供了基于maprece进行批量数据导入的工具,ImportTsv可以将HDFS上的TSV格式(默认制表符分隔\t,或者自定义分隔符的其他格式数据文件也可,逗号‘,’分隔的txt亲测可以)的数据文件通过命令简单方便地导入到HBase中,对于大数据量的导入非常实用。

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com