sqoop将mysql导入hive，mysql导入到hive

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

sqoop从mysql导入到hive为什么0变成null

1、Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。

2、hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。

3、然后再SELECT一个，会发现表里有数据了。因此笔者猜测（只是猜测）可能是因为导入之后表格的元数据没有写入到Hive中。笔者查找了相关的资料，发现Hive默认是将元数据存储在derby中，所以笔者考虑将derby换成MySQL。

4、场景使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。

5、hive中空值有三种情况，null(NULL值)、\0字符(hive自定义的空字符）、（空字符）。

6、运行环境 centos 6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs，hive之间数据导入导出的一个工具。

把它追加到HDFS 中一个文本文件。数据库被映射为单独的目录，它们的表映射为子目录，保存在数据仓库目录。每个表的数据被写到Hive/ HDFS中文本文件(称为datafiletxt)。

Sqoop提供了简单易用的命令行接口，用于在关系型数据库（如MySQL、Oracle）和Hive之间传输数据。使用Sqoop可以处理大规模、高吞吐量的数据导入，并支持增量导入和并行导入。

hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。

最近在将数据从Mysql 等其他关系型数据库抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive表字段注释修改语句。

hive一般只用于查询分析统计，而不能是常见的CUD操作，要知道HIVE是需要从已有的数据库或日志进行同步最终入到hdfs文件系统中，当前要做到增量实时同步都相当困难。和mysql，oracle完全不是相同的应用场景。

使用Sqoop完成从MySQL同步数据到HDFS；使用Sqoop完成从MySQL同步数据到Hive表；如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

1、导出数据到MySQL，当然数据库表要先存在，否则会报错，此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。

2、场景使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。

3、Sqoop提供了简单易用的命令行接口，用于在关系型数据库（如MySQL、Oracle）和Hive之间传输数据。使用Sqoop可以处理大规模、高吞吐量的数据导入，并支持增量导入和并行导入。

导出数据到MySQL，当然数据库表要先存在，否则会报错，此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。

把运行命令贴一下呗！（不过，你是不是执行过grant all ... localhost操作呀？如果是那样的话，你用root用户就登不上了，你换到登陆系统的那个用户名下试试。

此时有两种解决方案。一种是在Hive中手动地使用CREAT命令创建出表格，然后再SELECT一个，会发现表里有数据了。因此笔者猜测（只是猜测）可能是因为导入之后表格的元数据没有写入到Hive中。

关于sqoop将mysql导入hive和mysql导入到hive的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。