sqoop的安装和使用[通俗易懂]

sqoop的安装和使用

大家好,又见面了,我是全栈君。

关系行数据库与非关系型数据库之间的数据同步
一、在不使用sqoop的情况下
Mysql–>hive
1.利用naivacat(工具)将数据库中的表导出(导出的时候要主要制表符/t)
2.利用WinSCP(工具)上传到linux指定的文件夹下
3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'”
4.hive -e “load data local inpath ‘t1.txt’ into table t1”
(假设表里面有数据,须要truncate table hive表名。在运行4)
 truncate table t1;( 仅仅删除表数据)
或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”;
hive–>Mysql
1.hive -e “sql语句;>>name.txt”  导出在home/dev
2.然后在利用WinSCP(工具)下载到本地 
二、在使用sqoop的情况下
1.解压sqoop,配置环境变量:
在/etc/profile中加入:(没有root权限是不能改动的,所以仅仅能在sqoop/bin路径下启动)
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完毕后要运行 source  etc/profile
2. 解压mysql,将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里    
把sqoop解压后根文件夹下的sqoop-1.4.3.jar增加到hadoop-2.2.0/lib里就可以。

3. 列出mysql数据库中的全部数据库命令
./sqoop list-databases –connect jdbc:mysql://222.99.11.52:33221/ –username dev –password 1234
4. 将关系型数据的表结构拷贝到hive中
./sqoop create-hive-table –connect jdbc:mysql://222.99.11.52:33221/sampledata –table t1 –username dev –password 1234 –hive-table /hive/warehouse/t1
5.从关系数据库导入文件到hive中
./sqoop import –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password mysql-password –table t1 –hive-import
6.将hive中的表数据导入到mysql中
./sqoop export –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password admin –table uv_info –export-dir /user/hive/warehouse/uv/dt=日期
  
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/115632.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python进阶(8)多进程

    python进阶(8)多进程进程前置知识点进程:一个程序运行起来后,代码+用到的资源称之为进程,它是操作系统分配资源的基本单元。并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任务“一起”执行

    2022年7月28日
    9
  • 两个正序数组 找中位数_leetcode合并两个有序数组

    两个正序数组 找中位数_leetcode合并两个有序数组原题连接给定两个大小分别为 m 和 n 的正序(从小到大)数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。示例 1:输入:nums1 = [1,3], nums2 = [2]输出:2.00000解释:合并数组 = [1,2,3] ,中位数 2示例 2:输入:nums1 = [1,2], nums2 = [3,4]输出:2.50000解释:合并数组 = [1,2,3,4] ,中位数 (2 + 3) / 2 = 2.5示例 3:输入:nums1 = [0,

    2022年8月9日
    4
  • 数学建模中的选址问题_数学建模停车场规划问题

    数学建模中的选址问题_数学建模停车场规划问题选址问题:是指在规划区域里选择一个或多个设施的位置,使得目标最优。四个要素:设施、规划区域、位置(距离)、目标设施:按照设施的空间维度划分,可以将选址问题分为:1.立体选址问题:设施的高度不能被忽略,如集装箱装箱问题。2.平面选址问题:设施的长、宽不能被忽略,如货运站的仓位布局问题。3.线选址问题:设施的宽度不能被忽略,如在仓库两边的传送带布局问题。4.点选址问题:设施可以…

    2025年11月27日
    4
  • 如何在git中删除指定的文件和目录

    如何在git中删除指定的文件和目录

    2021年10月23日
    87
  • java文件转码工具-native2ascii.exe命令简介

    java文件转码工具-native2ascii.exe命令简介native2ascii.exe简介java的转码工具,需要java.dll动态库和相关程序才能执行。native2ascii.exe是Java的一个文件转码工具,是将特殊各异的内容转为用指定的编码标准文体形式统一的表现出来,它通常位于JDK_home\bin目录下,安装好JavaSE后,可在命令行直接使用native2ascii命令进行转码。JDK自带的工具native2ascii可以将uncode编码的文件转换为本地编码的文件,但是不能批量转换文件。native2ascii.

    2025年9月4日
    8
  • Php Laravel框架 多表关系处理 之 Eloquent一对多关系处理

    Php Laravel框架 多表关系处理 之 Eloquent一对多关系处理

    2022年2月1日
    42

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号