1、将mysql驱动拷贝到sqoop的lib中
2、测试sqoop与mysql的连接
[root@centos1 bin]# sqoop list-databases --connect jdbc:mysql://192.168.1.100:3306/ --username root --password root
3、从mysql导入到hdfs
sqoop ##sqoop命令 import ##表示导入 --connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url --username sqoop ##连接mysql的用户名 --password sqoop ##连接mysql的密码 --table test ##从mysql导出的表名称 --fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符 -m 1 ##复制过程使用1个map作业 #一条完整的命令 sqoop import --connect jdbc:mysql://192.168.1.100/test --username root --password root --table test --fields-terminated-by ':' -m 1 #数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade_detail --columns 'id, account, income, expenses' #指定输出路径、指定数据分隔符 sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade_detail --target-dir '/sqoop/td' --fields-terminated-by '\t' #指定Map数量 -m sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade_detail --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2 #增加where条件, 注意:条件必须用引号引起来 sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' #增加query语句(使用 \ 将语句换行) sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 \ --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'
注意:如果使用--query这个命令的时候,需要注意的是where后面的参数,AND $CONDITIONS这个参数必须加上,而且存在单引号与双引号的区别,如果--query后面使用的是双引号,那么需要在$CONDITIONS前加上\即\$CONDITIONS,如果设置map数量为1个时即-m 1,不用加上--split-by ${tablename.column},否则需要加上
3、将hdfs上的数据导入到mysql
[root@centos1 bin]# sqoop export --connect jdbc:mysql://192.168.1.100:3306/test --username root --password root --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ','
4、配置mysql远程连接
GRANT ALL PRIVILEGES ON itcast.* TO 'root'@'192.168.1.201' IDENTIFIED BY '123' WITH GRANT OPTION; FLUSH PRIVILEGES; GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION; FLUSH PRIVILEGES
相关推荐
实战Sqoop数据导入及大数据用户行为案例分析(全套视频+代码+工具+课件讲义) 内容包括: 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将...
2. 练习使用Sqoop将数据从Mysql中导入到HBase中 3. 练习使用Sqoop将数据在Mysql与Hive之间的导入导出 4. Sqoop上的操作举例
NULL 博文链接:https://kingding.iteye.com/blog/2435018
实践报告
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS(VMware) 后端-Java (JDK 1.8), Sqoop(v1.4.7) , Hadoop(v3.3.0) 库-OJDBC(v7),commons-lang-2.6.jar ...
第二章:Sqoop数据导入实战开发 1.Sqoop导入开发参数详解 2.数据导入分布式文件系统HDFS 3.数据导入数据仓库Hive 4.基于复杂条件实现数据导入 5.基于订单案例实现Increment增量同步数据 6.基于订单案例实现...
hadoop平台下的一个非常好用的工具Sqoop,Sqoop是一个从关系型数据库中导入数据到大数据平台的有效工具,同样也可以将大数据平台中的数据导入到关系型数据库中
数据同步Sqoop用法之mysql与Hive导入导出.docx
1.sqoop基本概念 2.配置sqoop环境 3.sqoop的典型应用 4.sqoop的原理 5、sqoop环境的配置步骤 6、理解sqoop的原理 7、熟练使用sqoop导入导出数据
除了代码还有总结内容,代码主要实现了从sqoop1.99.7从oracle导出数据到HDFS某目录;总结内容是一些踩坑的总结,还有一些坑的说明在代码注释里;灵活利用,可以帮助你跑通oracle到hdfs的过程。
sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中(HDFS、HIVE、HBASE) 3、导出数据:从haoop中将数据...
通过条件查询hbase数据导出csv,文本,html等文件,实现方式:将hbase关联hive,然后将hive数据导入真实表,在将真实表数据导入sql数据库
当大数据存储和Hadoop生态系统的MapReduce,Hive,HBase等分析器出现时,他们需要一种工具来与关系数据库服务器进行交互,以导入和导出驻留在其中的大数据。Sqoop在Hadoop生态系统中占据一席之地,为关系数据库...
Hadoop2.6伪分布安装sqoop1.4.6及hdfs与mysql导入导出数据 sqoop安装及简单测试 启动sqoop 启动mysql 从mysql导入数据到hdfs中 从HDFS导出数据到mysql
包括数据导入,导出,[www.javaxxz.com]1.02_02_01_17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import)
深入Sqoop的导入(共29页).pptx 大数据与云计算教程课件 优质大数据课程 27.深入Sqoop导出(共19页).pptx 大数据与云计算教程课件 优质大数据课程 28.Flume(共33页).pptx 大数据与云计算教程课件 优质大数据课程...
将MySQL数据导入到hdfs(全部导入和部分导入相关操作); 将MySQL数据导入到Hive;增量导入数据(包括:全量导入&增量导入);增量导入的2种方案; 从hdfs导出到mysql;从hive导出到mysql; Sqoop中的Job任务使用;...
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理...sqoop的数据导入 语法:sqoop import (generic-args) (import-args) 常用参数 -co
用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase 和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能 外,Sqoop 也提供了...