今天为大家带来的是好程序员大数据视频教程之—数据同步工具sqoop高级课程。还是老规矩：全套视频+源码+安装软件+课件（笔记）。欢迎各位同学下载学习，更多大数据免费视频教程可以关注微信公众号：好程序员。

1、什么是sqoop？

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

2、sqoop工作机制

将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

3、sqoop核心功能

sqoop核心的功能有两个：

（1）导入、迁入

导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统

（2）导出、迁出

导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。

4、课程简介

（1）课程简介：

本课程涵盖sqoop的概念、数据导入(import)、数据导出(export)、增量数据同步、多种增量同步方案、增量更新导出、sqoop的job定义、sqoop的job操作等知识点。该课程覆盖范围广，同时该课程是数据同步技术中一套亮眼课程，你值得拥有。

（2）课程价值：

学完完全掌握数据增量同步技术、掌握插入更新导出、掌握导入数据为parquet格式、掌握parquet格式数据导出到关系型数据库等。

（3）适用人群：

适用于大数据从业者、数仓从业者、ETL从业者和对大数据技术感兴趣的初学人员等等。

（4）课程亮点：

增量同步方案、同步为parquet格式、增量更新导出、parquet格式数据导出、sqoop优化、sqoop并发等

5、好程序员大数据-sqoop高级课程学习路线图

01 同步工具来源

02 sqoop的定义

03 sqoop的安装

04 sqoop列出库和表

05 sqoop导入数据到hdfs目录

06 sqoop的导入指定列指定分隔符指定空值处理

07 sqoop导入指定文件格式和压缩

08 sqoop的导出及注意事项

09 sqoop高级之导入数据到hive中

10 sqoop高级之导入数据到hive的分区表中

11 sqoop的job相关命令和免密

12 sqoop高级之更新并插入导出到mysql中

13 sqoop高级之导出parquet格式数据到mysql中

14 sqoop高级之使用脚本进行定时任务

15 回顾

16 作业

17 sqoop的自增场景描述

18 sqoop增量之query where语句

19 sqoop增量之append语句

20 sqoop增量之lastmodified语句

21 sqoop的优化

6、领取方法：

关注本公众号：好程序员，回复“DT8”免费获取“好程序员大数据视频教程之sqoop”，全套视频+源码+安装软件+课件（笔记）

扫码关注，领视频