sqoop

• 将sqoop包导入到虚拟机中
• 命令
• • 查看
  • 查看指定mysql数据库数据库中的表
  • 在hive中创建一个teacher1表，跟mysql的mysql_test库中的teacher结构相同
  • 将mysql数据库中mysql_test的数据导入到hdfs指定的/tmp/mysql_test/score文件目录中
  • 将kb21数据库中account的数据导入到hdfs指定的/tmp/kb21/account文件目录中
  • query使用
  • 将mysql_test中的表score导入hive default库中
  • 将mysql_test中的表score导入hive 指定的kb21库中

将sqoop包导入到虚拟机中

命令

查看

sqoop list-databases --connect jdbc:mysql://192.168.153.141:3306 --username root --password root

查看指定mysql数据库数据库中的表

sqoop list-tables --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root

在hive中创建一个teacher1表，跟mysql的mysql_test库中的teacher结构相同

sqoop create-hive-table --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --table teacher --hive-table teacher1

将mysql数据库中mysql_test的数据导入到hdfs指定的/tmp/mysql_test/score文件目录中

[root@cp145 ~]# sqoop import --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --table score --target-dir /tmp/mysql_test/score --fields-terminated-by '\t' -m 1

将kb21数据库中account的数据导入到hdfs指定的/tmp/kb21/account文件目录中

sqoop import --connect jdbc:mysql://192.168.153.141:3306/kb21 --username root --password root --table account --target-dir /tmp/kb21/account --fields-terminated-by '\t' -m 2

sqoop import --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --table score --where "s_id='1'" --target-dir /tmp/mysql_test/sid1 -m 1

query使用

sqoop import --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --target-dir /tmp/mysql_test/scquery --query 'select * from score where $CONDITIONS and c_id="2" and s_score>80 ' --fields-terminated-by '\t' -m 1

将mysql_test中的表score导入hive default库中

sqoop import --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --table score --hive-import -m 1

将mysql_test中的表score导入hive 指定的kb21库中

sqoop import --connect jdbc:mysql://192.168.153.141:3306/mysql_test --username root --password root --table score --hive-import --hive-database kb21 -m 1