`
weitao1026
  • 浏览: 992902 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

用Sqoop从Mysql数据库里向Hbase里导入数据

hbase 
阅读更多

用Sqoop从Mysql数据库里向Hbase里导入数据，导入成功后，在eclipse上使用Java Hbase API的连接集群，打印所有数据，结果一运行程序，日志显示无法定位登录配置，具体信息如下：

Java代码 复制代码 收藏代码
  1. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;.  
  2. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\  
  3. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.compiler=<NA>  
  4. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.name=Windows 7  
  5. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.arch=amd64  
  6. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.version=6.1  
  7. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.name=qin  
  8. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin  
  9. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst  
  10. 2013/12/29-02:20:46  INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection  
  11. 2013/12/29-02:20:46  INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC  
  12. 2013/12/29-02:20:46  INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)  
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;.
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.compiler=<NA>
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.name=Windows 7
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.arch=amd64
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.version=6.1
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.name=qin
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst
2013/12/29-02:20:46  INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection
2013/12/29-02:20:46  INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC
2013/12/29-02:20:46  INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)



其实这个信息，并不是Hbase的异常，而是客户端找不到zookeeper的解析地址，由于Hbase是通过hostname解析IP地址的(DNS)，Zookeeper只会返回Hbase的域名，需要客户端通过DNS或本地hosts文件进行解析。
解决办法：
在Linux上，在/etc/hosts文件中添加Hbase Master节点的域名及IP地址映射，
在Windows上，修改C:\Windows\system32\etc\hosts文件，添加Hbase Master节点的域名及IP地址映射。
截图如下：








至此，就可以正常使用了，再次启动程序，已经发现没有刚才的问题了

分享到：
| Hbase是够建在HDFS之上的半结构化的分布式 ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行...5.使用Sqoop将数据从MySQL导入HBase 6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集，报告中有源码，是用spark做的

    spark大作业.zip

    使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、...5、使用Sqoop将数据从MySQL导入HBase 6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

    分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化

    将爬取到的滴滴出行相关数据整理后上传存储到Hbase中，然后导入到Hive中并进行数据分析，将数据分析后的结果通过Sqoop导入到Mysql中，最后对数据进行可视化。

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    课时21：使用sqoop2将mysql数据导入到HBase 课时22：集群管理之节点管理与数据任务 课时23：Rowkey设计与集群常见故障处理 课时24：集群调优经验分享 课时25：项目介绍与Solr环境搭建 课时26：数据层设计与中文...

    sqoop工具_202006041735481.docx

    用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase 和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能 外，Sqoop 也提供了...

    sqoop安装详解以及sqoop介绍

    sqoop安装详解以及sqoop内容介绍使用介绍 ...2、导入数据：从结构化数据（Mysql,oracle,db2,）导入到半结构化或非结构化hadoop中（HDFS、HIVE、HBASE） 3、导出数据：从haoop中将数据导出到关系数据库中MySql

    大数据-sqoop.pptx

    将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令（例如 LOAD DATA 语句），手动将数据载入 Hive 或 Hbase 大数据-sqoop全文共16页，当前为第4页。 Sqoop版本区别 功能 Sqoop1 Sqoop2 数据从 Hive 或 ...

    大数据运维技术第9章 Sqoop组件安装配置.pptx

    它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。Sqoop由Apache软件基金会提供。;9.2 Sqoop功能应用;9.2.1 Sqoop架构;;;;9.2.2 Sqoop导入原理; JDBC的ResultSet...

    Sqoop同步数据命令

    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据...

    Hbase+Spring boot实战分布式文件存储

    3-2 HBase读流程 3-3 HBase模块协作 3-4 HBase实战：Shell命令实战 3-5 HBase实 战：Java Api实现HBase连接类 3-6 HBase实战：Java Api实现HBase操作类 3-7 HBase实战：用过滤器筛选数据 3-8 HBase阶段小结 ...

    Apache Hadoop---Sqoop.docx

    Sqoop可以将一个关系型数据库（例如MySQL、Oracle、PostgreSQL等）中的数据导入Hadoop的HDFS、Hive中，也可以将HDFS、Hive中的数据导入关系型数据库中。Sqoop充分利用了Hadoop的优点，整个数据导入导出过程都是用...

    现代物流大数据分析大作业《网站用户行为分析》

    此案列涉及了数据预处理、存储、查询和可视化分析等数据处理，涉及了各种关于数据处理的操作，其中涵盖了关于Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法，是一个综合实践...

    Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点5　使用Sqoop 从MySQL 导入数据 2．2．4　HBase 技术点6　HBase 导入HDFS 技术点7　将HBase 作为MapReduce 的数据源 2．3　将数据导出Hadoop 2．3．1　将数据导入本地文件系统 技术点8　自动复制HDFS 中的...

    大数据实验报告对应我的第二篇博客

    （2）安装列族数据库HBase 27 （3）安装Zookeepper 28 （4）安装数据仓库Hive 29 （5）安装Sqoop 32 （6）安装Eclipse 33 二、数据导入 34 1. 数据库、表清单 34 2. 数据对象的定义 37 （1） 创建数据库 39 （2） ...

    Hadoop实战(第2版)

    2．2．3　从数据库中拉数据技术点4　使用MapReduce 将数据导入数据库 技术点5　使用Sqoop 从MySQL 导入数据 2．2．4　HBase 技术点6　HBase 导入HDFS 技术点7　将HBase 作为MapReduce 的数据源2．3　将数据导出...

    hadoop笔记

    hbase : mysql 是基于 linux/windows 的文件系统的数据库 ,而 hbase 就是基于 hdfs 文件系统的数据库 5. flume : 就是一个水泵 ,将水从一个源水坑 ,抽到另一个目的水坑中 ,当然 flume 抽的是 "数据" ,将数据从一个...

    (南阳理工)大数据实验报告02.docx

    （2）安装列族数据库HBase（目录内容） 27 （3）安装Zookeepper（目录内容） 28 （4）安装数据仓库Hive（目录内容） 29 （5）安装Sqoop（目录内容） 32 （6）安装Eclipse（目录内容） 33 二、数据导入（目录内容） ...

    基于hadoop实现的电影推荐网站+源代码+文档说明

    每过一段时间就对该时段内的评分数据进行协同过滤算法的MapReduce计算，计算结果是存储在HDFS里的，所以要使用sqoop工具来对HDFS中非关系型数据转发到MYSQL这样的关系型数据库中，导入到MYSQL的推荐表中。...

    基于hadoop生态实现的的电影网站+源代码+文档说明

    每过一段时间就对该时段内的评分数据进行协同过滤算法的MapReduce计算，计算结果是存储在HDFS里的，所以要使用sqoop工具来对HDFS中非关系型数据转发到MYSQL这样的关系型数据库中，导入到MYSQL的推荐表中。...

Magicbox
Global site tag (gtag.js) - Google Analytics