- 浏览: 472668 次
- 性别:
- 来自: 南阳
文章分类
最新评论
-
yuanhongb:
这么说来,感觉CGI和现在的JSP或ASP技术有点像啊
cgi -
draem0507:
放假了还这么勤啊
JXL操作Excel -
chenjun1634:
学习中!!
PHP/Java Bridge -
Jelen_123:
好文章,给了我好大帮助!多谢!
hadoop安装配置 ubuntu9.10 hadoop0.20.2 -
lancezhcj:
一直用job
Oracle存储过程定时执行2种方法(转)
没有全部遇到过。也没有经过测试。收集至此,以备以后遇到问题作为参考之用。
hadoop-0.20.2 & hbase-0.90.1集群启动错误问题解决:
问题如下:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:364)at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:113)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:215)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:177)
……………………………………
2011-01-21 00:14:41,550 INFO org.apache.hadoop.hbase.master.HMaster: Aborting
初步认为是hadoop-0.20.2 & hbase-0.90.1版本问题造成的,hbase-0.90.1/lib中hadoop-core-0.20-append- r1056497.jar使用的hadoop-core-0.20,因此将其替换为hadoop-0.20.2-core.jar即可
Hbase重启之后就无法启动的现象:
当我们使用Hbase 0.20.2的时候,遇到了2个奇怪的问题。
我们使用了数台机器构建了一个集群,并且按照Hadoop/Hbase的"Getting Started"安装配置了Hadoop和Hbase。之后能够正常启动Hadoop和Hbase,并且创建table和插入数据。
不过,当我们访问Master的页面时: http://10.37.17.252:60010/master.jsp ,我们发现了第一个问题:在regionserver区域,出现了2个127.0.0.1的regionserver,但是我们并没有在conf/regionservers将master设置为regionserver:
Region ServersAddress Start Code Load
127.0.0.1:60030 1263383321075 requests=0, regions=0, usedHeap=0, maxHeap=0
127.0.0.1:60030 1263383321096 requests=0, regions=0, usedHeap=0, maxHeap=0
………………………………
但是,虽然出现了以上的怪现象,但是hbase似乎仍然能够正常工作。只是,当我们打算重启hbase的时候,我们发现了第二个问题:我们尝试运行bin/stop-hbase.sh,之后,又运行启动hbase的脚本:bin/ start-hbase.sh,这一次,当我们访问master页面的时候http://10.37.17.252:60010/master.jsp,出现了如下的错误:
HTTP ERROR: 500Trying to contact region server null for region , row ", but failed after 3 attempts.
Exceptions:
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy to /10.37.17.248:60020 after attempts=1
…………………………
此时,Hbase能够进入shell,但是无法执行任何操作。于是再次试图关闭hbase的时候,却发现无法停止master,那个"stop master"后面的“.”出现了许许多多,仍然无法停止master节点。于是我们不得不强制kill掉master。Hbase就这样挂掉了。。。。。
Hbase重启之后就无法启动的原因分析:
经过多方排查,最后我在尝试使用netstat -an查看端口占用情况的时候发现:
在WAMDM1节点上,regionserver占用的60020端口占用为:127.0.0.1:60020
而在WAMDM2节点上, regionserver占用的60020端口占用为:10.37.17.249:60020
我感觉颇为蹊跷,之后便检查/etc/hosts文件,果然发现在WAMDM1和WAMDM2下的hosts文件不同。在WAMDM1的hosts文件中的内容为:
127.0.0.1 WAMDM1 localhost.localdomain localhost
10.37.17.248 WAMDM1.ruc.edu.cn WAMDM1
10.37.17.249 WAMDM2.ruc.edu.cn WAMDM2
10.37.17.250 WAMDM3.ruc.edu.cn WAMDM3
10.37.17.251 WAMDM4.ruc.edu.cn WAMDM4
10.37.17.252 WAMDM5.ruc.edu.cn WAMDM5
大家注意第一行。我们在使用配置Hadoop/Hbase的时候,常常使用主机名来代替IP使用,但是在WAMDM1的机器上,WAMDM1被映射为127.0.0.1,于是master和regionserver之间的通信就出错。这也就是为什么我们经常在日志中以及错误提示中看到如下信息:
Server at /10.37.17.248:60020 could not be reached after 1 tries, giving up.
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy to /10.37.17.248:60020 after attempts=1at org.apache.hadoop.hbase.ipc.HBaseRPC.waitForProxy(HBaseRPC.java:424)
………………
Hbase重启之后就无法启动的解决办法:
于是,我将所有机器的/etc/hosts文件,都改为了如下配置:
127.0.0.1 localhost
10.37.17.248 WAMDM1.ruc.edu.cn WAMDM1
10.37.17.249 WAMDM2.ruc.edu.cn WAMDM2
10.37.17.250 WAMDM3.ruc.edu.cn WAMDM3
10.37.17.251 WAMDM4.ruc.edu.cn WAMDM4
10.37.17.252 WAMDM5.ruc.edu.cn WAMDM5
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
同时,为了保险起见,我在stop-hbase.sh中,也加入停止regionservers的命令(虽然在网上查不到停止regionservers的必要性,以及这个脚本存在bug的证据,但是这样改经过测试是没有问题的):
"$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" --hosts "${HBASE_REGIONSERVERS}" stop regionserver
这个命令需要加在stop master之前。至于不加入这个停止regionservers的命令是否可行,在未来我会进一步测试。
通过以上修改,出现两个127.0.0.1的Regionserver的问题,以及Hbase重启就挂的问题得到彻底解决!
Hbase重启之后就无法启动的问题解决之后的反思:
从这次问题解决中吸取如下教训:
在配置分布式系统的时候,一定要注意各个机器之间配置的统一性,包括主机名(hosts文件)、用户名、Hadoop/Hbase各种配置文件等,对于不一致的情况,一定要特别仔细的检查,然后统一起来。已经不止一次在这方面吃亏了,希望大家切记!!!!
转自:http://www.wangzhongyuan.com/archives/788.html
在重新启动HBase服务的时候可能会出现如下的错误:
INFO ipc.HbaseRPC: Server at /227.23.56.100:60020 could not be reached after 1 tries, giving up.
出现这个错误的原因可能会有很多,比如各个配置文件中的地址不一致等,但我这里给出的一个可能原因是端口号被其他某一进程占用,或者还是HBase进程使用着,但此服务(或说此端口)已经不再可用,解决的方式为:通过此端口查找到对应的进程,然后杀死对应的进程,再重启HBase服务,你会发现上面出现的错误将消失,服务启动正常。
具体步骤为:
1、 lsof -i:60020 2、 kill -9 PID(进程ID) 3、 重启HBase服务。
FAILED: Error in metadata: MetaException(message:org.apache.hadoop.hbase.MasterNotRunningExceptio
n: dfsname1.cptrue.com:60000
最近在做数据挖掘方面的事情,需要hive+hbase表,但是使用hive链接hbase现有的数据库时,总是抛异常。
FAILED: Error in metadata: MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException: dfsname1.cptrue.com:60000
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:394)
at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:83)
at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:74)
………………………………
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
下面是我的hiveql语句
hive> create EXTERNAL table hbase_table_log(key string, label bigint) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
> with SERDEPROPERTIES ("hbase.columns.mapping"=":key, b:label")
> TBLPROPERTIES("hbase.table.name" = "log");
解决方案:这个问题基本就是hive+hbase版本的问题,你需要将你所使用的hbase的jar包拷贝到hive的lib目录下进行替换,这还不算结束,你需要将hbase-site.xml拷贝到conf目录下面。在不重启hive的情况下,重新建立external table,恭喜,运行成功!!!
这里需要注意的地方是with下面的mapping,它对应的值":key,b:label",不能出现空格,否则它会告诉你
FAILED: Error in metadata: MetaException(message:Column Family b is not defined in hbase table log)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
希望大家日后遇到这个问题的时候,可以顺利解决!
FAILED: Error in metadata: MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException: CNC-JN-R-541:60000
出现这个错误的原因是我引入的hbase包和hive自带的hive包冲突,删除hive/lib下的 hbase-0.89.0-SNAPSHOT.jar, OK了。
当使用hive相关管理已经存在的hbase 多列table时,出现上面错误,而且列族“department ”的确存在,最终发现原因是:在hive中使用CREATE EXTERNAL TABLE 创建表的时候,"hbase.columns.mapping"的值中不能包含空格
解决方法:报错上说org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 15 actions: NotServingRegionException: 15 times, servers with issues: rhel6-15:60020,我把rhel6-15的regionserver进程杀掉在重启,在把这台机子上的regionserver进程杀掉在重启,问题解决!!!(记得做了一点是把所有机器regionserver进程杀掉,Hmaster也杀掉,然后重启hbase用./hbase-start.sh),验证一点就是如果这台regionserver不起的话往这台机子上的数据会很小,几乎没有!!在所有regionserver上发现root和meta表是分离到不同的regionsever上的
来自: http://hi.baidu.com/xinfeng999/blog/item/56cf00fa4c46f7929f51460b.html
发表评论
-
mysql 定时任务
2015-11-03 09:57 729定时任务 查看event是否开启: show variabl ... -
mysql定时器
2015-08-04 14:01 5625.1以后可以使用 ALTER EVENT `tes ... -
oracle安装成功后,更改字符集
2015-07-23 11:53 594看了网上的文章,乱码有以下几种可能 1. 操作系统的字符集 ... -
运用navicat for mysql实现定时备份
2015-06-05 15:02 1047使用navicat for mysql实现定时备份 首 ... -
Oracle10g数据文件太大,导致C盘空间不够用的解决方法
2015-03-19 15:22 880由于在安装的时候将Oracle安装到了C盘,表空间也创建到了C ... -
mysql 获取第一个汉字首字母
2015-03-18 17:48 590select dmlb, dmz, dmsm1, CHAR ... -
mysql字符串函数(转载)
2014-11-13 12:05 533对于针对字符串位置的操作,第一个位置被标记为1。 AS ... -
MySQL中tinytext、text、mediumtext和longtext详解
2014-11-07 11:37 807、数字类型 类型 范围 说明 ... -
数据库中计算两地图坐标点之间的距离
2014-09-11 14:29 951CREATE OR REPLACE FUNCTION DI ... -
Oracle 取随机数
2014-05-26 11:58 4421、从表中随机取记录 select * from ... -
ORACLE 将BLOB类型转成SQL语句插入
2014-05-06 16:35 1183比如有张表结构如下: create table TestBl ... -
Oracle10g通过DBLink访问MySQL示例
2014-04-22 14:35 6301, 首先在Oracle所在计算机安装MySQL的Client ... -
Oracle执行计划详解
2014-04-22 09:32 609Oracle执行计划详解 ----- 简介: 本文全面 ... -
完全卸载oracle11g步骤
2014-03-06 18:04 548完全卸载oracle11g步骤: ... -
ODI(Oracle Data Integrator)初探
2014-02-10 17:35 0ODI(Oracle Data Integrator ... -
ORACLE10G RMAN 命令
2013-12-02 13:48 1043RMAN 命令 连接到目标数据库(不用恢复目录数据库) ... -
oracle之rman入门指南
2013-12-02 13:43 694这篇文章主要介绍RMAN的常用方法,其中包含了作者一些自己的经 ... -
RMAN参考使用手册(转)
2013-12-02 13:40 903RMAN的概念与体系结构 Oracle 9i RMAN的配置 ... -
数据泵文件
2013-12-02 13:34 771expdp介绍 EXPDP命令行选项 1. ATTACH 该选 ... -
oracle表分区详解
2013-09-22 10:05 653此文从以下几个方面来整理关于分区表的概念及操作: ...
相关推荐
hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
包含安装文件下载安装文件下载http://pan.baidu.com/share/link?shareid=663788401&uk=1947167851 linux下载http://pan.baidu.com/share/link?shareid=670839034&uk=1947167851
是在我使用hadoop ,hbase ,hive以及zookeeper的过程中所遇到的一些相关问题和解决方法,希望能帮助到大家
环境介绍:3台虚拟机安装centos6.5 64位、jdk1.7 64位、hadoop2.5.2 64位
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。
Hadoop、HBase、Zookeeper安装部署
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
Hadoop+Zookeeper+Hbase+Hive部署
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤
Hadoop+Zookeeper+HBase部署指南
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用,详细讲解ZooKeeper的原来和使用方法。
Hadoop+Zookeeper+Hbase安装配置使用.pdf
NULL 博文链接:https://zhengzhuangjie.iteye.com/blog/1408185
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
hadoop集群。亲测可用
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)
Hadoop+Zookeeper+HBase部署指南