2011 年文章归档
共 105 篇文章
HBase分布式安装手册
一、安装准备 1、下载HBASE 0.20.5版本: http://www.apache.org/dist/hbase/hbase-0.20.5/ 2、JDK版本:jdk-6u20-linux-i586.bin 3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 4、默认前提是安装完hadoop 0.20.2版本: 192.168.3.131 namenode 192.168.3.132 datanode 192.168.3.133 dat…
hadoop,hbase,zookeeper错误日志及部分解决办法(2)
hdfs中,提示权限错误: 代码如下: public class Loadup { public static void main(String[] args) throws Exception{ final int piece=10; String localSrc=args[0]; String Dst=args[1]; Configuration conf=new Configuration(); InputStream in=new BufferedInputStream(new FileInputStream(localSrc)); FileSystem fs=FileSystem…
hadoop,hbase,zookeeper错误日志及部分解决办法(1)
没有全部遇到过。也没有经过测试。收集至此,以备以后遇到问题作为参考之用。 hadoop-0.20.2 & hbase-0.90.1集群启动错误问题解决: 问题如下:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:364) at org.apache.hadoop.…
Ubuntu关机、重启、注销命令
1关机命令 shutdown 好像ubuntu的终端中默认的是当前用户的命令,只是普通用户,因此在终端器中可以使用sudo -sh 转换到管理员root用户下执行命令。 1)shutdown –help 可以查看shutdown命令如何使用,当然也可以使用man shutdown命令。 2) shutdown -h now 现在立即关机 3)shutdown -r now 现在立即重启 4)shutdown -r +3 三分钟后重启 5)shutdown -h +3 “The System will shutdown after 3 minutes” 提示使用者将在三分钟后关机 6)shut…
ssh 安装及登录提示:connection refused的解决办法
转载请注明出处: http://hi.baidu.com/leejun_2005/blog/item/fbc27c4b20e83d3a08f7ef23.html?timeStamp=1309179713928 from:http://hi.baidu.com/tunaisen/blog/item/85e0a41805ed9fb24bedbcf3.html 如果出现ssh: connect to host XX.XX.XX.XX port 22: Connection refused 请按如下步骤检查: 1、目标主机的ssh server端程序是否安装、服务是否启动,是否在侦听22端口; 检查…
Hadoop0.20.2的安装与配置
本文主要介绍在 Ubuntu 环境下 Hadoop0.20.2 的安装及配置: 步聚一、机器分配及用途 hdfs-m--------------172.16.11.197 (Master--NameNode) hdfs-s1-------------172.16.11.149 (Slave1--DataNode) hdfs-s2-------------172.16.11.97 (Slave2--DataNode) 步聚二、 IP 地址及别名配置 为了能够使用别名来访问服务器,需要在 /etc/hosts 文件中进行 IP 地址及别名对应关系的配置。 在主服务器上的 /etc/hosts 文…
Hadoop 资源+配置+性能
Hadoop 资源 淘宝Hadoop的技术分享 http://rdc.taobao.com/blog/dw/archives/category/hadoop http://rdc.taobao.com/blog/dw/archives/244 Hadoop基本流程与应用开发 http://www.infoq.com/cn/articles/hadoop-process-develop Hadoop性能调优 http://wiki.apache.org/hadoop/PerformanceTuning HBase性能调优 http://wiki.apache.org/hadoop/Hbase/…
hadoop 命令手册
概述 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 描述 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 GENERIC_OPTIONS 多个命令都支持的通用选项。 COMMAND 命令选项S 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管…
2011-12-19 17:04
hbase 启动解决
作者:云中哈哈 时间: 2011.7.5 ericlzyu#gmail.com 今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。 -------- NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安-全模式状态即只读状态。 dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的blo…
HBase HMaster启动和停止
HMaster(0.90.3) Startup: main方法: new HMasterCommandLine(HMaster.class).doMain(args); //args为start HMasterCommandLine: 用于启动/停止HMaster. doMain: 运行Tool类的run方法. 继承关系:HMasterCommandLine-->ServerCommandLine-->Tool HMasterCommandLine.run: 1. 构造CommandLine, 基本参数有三个: minServers, backup和(start/stop) * minSer…
HBase数据库性能调优
因 官方Book Performance Tuning 部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默认值 :3分钟(180000ms) 说明 :RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管. 调优 : 这个tim…
主流NoSQL数据库评测之HBase
**【IT168 专稿】**本篇要评测的NoSQL产品是HBase,和其他简单的Key-Value结构不同,HBase主要面向处理海量数据的应用,可以认为是Google BigTable的一个开源版本。由于Facebook使用HBase来存储消息内容和大数据量的实时分析而使得这一产品备受关注。 系列文章: 主流NoSQL数据库评测之Tokyo Cabinet 主流NoSQL数据库评测之HandlerSocket 主流NoSQL数据库评测之MongoDB 一、HBase简介 HBase是用Java开发的,是一个开源的、分布式的、面向列的数据库,其存储的每个值都有一个时间戳,可以根据定义好的规则…
hbase集群安装(hadoop0.20.2+zookeeper3.3.3+hbase0.90.2)
并且已经 安装 成功Hadoop-0.20.2及以上版本。 安装包准备 需要安装包: zookeeper-3.3.2.tar.gz(stable版本) hbase-0.20.2.tar.gz(stable版本) 安装步骤 安装和配置ZooKeeper HBase从0.20.0开始,需要首先安装ZooKeeper。从apache上下载zookeeper-3.2.1.tar.gz(Stable版本),解压到/home/hdfs/目录下。 (1)在namenode节点新建zookeeper目录,在该目录下新建myid文件。 (2)在zookeeper-3.2.1/conf目录下,拷贝zoo_sam…
hadoop管理NameNode AND SecondaryNameNode
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 snn,还是需要做一些工作的。hadoop的默认配置中让 snn进程默认运行在了 namenode 的那台机器上,但是这样的话,如果这台机器出错,宕机,对恢复HDFS文件系统是很大的灾难,更好的方式是:将…
Hadoop+Hbase安装配置实录
生产环境: 3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2 操作系统:rhel5.4 x86_64 master做为namenonde,将slave1和slave2做为datanode 1.在master:(在slave1和slave2上操作和以下相同) vi /etc/hosts 192.168.0.61 master 192.168.0.62 slave1 192.168.0.63 slave2 2.用root操作 3.免密码登录 …
Hadoop安装配置问题集锦
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上: * soft nofile 102400 * hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 sess…
运行中hadoop增加和删除datanode (*)
增加Hadoop新节点: 向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置/etc/hosts,只要有本机和master的host即可 /etc/hosts 127.0.0.1 localhost 10.10.10.101 node1 10.10.10.102 node2 10.10.10.103 node3 10.10.10.104 node4 4. 新节点上建立相关的目录,并修改属主,将Node…
Hadoop分布式时远程Datanode无法启动的解决
问题的基本现象: 在测试Hadoop的分布式环境搭建时,在namenode启动时信息如下: 引用 [michael@shnap hadoop]$ bin/start-all.sh starting namenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-namenode-shnap.out 192.168.8.148: starting datanode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-datanode-michael-Vi…
hadoop主节点(NameNode)备份策略以及恢复方法
一、dits和fsimage 首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。 集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。 当名称节点(NameNode)启动时,会从镜像文件 fsimage 中读取HDFS的状态,并且把edits文件中记录的操作应用到fsimage,也就是合并到fsimage中去。合并后更新fsimage的HDFS状态,创建一个新的edits文件来记录文件系统的变化 那么问题来了,只有在名称节点(NameNode)启动的时候才会合并fsimage和edits,那么久而久之edits文件会越来越大,特别是大…
Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上: * soft nofile 102400 * hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 sess…