ITeye博客

thomas0988

thomas0988 · 共 338 篇文章

hadoop中mapred.tasktracker.map.tasks.maximum的设置

目前,我们邮件的一部分log已经迁移到Hadoop集群上 并由Hive来执行相关的查询 hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2 也即:每一个tasktracker同时运行的map任务数为2 照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec 经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适 此时的运行效率最高,大概花费3mins, 25sec 我们现在的机器都是8核的,所以最终配置如下: <property> <nam…

2012-06-11 16:33 · 数据层 · 专业知识 · hadoop · 评论(0)

Hadoop集群的NameNode的备份

Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息 如果NameNode挂了,也就意味着整个Hadoop集群也就完了 所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点 1. 在hdfs-site.xml中,配置多个name的dir到不同的磁盘分区上: <property> <name>dfs.name.dir</name> <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value> </property> 2. 在另外的一台服务器上配置Secondary Nam…

2012-06-01 15:58 · 数据层 · 专业知识 · hadoop · 评论(0)

Hbase Shell的常用命令

总结的一些Hbase shell的命令 都很简单,可以help来查看帮助 create 'user_test','info' describe 'user_test' disable 'user_testinfo' drop 'user_testinfo' put 'user_test','test-1','info:username','test1' put 'user_test','test-1','info','1' put 'user_test','test-2','info:creattime','20101116' list scan 'user_test' #可以指定start…

2012-06-01 15:54 · 数据层 · hadoop · nosql · 评论(0)

Hadoop集群中增加新节点

向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置host,需要有集群中各节点的host对应 4. 新节点上建立相关的目录,并修改属主 5. master的slaves文件中增加上相的节点,master上增加相应的host 6. 在新节点上启动datanode和tasktracker /opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode …

2012-06-01 15:53 · 专业知识 · hadoop · 评论(0)

Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试,最终执行速度基本差不多 而且Hadoop原生支持Gzip解压,所以,当时就直接采用了Gzip压缩的方式 关于Lzo压缩,twitter有一篇文章,介绍的比较详细,见 这里 : Lzo压缩相比Gzip压缩,有如下特点: 压缩解压的速度很快 Lzo压缩是基于Block分块的,这样,一个大的文件(在Hadoop上可能会占用多个Block块),就可以由多个MapReduce并行来进行处理 虽然Lzo的压缩比没有Gzip高,不过由于其前2个特性,在Hadoop上…

2012-06-01 15:47 · 专业知识 · hadoop · 评论(0)

SSH连接反应慢的分析解决

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。 http://xjsunjie.blog.51cto.com/999372/658354 <!--正文 begin--> 最近有朋友咨询一个问题,说是SSH连接反应非常慢,具体现象就是在内网中通过SSH进行连接其他服务器时,发现初始连接非常慢,常常要等30秒左右才出现相关界面,登录之后一切操作是正常的。 SSH协议介绍:SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全…

2012-06-01 09:41 · 前台 · hadoop · 评论(0)

云计算大会视频与演讲备忘

<!--StartFragment --> 阿里云: http://v.youku.com/v_show/id_XNDAyNzIxMTQ0.html baidu,互联网与云 http://v.youku.com/v_show/id_XNDA0MzY4NjAw.html baidu的前半段是阿里云后面的部分,中间我跑去厕所断了一会。 tudou的云 http://v.youku.com/v_show/id_XNDA0MzU4MjA4.html 支付宝HBase系统故障恢复的优化实践分享 http://news.csdn.net/a/20120523/2805879.html?bsh_bid=9…

2012-05-29 15:53 · 专业知识 · hadoop · 评论(0)

HBase HFile与Prefix Compression内部实现全解--KeyValue格式

1. 引子 HFile (HBase File)是HBase使用的一种文件存储格式的抽象, 目前存在两种版本的HFile: HFile V1和HFile V2 HBase 0.92之前的版本仅支持HFile V1, HBase 0.92/0.94同时支持HFile V1和HFile V2。 以下分别是HFile V1/V2的结构图: HFile V1 HFile V2 (注: 这两个图片在hbase 0.94的svn目录: src\site\resources\images) 图中的数据块(Data block)正是实际存放应用数据的地方, 每个数据块又由一系列的KeyValue组成,并且这…

2012-05-25 14:40 · 数据层 · 工具api · hadoop · nosql · 评论(0)

HFile详解-基于HBase0.90.5

1. HFile详解 HFile文件分为以下六大部分 序号 名称 描述 1 数据块 由多个block(块)组成,每个块的格式为: [块头] + [key****长] + [value****长] + [key] + [value] 。 2 元数据块 元数据是key-value类型的值,但元数据快只保存元数据的value值,元数据的key值保存在第五项(元数据索引块)中。 该块由多个元数据值组成。 3 fileInfo块 该块保存与HFile相关的一些信息。 fileInfo是以key值排序key-value类型的值。基本格式为: keyValue元素的个数 + (key + value类型i…

2012-05-25 14:25 · 数据层 · hadoop · nosql · 评论(0)

Hive-0.8.1索引的实验

先说一个0.7.1和0.8.1的Metastore不兼容 一。外部表的索引。 因为怕麻烦,就继续用之前的table02的数据,在new meta里也叫table02,不过改成了external表。最后的结论是Hive的索引也是支持外部表的。 建立索引,运行。还是6个mapper,不行。 二。建立内部表 CTAS from table02,建立一个内部表table03; 重点是,换了0.8.1, <property> <name>hive.optimize.index.filter</name> <value>true</value> <description>Whether to enabl…

2012-05-19 09:29 · 数据层 · 工具api · hadoop · nosql · 评论(0)

Hive HBase 整合(中文)

hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的hbase(0.90)变动特别大,根本无法从编译。这点比较恶心,hbase目前升级比较快,当前是0.90(从0.20.6直接跳到0.89),至于为什么这样跳跃,参考官方的解释http://wiki.apache.org/hadoop/Hbase/HBaseVersions 1)启动Hbase, 要求hbase-0.20.3,zoo…

2012-05-07 09:07 · 数据层 · hadoop · nosql · 评论(0)

编写hive udf函数

udf编写入门 大写转小写 package com.afan; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class UDFLower extends UDF{ public Text evaluate(final Text s){ if (null == s){ return null; } return new Text(s.toString().toLowerCase()); } } 1加载udf jar包 afan@ubuntu:/usr/local/hado…

2012-05-04 19:13 · 数据层 · 专业知识 · hadoop · nosql · 评论(0)

Hive与HBase的整合

开场白: Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 ( Hive Storage Handlers ), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项: 1、需要的软件有 Hadoop、Hive、Hbase、Zookeeper,Hive与HBase的整合对Hive的版本有要求,所以不要下载.0.6.0以前的老版本,Hive.0.6.0的版本才支持与HBase对接,因此在Hive的lib目录下可以看见…

2012-04-28 10:48 · 数据层 · 专业知识 · hadoop · nosql · 评论(0)

hadoop,hbase,hive安装全记录

操作系统:CentOS 5.5 Hadoop:hadoop-0.20.203.0 jdk1.7.0_01 namenode主机名:master,namenode的IP:10.10.102.15 datanode主机名:slave1,datanode的IP:10.10.106.8 datanode主机名:slave2,datanode的IP:10.10.106.9 一、hadoop 安装 1、建立用户 useradd hadoop passwd hadoop 2. 安装 JDK * 先查看是否安装了java,并确定其版本,如果没有安装 rpm -i jdk-7u1-linux-x64.rpm …

2012-04-26 10:09 · 数据层 · 专业知识 · hadoop · nosql · 评论(0)

ubuntu 下mysql的常用命令

MySQL数据库的基本操作命令 ========================= 一、mysql服务操作 0、查看数据库版本 sql-> status; 1、net start mysql //启动mysql服务 2、net stop mysql //停止mysql服务 3、mysql -h主机地址 -u用户名 -p用户密码 //进入mysql数据库 4、quit //退出mysql操作 5、mysqladmin -u用户名 -p旧密码 password 新密码 //更改密码 6、grant select on 数据库.* to 用户名@登录主机 identified by "密码" //…

2012-04-26 10:05 · 数据层 · 专业知识 · 评论(0)