Submit Search
Upload
赵健博 -奇虎360超大规模h base集群增强与改进
•
1 like
•
1,008 views
H
hdhappy001
Follow
BDTC 2013 Beijing China
Read less
Read more
Technology
Business
Report
Share
Report
Share
1 of 47
Download now
Download to read offline
Recommended
Application and Practice of Ceph in China Telecom Intensive Tianyi HD Project...
Application and Practice of Ceph in China Telecom Intensive Tianyi HD Project...
Ceph Community
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Hbase架构简介、实践
Hbase架构简介、实践
Li Map
阿里CDN技术揭秘
阿里CDN技术揭秘
Joshua Zhu
Ceph, the kernel of software defined storage - Haomai Wang, ZhaoChen
Ceph, the kernel of software defined storage - Haomai Wang, ZhaoChen
Ceph Community
分布式存储的元数据设计
分布式存储的元数据设计
LI Daobing
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
Recommended
Application and Practice of Ceph in China Telecom Intensive Tianyi HD Project...
Application and Practice of Ceph in China Telecom Intensive Tianyi HD Project...
Ceph Community
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Hbase架构简介、实践
Hbase架构简介、实践
Li Map
阿里CDN技术揭秘
阿里CDN技术揭秘
Joshua Zhu
Ceph, the kernel of software defined storage - Haomai Wang, ZhaoChen
Ceph, the kernel of software defined storage - Haomai Wang, ZhaoChen
Ceph Community
分布式存储的元数据设计
分布式存储的元数据设计
LI Daobing
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
20110607 IPv6
20110607 IPv6
Jui-Nan Lin
Nginx深度開發與客制化
Nginx深度開發與客制化
Joshua Zhu
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
准实时海量数据分析系统架构探究
准实时海量数据分析系统架构探究
Min Zhou
快速搭建高性能服务端
快速搭建高性能服务端
moonbingbing
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
li luo
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
丁 宇
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
美团点评技术团队
X program-within-a-month
X program-within-a-month
Chao Zhu
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Ceph Community
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
drewz lin
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
丁 宇
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
Ceph Community
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
孙立
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术团队
阿里云CDN技术演进之路
阿里云CDN技术演进之路
Joshua Zhu
Shot list for filming practice
Shot list for filming practice
a2mn
Kazakhstan petroleum law 374
Kazakhstan petroleum law 374
Jefferson Witt
More Related Content
What's hot
20110607 IPv6
20110607 IPv6
Jui-Nan Lin
Nginx深度開發與客制化
Nginx深度開發與客制化
Joshua Zhu
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
准实时海量数据分析系统架构探究
准实时海量数据分析系统架构探究
Min Zhou
快速搭建高性能服务端
快速搭建高性能服务端
moonbingbing
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
li luo
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
丁 宇
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
美团点评技术团队
X program-within-a-month
X program-within-a-month
Chao Zhu
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Ceph Community
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
drewz lin
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
丁 宇
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
Ceph Community
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
孙立
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术团队
阿里云CDN技术演进之路
阿里云CDN技术演进之路
Joshua Zhu
What's hot
(20)
20110607 IPv6
20110607 IPv6
Nginx深度開發與客制化
Nginx深度開發與客制化
新浪微博Feed服务架构
新浪微博Feed服务架构
准实时海量数据分析系统架构探究
准实时海量数据分析系统架构探究
快速搭建高性能服务端
快速搭建高性能服务端
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
分布式Key Value Store漫谈
分布式Key Value Store漫谈
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
X program-within-a-month
X program-within-a-month
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
D baa s_in_xiaomi
D baa s_in_xiaomi
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
Ceph Day Beijing: Optimizations on Ceph Cache Tiering
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
阿里云CDN技术演进之路
阿里云CDN技术演进之路
Viewers also liked
Shot list for filming practice
Shot list for filming practice
a2mn
Kazakhstan petroleum law 374
Kazakhstan petroleum law 374
Jefferson Witt
A Big, Fast and Persistent Queue
A Big, Fast and Persistent Queue
William Yang
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
hdhappy001
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
hdhappy001
杨少华:阿里开放数据处理服务
杨少华:阿里开放数据处理服务
hdhappy001
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
hdhappy001
Cdc@ganji.com
Cdc@ganji.com
Tailor Cai
Viewers also liked
(8)
Shot list for filming practice
Shot list for filming practice
Kazakhstan petroleum law 374
Kazakhstan petroleum law 374
A Big, Fast and Persistent Queue
A Big, Fast and Persistent Queue
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
杨少华:阿里开放数据处理服务
杨少华:阿里开放数据处理服务
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
Cdc@ganji.com
Cdc@ganji.com
Similar to 赵健博 -奇虎360超大规模h base集群增强与改进
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Wensong Zhang
Taobao base
Taobao base
mysqlops
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
lovingprince58
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
drewz lin
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
tiantianli
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
思念 青青
稳定、高效、低碳 -淘宝软件基础设施构建实践
稳定、高效、低碳 -淘宝软件基础设施构建实践
Wensong Zhang
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
How do we manage more than one thousand of Pegasus clusters - backend part
How do we manage more than one thousand of Pegasus clusters - backend part
acelyc1112009
美团技术团队 - KVM性能优化
美团技术团队 - KVM性能优化
美团点评技术团队
章文嵩:Taobao海量图片存储与cdn系统 v2-系统架构师
章文嵩:Taobao海量图片存储与cdn系统 v2-系统架构师
Enlight Chen
Taobao海量图片存储与cdn系统 v2-系统架构师
Taobao海量图片存储与cdn系统 v2-系统架构师
Wensong Zhang
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
智杰 付
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Wensong Zhang
Taobao 海量图片存储与CDN系统02
Taobao 海量图片存储与CDN系统02
lovingprince58
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Michael Zhang
淘宝图片存储与Cdn系统
淘宝图片存储与Cdn系统
Dai Jun
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
Similar to 赵健博 -奇虎360超大规模h base集群增强与改进
(20)
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Taobao base
Taobao base
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
稳定、高效、低碳 -淘宝软件基础设施构建实践
稳定、高效、低碳 -淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
How do we manage more than one thousand of Pegasus clusters - backend part
How do we manage more than one thousand of Pegasus clusters - backend part
美团技术团队 - KVM性能优化
美团技术团队 - KVM性能优化
章文嵩:Taobao海量图片存储与cdn系统 v2-系统架构师
章文嵩:Taobao海量图片存储与cdn系统 v2-系统架构师
Taobao海量图片存储与cdn系统 v2-系统架构师
Taobao海量图片存储与cdn系统 v2-系统架构师
淘宝双11双12案例分享
淘宝双11双12案例分享
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Taobao 海量图片存储与CDN系统02
Taobao 海量图片存储与CDN系统02
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
淘宝图片存储与Cdn系统
淘宝图片存储与Cdn系统
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Hacking Nginx at Taobao
Hacking Nginx at Taobao
More from hdhappy001
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
hdhappy001
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
hdhappy001
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
hdhappy001
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
hdhappy001
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
hdhappy001
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
hdhappy001
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
hdhappy001
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
hdhappy001
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
hdhappy001
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
hdhappy001
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
hdhappy001
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
hdhappy001
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
hdhappy001
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
hdhappy001
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
hdhappy001
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
hdhappy001
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
More from hdhappy001
(20)
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
赵健博 -奇虎360超大规模h base集群增强与改进
1.
2.
360超大规模HBASE集群的改进 赵健博 QIHU 360
系统部 zhaojianbo@360.cn
3.
内容梗概 • • • • 现状 改进 建议 计划
4.
内容梗概 • • • • 现状 改进 建议 计划
5.
现状 总量 单机群最大
机器数 3000 1000 Region数 67万 40万 记录数(KV) 20万亿 17万亿 数据量 45PB 16PB 日增量 350TB 130TB 日读量 4PB+ 3.4PB
6.
现状 • 版本: –
HBASE:0.89-fb • 业务: – 搜索业务(网页库/链接库/快照库) – 安全业务 – 监控业务 – …….
7.
内容梗概 • • • • 现状 改进 建议 计划
8.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
9.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
10.
常规MetaServer ROOT/META Region User Region ZooKeeper Services Master RS RS RS
11.
专属MetaServer • 问题: – Meta
region与user region共用RS,将产生 资源竞争,user region上的操作影响meta region性能 • 物理资源:网络,IO • 软件资源:RPC handle, compaction queue…. • 改进: – 保证meta region的性能,需要资源预留。引 入专属metaServer,只服务meta region
12.
专属MetaServer ROOT/META Region User Region ZooKeeper Services Master RS ROOT RS META RS
13.
专属MetaServer ROOT/META Region User Region ZooKeeper Services Master RS RS ROOT META ROOT metaServer
list 2 RS
14.
专属MetaServer ROOT/META Region User Region ZooKeeper Services Master ROOT RS ROOT META ROOT metaServer
list 2 RS RS META
15.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
16.
启动优化 • 问题: –
集群大,Region多,集群启动时间长 – 集群启动时间消耗中,region打开的过程占 大头 – 例如:搜索集群:40万region,启动时间3 小时,region打开时间需2小时45分
17.
Region打开的路径 Region Master 4 RIT 1 ZK ZooKeeper Services 2 RIT Region R ZK 3 RS RS RS Master
18.
启动优化 • 问题1: –
步骤1中:检查region是否需要分配是串行的 • 改进: – 多线程并行化region检查
19.
启动优化 • 问题2: –
步骤2中: • 多个RS之间的region分配过程串行执行 • 单个RS region分配时需要扫描一次RIT队列确定 本次分配的region,扫描时间随RIT变长而增长 • 改进: – 减少单个RS regon分配时持锁时间 • 提前制订好region分配计划,并单独保存,RS region分配时仅仅是获取,无需再扫描RIT队列
20.
启动优化 • 问题3: –
步骤3中,RS在打开region过程中,每 个storefile打开时会触发4次NN的RPC操作, 7百万的文件规模将触发2800万次。造成NN 压力多大,处理时延上升。最终影响region 打开进度。 • 改进: – 去除重复的NN访问 • 3次getFIleStatus+1次open => 1次open
21.
启动优化 • 问题4: –
步骤4中,Master更新meta表的操作是串行的 • 改进: – 多线程并行更新META表
22.
启动优化 • 问题5: –
region打开过程中(1,2,4步),操作ZK的过 程是串行的。 • 改进: – 并行化ZK的操作 – 多ZK客户端支持(相同znode映射到相同ZK 客户端执行)
23.
启动优化 • 搜索集群 region打开时间(分钟)
180 • 40万region 160 140 • 700万storefile 120 100 • 4倍速度提升 80 60 40 20 0 优化前 优化后
24.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
25.
Scan性能 • 问题1: –
常规scan可能产生大量向后seek操作,造 成storefile的读不是顺序,影响scan性能 – Storefile reader读偏移是线程本地的,下一 次scan调用的处理线程更换时,将产生向 后seek • 改进: – 控制scan始终由一个线程处理 • outerScan:绕过HBASE,客户端线程直接scan region的数据
26.
一个RS工作线程处理scan 1 storefile 2 seek header data seek header 3 data seek header 4 data seek header data
27.
两个RS过程线程处理scan RS Handler1 1 storefile 3 seek header data 2 header seek RS
Handler2 data seek header data 4 header seek data
28.
常规Scan Client RegionServer HDFS
29.
outerScan Client region 1.crete region
on client 2.internalScan HDFS
30.
Scan性能 • 单客户端 •
50GB数 据region scan • Region本地 化100% • 性能提升41% 50GB数据量scan(分钟) 18 16 14 12 10 8 6 4 2 0 常规Scan(caching:1000) outerScan
31.
Scan长尾 • 问题2: –
OuterScan MR运行时,一个task只能扫描 一个region数据。一旦region数据不均匀, 则MR程序task将出现长尾问题 • 改进: – 确定表的采样点,通过采样点划分task • 对表key的索引数据进行采样,取出采样点。
32.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
33.
Compaction • 问题1 –
原有的compaction的文件选择条件过粗(文件大小 范围,时间范围,个数),较难避免数据重复参 与compaction的问题 • 改进 – Storefile增加level的概念,表示该文件做 过compaction的次数。 – 0:文件刚生成,1:做过一次compaction,每做过 一次comapction,level将会增加1 – 每日新增的数据,指定:时间范围+level为0
34.
Compaction level: 2 sf compaction level:
1 sf sf compaction level: 0 sf sf compaction sf sf sf
35.
Compaction • 问题2: –
对storefile进行HDFS raid,增加空间利用率。但compaction后 的storefile大小可能不是raid条带整数倍,这将造成空间的浪费 – 例子:(10GB数据量,1GB大小HDFS块,raid条带10个块) • 1个10GB文件+2GB元文件 :(10*2-10-2)/20=40% • 2个5GB文件 +2*2GB元文件:(10*2-2*5-2*2)/20 =30%。10%空间浪费 • 改进 – Compation输出时可控制生成storefile的大小,compactiion将 生成多个文件 – 使得compaction生成文件的大小和raid条带匹配,即可达到最 优的raid效果
36.
Compaction RAID 10 1GB sf(3GB) sf(10GB) sf(11GB) compaction sf(10GB) sf(50MB) sf(6GB) sf(50MB)
37.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
38.
保护模式 • 问题: – HBASE未启动完全时,客户端大量meta表访问使 得metaServer所在机器出口网卡带宽被耗尽,导致 更新meta表时延上升,最终影响HBase启动速度。 •
改进: – 引入保护模式概念:HBase处于保护模式时,将拒 绝客户端请求。 – HBASE IPC层面增加用户控制功能,保护模式开 启时,非HBase部署帐号的请求直接拒绝。
39.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
40.
客户端的超时保证 • 问题 –
HBaseClient超时时间控制不生效 – 获取结果的超时时间,不是整个RPC操作的 时间 • 改进: – RPC操作分为: • 1. connect to server • 2. send request • 3. get result – 将connect/send request的时间考虑进来
41.
改进 1. 2. 3. 4. 5. 6. 7. 专属MetaServer 启动优化 Scan Compaction 保护模式 客户端超时保证 索引预加载
42.
索引信息的预加载 • 问题 –
快照业务随机读时延不稳定 – 随机读时由于索引信息未加载而导致读取时 延上升 • 改进 – 在打开Region的时候就将索引信息加载到块 缓存中 • 效果: – 改进前:40~100ms – 改进后:40 ~ 50ms
43.
内容梗概 • • • • 现状 改进 建议 计划
44.
建议 • 根据预期规模,预先创建region •
控制region的数量与大小 – 几万 ~ 十几万级别/100GB+ – outerScan/采样点划分task/bulkImport • 控制compaction时机与数据 – 低峰时操作 – 时/日/周 ,避免重复IO。major 逐批进行 • 实时监控region健康情况 – In meta与on server的一致性
45.
内容梗概 • • • • 现状 改进 建议 计划
46.
计划 • • • • 减少region的数量 随机读优化(减少读数据量) 二级索引 服务可用性
47.
Thanks!
Download now