HBase设计：看上去很美
HBase是模仿google bigtable的开源产品又是hadoop的衍生品hadoop作为离线计算系统已经得到业界的普遍认可并经过N多公司大规模使用的验证自然地认为Hbase也将随之获得成功。《HBase: The Definitive Guide》第8章讲述hbase的架构从架构上看其架构很完美LSM - 解决磁盘随机写问题(顺序写才是王道)HFile - 解决数据索引问题(只有索引才能高效读)WAL - 解决数据持久化(面对故障的持久化解决方案)zooKeeper - 解决核心数据的一致性和集群恢复Replication - 引入类似MySQL的数据复制方案解决可用性此外还有自动分拆Split、自动压缩(compaction,LSM的伴生技术)、自动负载均衡、自动region迁移。看上去如此美好完全无需人工干预貌似只要将Hbase搭建好一切问题Hbase都将应对自如。面对如此完美的系统不动心很难。但是如此完美的系统或许也意味着背后的复杂性是不容忽略的。hbase的代码量也不是一星半点的。假如系统工作不正常谁来解决这是至关重要的。性能与测试Hbase系统自身提供了性能测试工具./bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation该工具提供了随机读写、多客户端读写等性能测试功能。根据工具测试的结果看hbase的性能不算差。对于hbase这样的系统长期稳定运行比什么都重要。然而这或许就不那么完美。测试版本hbase 0.94.1、 hadoop 1.0.2、 jdk-6u32-linux-x64.bin、snappy-1.0.5.tar.gz测试hbase搭建14台存储机器2台master、DataNode和regionserver放在一起。hbase env配置View Codehbase-size.xml关键配置(根据《HBase: The Definitive Guide》第11章优化)View Code测试一高并发读(4w/s) 少量写(允许分拆、负载均衡)症状1-2天后hbase挂掉(系统性能极差不到正常的10%)。其实并非全部挂掉而是某些regionserver挂了并在几个小时内引发其他regionserver挂掉。系统无法恢复单独启regionserver无法恢复正常。重启后正常。测试二高并发读(4w/s)症状1-2天后hbase挂掉(系统性能极差不到正常的10%)。后发现是由于zookeeper.session.timeout设置不正确导致(参见regionserver部分http://hbase.apache.org/book.html#trouble)。重启后正常。测试三高并发读(4w/s)症状1-2天后hbase挂掉(系统性能极差不到正常的10%)。从log未看出问题但regionserver宕机且datanode也宕机。重启后正常。测试四高并发读(4w/s)禁止分拆、禁止majorcompaction、禁止负载均衡(balance_switch命令)症状1-2天后hbase挂掉(系统性能极差不到正常的10%)。从log未看出问题但regionserver宕机且datanode也宕机。重启后正常。测试期间还发现过无法获取.MATE.表的内容(想知道regionserver的分布情况)、hbase无法正确停止、hbase无法正确启动(日志恢复失败文件错误最终手动删除日志重启)。其他缺陷HBase使用JAVA开发看上去很美的GC使用中代价可不小。Hbase为了保证数据强一致性每个key只能由一个regionserver提供服务。在下列情况下Hbase服务质量都将受损1) GC CMS -- CMS回收内存极其耗时当hbase运行1-2天后CMS可能耗时10分钟这期间该regionserver无法服务。CMS经常被触发这意味着hbase的服务经常会因为GC操作而部分暂停2) regionserver宕机 - 为了强一致性每个key只由一个regionserver提供服务故当regionserver宕机后相应的region即无法服务3) major compaction、split不可控 - 大量磁盘操作将极大影响服务。(levelDB也需要major compaction只是使用更加可控的方式做压缩比如一次只有一个压缩任务。是否影响服务待测试)4) 数据恢复 - 数据恢复期间设置WAL log的相关操作在数据恢复期间regionserver无法服务结论或许通过研究hbase的源码可让hbase稳定运行但从上述测试结果看1hbase还无法稳定长期运行2hbase系统很脆弱故障恢复能力差。基于此判断hbase还无法满足大规模线上系统的运维标准只能放弃。考虑到hbase重启基本可恢复正常故hbase还是可作为离线存储系统使用。
相关新闻
2026/7/3 23:29:25
【学习记录】Week11（二）：House of 系列精讲—— 无 free 时代的破局与堆块合并的艺术
写在前面：在上一篇中，我们学习了 House of Spirit、Force 和 Lore，掌握了伪造堆块、劫持 Top Chunk 和 Smallbin 的基本法。今天，我们将挑战 House 系列中更具实战意义、难度也更高的三种技术：House of Einherjar、Hou…
阅读更多
2026/7/3 23:29:25
Windows平台分布式架构实践 - 负载均衡概述
最近.NET的世界开始闹腾了，微软官方终于加入到了对.NET跨平台的支持，并且在不久的将来，我们在VS里面写的代码可能就可以通过Mono直接在Linux和Mac上运行。那么大家（开发者和企业）为什么那么的迫切的希望.NET跨平台呢&a…
阅读更多
2026/7/3 23:24:18
终极解决方案：tchMaterial-parser 让您轻松获取国家中小学智慧教育平台电子课本
终极解决方案：tchMaterial-parser 让您轻松获取国家中小学智慧教育平台电子课本 【免费下载链接】tchMaterial-parser 国家中小学智慧教育平台 电子课本下载工具，帮助您从智慧教育平台中获取电子课本的 PDF 文件网址并进行下载，让您更方便地获…
阅读更多
2026/7/4 2:10:00
边缘AI伴侣系统设计：嵌入式设备上的挑战与优化
1. 边缘设备上的嵌入式AI伴侣系统设计挑战在嵌入式设备上部署AI伴侣系统面临着独特的硬件限制和性能挑战。作为一名长期从事边缘AI开发的工程师，我深刻理解这些限制对系统设计带来的影响。让我们先剖析这些核心挑战：1.1 计算资源与内存限制当前主流的边缘…
阅读更多
2026/7/4 2:10:00
PowerShell脚本平民化：非技术人员也能轻松掌握的4种启动方案
1. 项目概述：PowerShell脚本的平民化之路在IT运维和系统管理领域，PowerShell一直是Windows平台最强大的自动化工具。但长期以来，其使用门槛将许多非技术人员挡在门外。根据微软官方统计，超过70%的Windows管理员日常工作中会使用Po…
阅读更多
2026/7/4 2:10:00
量子计算优化粒子追踪：1-Bit量子滤波器设计
1. 量子计算在粒子追踪中的革命性突破在大型强子对撞机（LHC）实验中，每秒钟产生的粒子碰撞事件超过4000万次，传统计算机处理如此海量的轨迹数据时面临组合爆炸的挑战。量子计算凭借其独特的量子叠加和纠缠特性，为解决这…
阅读更多
2026/7/4 2:10:00
多线程数据库插入性能优化实战指南
1. 多线程数据库插入方案概述在数据处理领域，多线程插入数据库是提升系统吞吐量的经典优化手段。我曾在电商秒杀系统开发中，通过合理的多线程设计将订单写入性能从单线程的120TPS提升到850TPS。这种方案特别适合日志采集、批量数据导入等高频写入场景。核…
阅读更多
2026/7/4 2:10:00
IDA Pro栈帧分析实战：从逆向工程基础到漏洞挖掘
1. 项目概述：为什么栈帧分析是逆向工程的基石如果你刚接触逆向工程，可能会觉得IDA Pro里那些密密麻麻的汇编指令和内存地址让人望而生畏。但相信我，一旦你掌握了栈帧分析这个核心技能，整个逆向世界的大门才算真正向你敞开。栈帧分…
阅读更多
2026/7/4 2:05:00
多语言API部分更新实战：Patchright在Python、Node.js、.NET的集成指南
1. 项目概述：为什么需要一份多语言集成指南？如果你是一名后端或全栈开发者，最近可能频繁听到“Patchright”这个名字。它不是一个新出的编程语言，也不是一个颠覆性的框架，但它正在成为现代微服务架构和API治理中一个绕…
阅读更多
2026/7/3 20:12:42
AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告
6个月前的2025年12月，Boris Cherny 公开宣布自己卸载了 IDE。一时间，Vibe Coding 成了全行业最热的话题。6个月后，当我们回过头来拉一份真实账本，发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…
阅读更多
2026/7/3 2:02:10
审计来了，数据权限全开——审计走了，怎么确保权限全部关掉？
引言：审计结束三个月了，审计员的权限还没关某城商行每年按照监管要求开展至少一次数据安全审计。审计期间，内审部门需要抽样检查各类业务数据——交易流水、客户信息、员工操作日志、权限配置记录。这些数据分布在不同系统中，审计…
阅读更多
2026/7/4 0:04:28
palera1n越狱终极指南：轻松解锁iOS设备完整教程
palera1n越狱终极指南：轻松解锁iOS设备完整教程 【免费下载链接】palera1n Jailbreak for A8 through A11, T2 devices, on iOS/iPadOS/tvOS 15.0, bridgeOS 5.0 and higher. 项目地址: https://gitcode.com/GitHub_Trending/pa/palera1n 想要让你的旧iPhone…
阅读更多
2026/7/4 0:04:28
Windows Defender移除工具终极指南：彻底释放系统性能的专业解决方案
Windows Defender移除工具终极指南：彻底释放系统性能的专业解决方案 【免费下载链接】windows-defender-remover A tool which is uses to remove Windows Defender in Windows 8.x, Windows 10 (every version) and Windows 11. 项目地址: https://gitcode.com/g…
阅读更多
2026/7/4 0:04:28
如何快速上手DyscheOS-utils：5步创建你的第一个App-OS分区
如何快速上手DyscheOS-utils：5步创建你的第一个App-OS分区 【免费下载链接】DyscheOS-utils 仓库关闭的原因：https://gitee.com/openeuler/community/pulls/3792 项目地址: https://gitcode.com/openeuler/DyscheOS-utils 前往项目官网免费下载&a…
阅读更多
2026/7/3 20:12:42
Coze与Dify对比指南：低代码AI应用开发从入门到实战
1. 从零到一：为什么你需要了解 Coze 和 Dify？如果你对 AI 应用开发感兴趣，但一看到“大模型”、“智能体”、“工作流”这些词就头疼，觉得门槛太高，那这篇文章就是为你准备的。很多开发者，包括我自己&#…
阅读更多
2026/7/3 20:12:42
AI生图工具怎么选？2026年6月版实测对比
做自媒体的朋友应该都有体会：配图一直是个让人头疼的问题。2026年，AI生图工具已经非常成熟了，但工具太多反而不知道怎么选。以下是截至2026年6月我对主流AI生图工具的实测对比。Midjourney V8.1：速度之王2026年6月11日，…
阅读更多
2026/7/3 17:59:56
国产DSP FT-M6678 DDR3配置避坑指南：从PLL时钟到PHY寄存器，手把手调通你的第一块板
FT-M6678 DDR3实战配置手册：从时钟树到PHY优化的全链路调试策略当一块崭新的FT-M6678开发板首次上电时，DDR3存储系统的配置往往成为工程师面临的第一个技术关卡。作为国产高性能DSP的核心外设，DDR3的稳定运行直接决定了后续算法部署和数据处理…
阅读更多