一、NoSQL數(shù)據(jù)庫簡介

Web1.0的時代，數(shù)據(jù)訪問量很有限，用一夫當關(guān)的高性能的單點服務(wù)器可以解決大部分問題。

為大化等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及大化網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為做網(wǎng)站、網(wǎng)站建設(shè)、大化網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

隨著Web2.0的時代的到來，用戶訪問量大幅度提升，同時產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來的智能移動設(shè)備的普及，所有的互聯(lián)網(wǎng)平臺都面臨了巨大的性能挑戰(zhàn)。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，泛指非關(guān)系型的數(shù)據(jù)庫。

NoSQL 不依賴業(yè)務(wù)邏輯方式存儲，而以簡單的key-value模式存儲。因此大大的增加了數(shù)據(jù)庫的擴展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫 列式數(shù)據(jù)庫 Hbase Hbase

HBase是Hadoop項目中的數(shù)據(jù)庫。它用于需要對大量的數(shù)據(jù)進行隨機、實時的讀寫操作的場景中。

HBase的目標就是處理數(shù)據(jù)量非常龐大的表，可以用普通的計算機處理超過10億行數(shù)據(jù)，還可處理有數(shù)百萬列元素的數(shù)據(jù)表。

Cassandra Cassandra

Apache Cassandra是一款免費的開源NoSQL數(shù)據(jù)庫，其設(shè)計目的在于管理由大量商用服務(wù)器構(gòu)建起來的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達到PB級別)。在眾多顯著特性當中，Cassandra最為卓越的長處是對寫入及讀取操作進行規(guī)模調(diào)整，而且其不強調(diào)主集群的設(shè)計思路能夠以相對直觀的方式簡化各集群的創(chuàng)建與擴展流程。

主要應(yīng)用：社會關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)

HBase是什么呢，都有哪些特點呢？

Hbase是一種NoSQL數(shù)據(jù)庫，這意味著它不像傳統(tǒng)的RDBMS數(shù)據(jù)庫那樣支持SQL作為查詢語言。Hbase是一種分布式存儲的數(shù)據(jù)庫，技術(shù)上來講，它更像是分布式存儲而不是分布式數(shù)據(jù)庫，它缺少很多RDBMS系統(tǒng)的特性，比如列類型，輔助索引，觸發(fā)器，和高級查詢語言等待

那Hbase有什么特性呢？如下：

強讀寫一致，但是不是“最終一致性”的數(shù)據(jù)存儲，這使得它非常適合高速的計算聚合

自動分片，通過Region分散在集群中，當行數(shù)增長的時候，Region也會自動的切分和再分配

自動的故障轉(zhuǎn)移

Hadoop/HDFS集成，和HDFS開箱即用，不用太麻煩的銜接

豐富的“簡潔，高效”API，Thrift/REST API，Java API

塊緩存，布隆過濾器，可以高效的列查詢優(yōu)化

操作管理，Hbase提供了內(nèi)置的web界面來操作，還可以監(jiān)控JMX指標

什么時候用Hbase？

Hbase不適合解決所有的問題：

首先數(shù)據(jù)庫量要足夠多，如果有十億及百億行數(shù)據(jù)，那么Hbase是一個很好的選項，如果只有幾百萬行甚至不到的數(shù)據(jù)量，RDBMS是一個很好的選擇。因為數(shù)據(jù)量小的話，真正能工作的機器量少，剩余的機器都處于空閑的狀態(tài)

其次，如果你不需要輔助索引，靜態(tài)類型的列，事務(wù)等特性，一個已經(jīng)用RDBMS的系統(tǒng)想要切換到Hbase，則需要重新設(shè)計系統(tǒng)。

最后，保證硬件資源足夠，每個HDFS集群在少于5個節(jié)點的時候，都不能表現(xiàn)的很好。因為HDFS默認的復(fù)制數(shù)量是3，再加上一個NameNode。

Hbase在單機環(huán)境也能運行，但是請在開發(fā)環(huán)境的時候使用。

內(nèi)部應(yīng)用

存儲業(yè)務(wù)數(shù)據(jù):車輛GPS信息，司機點位信息，用戶操作信息，設(shè)備訪問信息。。。

存儲日志數(shù)據(jù):架構(gòu)監(jiān)控數(shù)據(jù)（登錄日志，中間件訪問日志，推送日志，短信郵件發(fā)送記錄。。。），業(yè)務(wù)操作日志信息

存儲業(yè)務(wù)附件：UDFS系統(tǒng)存儲圖像，視頻，文檔等附件信息

不過在公司使用的時候，一般不使用原生的Hbase API，使用原生的API會導(dǎo)致訪問不可監(jiān)控，影響系統(tǒng)穩(wěn)定性，以致于版本升級的不可控。

HFile

HFile是Hbase在HDFS中存儲數(shù)據(jù)的格式，它包含多層的索引，這樣在Hbase檢索數(shù)據(jù)的時候就不用完全的加載整個文件。索引的大小(keys的大小，數(shù)據(jù)量的大小)影響block的大小，在大數(shù)據(jù)集的情況下，block的大小設(shè)置為每個RegionServer 1GB也是常見的。

探討數(shù)據(jù)庫的數(shù)據(jù)存儲方式，其實就是探討數(shù)據(jù)如何在磁盤上進行有效的組織。因為我們通常以如何高效讀取和消費數(shù)據(jù)為目的，而不是數(shù)據(jù)存儲本身。

Hfile生成方式

起初，HFile中并沒有任何Block，數(shù)據(jù)還存在于MemStore中。

Flush發(fā)生時，創(chuàng)建HFile Writer，第一個空的Data Block出現(xiàn)，初始化后的Data Block中為Header部分預(yù)留了空間，Header部分用來存放一個Data Block的元數(shù)據(jù)信息。

而后，位于MemStore中的KeyValues被一個個append到位于內(nèi)存中的第一個Data Block中：

注：如果配置了Data Block Encoding，則會在Append KeyValue的時候進行同步編碼，編碼后的數(shù)據(jù)不再是單純的KeyValue模式。Data Block Encoding是HBase為了降低KeyValue結(jié)構(gòu)性膨脹而提供的內(nèi)部編碼機制。

如何快速搭建HBase分布式NoSQL數(shù)據(jù)庫

像MongoDB, Cassandra, HBase, DynamoDB, 和

Riak這些NoSQL缺乏傳統(tǒng)的原子事務(wù)機制，所謂原子事務(wù)機制是可以保證一系列寫操作要么全部完成，要么全部不會完成，不會發(fā)生只完成一系列中一兩個

寫操作;因為數(shù)據(jù)庫不提供這種事務(wù)機制支持，開發(fā)者需要自己編寫代碼來確保一系列寫操作的事務(wù)機制，比較復(fù)雜和測試。

這些NoSQL數(shù)據(jù)庫不提供事務(wù)機制原因在于其分布式特點，一系列寫操作中訪問的數(shù)據(jù)可能位于不同的分區(qū)服務(wù)器，這樣的事務(wù)就變成分布式事務(wù)，在分

布式事務(wù)中實現(xiàn)原子性需要彼此協(xié)調(diào)，而協(xié)調(diào)是耗費時間的，每臺機器在一個大事務(wù)過程中必須依次確認，這就需要一種協(xié)議確保一個事務(wù)中沒有任何一臺機器寫操

作失敗。

NoSQL與hbase是什么關(guān)系

NoSQL太火，冒出太多產(chǎn)品了，保守估計也成百上千了。

互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個比較常見或者應(yīng)用比較成功的例子吧。

1. In-Memory KV Store : Redis

in memory key-value store，同時提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機恢復(fù)，同時支持replication提供讀可擴展和高可用。

2. Disk-Based KV Store: Leveldb

真正基于磁盤的key-value storage, 模型單一簡單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優(yōu)化，順序?qū)懕P的方式對于新硬件ssd再適合不過了，不足是僅提供了一個庫，需要自己封裝server端。

3. Document Store: Mongodb

分布式nosql，具備了區(qū)別mysql的最大亮點：可擴展性。mongodb 最新引人的莫過于提供了sql接口，是目前nosql里最像mysql的，只是沒有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對于數(shù)據(jù)量遠超內(nèi)存限制的場景來說，還需要慎重。

4. Column Table Store: HBase

這個富二代似乎不用贅述了，最大的優(yōu)勢是開源，對于普通的scan和基于行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴展性方面是最強的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開源產(chǎn)品不少，來解決諸如join、聚集運算等復(fù)雜查詢。

大數(shù)據(jù)知識點里面的 HBase 是什么意思？

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，基于Hadoop生態(tài)圈，在NoSQL蓬勃發(fā)展的今天被國內(nèi)外眾多公司選擇，應(yīng)用于現(xiàn)代互聯(lián)網(wǎng)系統(tǒng)的不同業(yè)務(wù)。

HBase業(yè)務(wù)場景

1.標簽數(shù)據(jù)的存儲

標簽數(shù)據(jù)是稀疏矩陣的代表，描述了實體的各類屬性，主要應(yīng)用于智能推薦、商務(wù)智能或營銷引擎等領(lǐng)域。

2. 車聯(lián)網(wǎng)數(shù)據(jù)的收集

車聯(lián)網(wǎng)系統(tǒng)是利用車載設(shè)備收集車輛運行時產(chǎn)生的各項數(shù)據(jù)，通過網(wǎng)絡(luò)實時上傳，在平臺進行動態(tài)分析和利用。

3. 交易記錄的保存

在移動支付領(lǐng)域，保證歷史交易記錄等敏感信息的安全性是一個重要的話題。當數(shù)據(jù)中心遭遇自然災(zāi)害、外部攻擊時，必須保證這些信息不丟，而且從業(yè)務(wù)角度要保證RTO盡可能短、RPO盡可能為0。

HBase基于底層的HDFS作為存儲系統(tǒng)，HDFS實現(xiàn)了三副本策略，按照一定的規(guī)則將副本放在不同的節(jié)點或機架中，本身具有較高的容災(zāi)能力。在工程實踐中，也產(chǎn)生了Region replica、主備集群、互備雙活等策略來盡可能進行災(zāi)備并保證高可用。

網(wǎng)站題目：nosql視頻hbase,nosql視頻教程
文章位置：http://aaarwkj.com/article28/dsispcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、服務(wù)器托管、外貿(mào)建站、用戶體驗、手機網(wǎng)站建設(shè)、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)