用qt怎么備份Oracle數(shù)據(jù)庫

Qt 提供了 QtSql 模塊來提供平臺(tái)獨(dú)立的基于 SQL 的數(shù)據(jù)庫操作。這里我們所說的“平臺(tái)獨(dú)立”，既包括操作系統(tǒng)平臺(tái)，有包括各個(gè)數(shù)據(jù)庫平臺(tái)。另外，我們強(qiáng)調(diào)了“基于 SQL”，因?yàn)?NoSQL 數(shù)據(jù)庫至今沒有一個(gè)通用查詢方法，所以不可能提供一種通用的 NoSQL 數(shù)據(jù)庫的操作。Qt 的數(shù)據(jù)庫操作還可以很方便的與 model/view 架構(gòu)進(jìn)行整合。通常來說，我們對(duì)數(shù)據(jù)庫的操作更多地在于對(duì)數(shù)據(jù)庫表的操作，而這正是 model/view 架構(gòu)的長(zhǎng)項(xiàng)。

創(chuàng)新互聯(lián)公司是專業(yè)的洛江網(wǎng)站建設(shè)公司，洛江接單;提供做網(wǎng)站、成都做網(wǎng)站,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行洛江網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

Qt 使用QSqlDatabase表示一個(gè)數(shù)據(jù)庫連接。更底層上，Qt 使用驅(qū)動(dòng)（drivers）來與不同的數(shù)據(jù)庫 API 進(jìn)行交互。Qt 桌面版本提供了如下幾種驅(qū)動(dòng)：

驅(qū)動(dòng) 數(shù)據(jù)庫

QDB2 IBM DB2 (7.1 或更新版本)

QIBASE Borland InterBase

QMYSQL MySQL

QOCI Oracle Call Interface Driver

QODBC Open Database Connectivity (ODBC) – Microsoft SQL Server 及其它兼容 ODBC 的數(shù)據(jù)庫

QPSQL PostgreSQL (7.3 或更新版本)

QSQLITE2 SQLite 2

QSQLITE SQLite 3

QSYMSQL 針對(duì) Symbian 平臺(tái)的SQLite 3

QTDS Sybase Adaptive Server (自 Qt 4.7 起廢除)

不過，由于受到協(xié)議的限制，Qt 開源版本并沒有提供上面所有驅(qū)動(dòng)的二進(jìn)制版本，而僅僅以源代碼的形式提供。通常，Qt 只默認(rèn)搭載 QSqlite 驅(qū)動(dòng)（這個(gè)驅(qū)動(dòng)實(shí)際還包括 Sqlite 數(shù)據(jù)庫，也就是說，如果需要使用 Sqlite 的話，只需要該驅(qū)動(dòng)即可）。我們可以選擇把這些驅(qū)動(dòng)作為 Qt 的一部分進(jìn)行編譯，也可以當(dāng)作插件編譯。

如果習(xí)慣于使用 SQL 語句，我們可以選擇QSqlQuery類；如果只需要使用高層次的數(shù)據(jù)庫接口（不關(guān)心 SQL 語法），我們可以選擇QSqlTableModel和QSqlRelationalTableModel。我們只介紹QSqlQuery類的使用。

在使用時(shí)，我們可以通過

QSqlDatabase::drivers();

1

找到系統(tǒng)中所有可用的數(shù)據(jù)庫驅(qū)動(dòng)的名字列表。我們只能使用出現(xiàn)在列表中的驅(qū)動(dòng)。由于默認(rèn)情況下，QtSql 是作為 Qt 的一個(gè)模塊提供的。為了使用有關(guān)數(shù)據(jù)庫的類，我們必須早 .pro 文件中添加這么一句：

QT += sql

1

這表示，我們的程序需要使用 Qt 的 core、gui 以及 sql 三個(gè)模塊。注意，如果需要同時(shí)使用 Qt4 和 Qt5 編譯程序，通常我們的 .pro 文件是這樣的：

QT += core gui sql

greaterThan(QT_MAJOR_VERSION, 4): QT += widgets

1

2

這兩句也很明確：Qt 需要加載 core、gui 和 sql 三個(gè)模塊，如果主板本大于 4，則再添加 widgets 模塊。

下面來看一個(gè)簡(jiǎn)單的函數(shù)：

bool connect(const QString dbName)

{

QSqlDatabase db = QSqlDatabase::addDatabase("QSQLITE");

// db.setHostName("host");

// db.setDatabaseName("dbname");

// db.setUserName("username");

// db.setPassword("password");

db.setDatabaseName(dbName);

if (!db.open()) {

QMessageBox::critical(0, QObject::tr("Database Error"),

db.lastError().text());

return false;

}

return true;

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

我們使用connect()函數(shù)創(chuàng)建一個(gè)數(shù)據(jù)庫連接。我們使用QSqlDatabase::addDatabase()靜態(tài)函數(shù)完成這一請(qǐng)求，也就是創(chuàng)建了一個(gè)QSqlDatabase實(shí)例。注意，數(shù)據(jù)庫連接使用自己的名字進(jìn)行區(qū)分，而不是數(shù)據(jù)庫的名字。例如，我們可以使用下面的語句：

QSqlDatabase db=QSqlDatabase::addDatabase("QSQLITE", QString("con%1").arg(dbName));

1

此時(shí)，我們是使用addDatabase()函數(shù)的第二個(gè)參數(shù)來給這個(gè)數(shù)據(jù)庫連接一個(gè)名字。在這個(gè)例子中，用于區(qū)分這個(gè)數(shù)據(jù)庫連接的名字是QString(“conn%1”).arg(dbName)，而不是 “QSQLITE”。這個(gè)參數(shù)是可選的，如果不指定，系統(tǒng)會(huì)給出一個(gè)默認(rèn)的名字QSqlDatabase::defaultConnection，此時(shí)，Qt 會(huì)創(chuàng)建一個(gè)默認(rèn)的連接。如果你給出的名字與已存在的名字相同，新的連接會(huì)替換掉已有的連接。通過這種設(shè)計(jì)，我們可以為一個(gè)數(shù)據(jù)庫建立多個(gè)連接。

我們這里使用的是 sqlite 數(shù)據(jù)庫，只需要指定數(shù)據(jù)庫名字即可。如果是數(shù)據(jù)庫服務(wù)器，比如 MySQL，我們還需要指定主機(jī)名、端口號(hào)、用戶名和密碼，這些語句使用注釋進(jìn)行了簡(jiǎn)單的說明。

接下來我們調(diào)用了QSqlDatabase::open()函數(shù)，打開這個(gè)數(shù)據(jù)庫連接。通過檢查open()函數(shù)的返回值，我們可以判斷數(shù)據(jù)庫是不是正確打開。

QtSql 模塊中的類大多具有l(wèi)astError()函數(shù)，用于檢查最新出現(xiàn)的錯(cuò)誤。如果你發(fā)現(xiàn)數(shù)據(jù)庫操作有任何問題，應(yīng)該使用這個(gè)函數(shù)進(jìn)行錯(cuò)誤的檢查。這一點(diǎn)我們也在上面的代碼中進(jìn)行了體現(xiàn)。當(dāng)然，這只是最簡(jiǎn)單的實(shí)現(xiàn)，一般來說，更好的設(shè)計(jì)是，不要在數(shù)據(jù)庫操作中混雜界面代碼（并且將這個(gè)connect()函數(shù)放在一個(gè)專門的數(shù)據(jù)庫操作類中）。

接下來我們可以在main()函數(shù)中使用這個(gè)connect()函數(shù)：

int main(int argc, char *argv[])

{

QApplication a(argc, argv);

if (connect("demo.db")) {

QSqlQuery query;

if (!query.exec("CREATE TABLE student ("

"id INTEGER PRIMARY KEY AUTOINCREMENT,"

"name VARCHAR,"

"age INT)")) {

QMessageBox::critical(0, QObject::tr("Database Error"),

query.lastError().text());

return 1;

}

} else {

return 1;

}

return a.exec();

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

main()函數(shù)中，我們調(diào)用這個(gè)connect()函數(shù)打開數(shù)據(jù)庫。如果打開成功，我們通過一個(gè)QSqlQuery實(shí)例執(zhí)行了 SQL 語句，就是query.exec();。同樣，我們使用其lastError()函數(shù)檢查了執(zhí)行結(jié)果是否正確。

注意這里的QSqlQuery實(shí)例的創(chuàng)建。我們并沒有指定是為哪一個(gè)數(shù)據(jù)庫連接創(chuàng)建查詢對(duì)象，此時(shí)，系統(tǒng)會(huì)使用默認(rèn)的連接，也就是使用沒有第二個(gè)參數(shù)的addDatabase()函數(shù)創(chuàng)建的那個(gè)連接（其實(shí)就是名字為QSqlDatabase::defaultConnection的默認(rèn)連接）。如果沒有這么一個(gè)連接，系統(tǒng)就會(huì)報(bào)錯(cuò)。也就是說，如果沒有默認(rèn)連接，我們?cè)趧?chuàng)建QSqlQuery對(duì)象時(shí)必須指明是哪一個(gè)QSqlDatabase對(duì)象，也就是addDatabase()的返回值。

我們還可以通過使用QSqlQuery::isActive()函數(shù)檢查語句執(zhí)行正確與否。如果QSqlQuery對(duì)象是活動(dòng)的，該函數(shù)返回 true。所謂“活動(dòng)”，就是指該對(duì)象成功執(zhí)行了exec()函數(shù)，但是還沒有完成。如果需要設(shè)置為不活動(dòng)的，可以使用finish()或者clear()函數(shù)，或者直接釋放掉這個(gè)QSqlQuery對(duì)象。這里需要注意的是，如果存在一個(gè)活動(dòng)的 SELECT 語句，某些數(shù)據(jù)庫系統(tǒng)不能成功完成connect()或者rollback()函數(shù)的調(diào)用。此時(shí)，我們必須首先將活動(dòng)的 SELECT 語句設(shè)置成不活動(dòng)的。

創(chuàng)建過數(shù)據(jù)庫表 student 之后，我們開始插入數(shù)據(jù)，然后將其獨(dú)取出來：

if (connect("demo.db")) {

QSqlQuery query;

query.prepare("INSERT INTO student (name, age) VALUES (?, ?)");

QVariantList names;

names "Tom" "Jack" "Jane" "Jerry";

query.addBindValue(names);

QVariantList ages;

ages 20 23 22 25;

query.addBindValue(ages);

if (!query.execBatch()) {

QMessageBox::critical(0, QObject::tr("Database Error"),

query.lastError().text());

}

query.finish();

query.exec("SELECT name, age FROM student");

while (query.next()) {

QString name = query.value(0).toString();

int age = query.value(1).toInt();

qDebug() name ": " age;

}

} else {

return 1;

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

依舊連接到我們創(chuàng)建的 demo.db 數(shù)據(jù)庫。我們需要插入多條數(shù)據(jù)，此時(shí)可以使用QSqlQuery::exec()函數(shù)一條一條插入數(shù)據(jù)，但是這里我們選擇了另外一種方法：批量執(zhí)行。首先，我們使用QSqlQuery::prepare()函數(shù)對(duì)這條 SQL 語句進(jìn)行預(yù)處理，問號(hào) ? 相當(dāng)于占位符，預(yù)示著以后我們可以使用實(shí)際數(shù)據(jù)替換這些位置。簡(jiǎn)單說明一下，預(yù)處理是數(shù)據(jù)庫提供的一種特性，它會(huì)將 SQL 語句進(jìn)行編譯，性能和安全性都要優(yōu)于普通的 SQL 處理。在上面的代碼中，我們使用一個(gè)字符串列表 names 替換掉第一個(gè)問號(hào)的位置，一個(gè)整型列表 ages 替換掉第二個(gè)問號(hào)的位置，利用QSqlQuery::addBindValue()我們將實(shí)際數(shù)據(jù)綁定到這個(gè)預(yù)處理的 SQL 語句上。需要注意的是，names 和 ages 這兩個(gè)列表里面的數(shù)據(jù)需要一一對(duì)應(yīng)。然后我們調(diào)用QSqlQuery::execBatch()批量執(zhí)行 SQL，之后結(jié)束該對(duì)象。這樣，插入操作便完成了。

另外說明一點(diǎn)，我們這里使用了 ODBC 風(fēng)格的 ? 占位符，同樣，我們也可以使用 Oracle 風(fēng)格的占位符：

query.prepare("INSERT INTO student (name, age) VALUES (:name, :age)");

1

此時(shí)，我們就需要使用

query.bindValue(":name", names);

query.bindValue(":age", ages);

1

2

進(jìn)行綁定。Oracle 風(fēng)格的綁定最大的好處是，綁定的名字和值很清晰，與順序無關(guān)。但是這里需要注意，bindValue()函數(shù)只能綁定一個(gè)位置。比如

query.prepare("INSERT INTO test (name1, name2) VALUES (:name, :name)");

// ...

query.bindValue(":name", name);

1

2

3

只能綁定第一個(gè) :name 占位符，不能綁定到第二個(gè)。

接下來我們依舊使用同一個(gè)查詢對(duì)象執(zhí)行一個(gè) SELECT 語句。如果存在查詢結(jié)果，QSqlQuery::next()會(huì)返回 true，直到到達(dá)結(jié)果最末，返回 false，說明遍歷結(jié)束。我們利用這一點(diǎn)，使用 while 循環(huán)即可遍歷查詢結(jié)果。使用QSqlQuery::value()函數(shù)即可按照 SELECT 語句的字段順序獲取到對(duì)應(yīng)的數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)。

對(duì)于數(shù)據(jù)庫事務(wù)的操作，我們可以使用 QSqlDatabase::transaction() 開啟事務(wù)，QSqlDatabase::commit() 或者QSqlDatabase::rollback() 結(jié)束事務(wù)。使用QSqlDatabase::database()函數(shù)則可以根據(jù)名字獲取所需要的數(shù)據(jù)庫連接。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路，數(shù)據(jù)庫行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中，單一數(shù)據(jù)庫架構(gòu)都不能完全滿足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢(shì)，以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫集群對(duì)即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫無法解決的全屬性選擇器等問題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間，支持每天4000萬的查詢請(qǐng)求，平均響應(yīng)時(shí)間在28毫秒，足以滿足未來一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì)，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì)，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求，以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作，NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營商在集中化BI系統(tǒng)建設(shè)過程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問題，并且需要應(yīng)對(duì)大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢(shì)，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì)，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫中，短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái)，中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫架構(gòu)各自所具有的優(yōu)勢(shì)和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫的特點(diǎn)和優(yōu)勢(shì)，并且與其他架構(gòu)數(shù)據(jù)庫形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國內(nèi)市場(chǎng)上，OldSQL主要為Oracle、IBM等國外數(shù)據(jù)庫廠商所壟斷，達(dá)夢(mèng)、金倉等國產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國產(chǎn)新型數(shù)據(jù)庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶則大多采用Hadoop開源方案。

nosql數(shù)據(jù)庫怎么備份

可以使用騰訊手機(jī)管家備份，

它的備份速度很省時(shí)間，而且之后很完整的還原到電腦或者手機(jī)里了

我是挺信任這個(gè)得，而且就算換手機(jī)也不怕

隨時(shí)都可以還原到你的新手機(jī)里，資料肯定也不會(huì)丟失的。

如何選擇NoSQL數(shù)據(jù)庫

NoSQL，指的是非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的

SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。

NoSQL(NoSQL

= Not Only SQL

)，意即“不僅僅是SQL”，是一項(xiàng)全新的數(shù)據(jù)庫革命性運(yùn)動(dòng)，早期就有人提出，發(fā)展至2009年趨勢(shì)越發(fā)高漲。NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)

據(jù)存儲(chǔ)，相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運(yùn)用，這一概念無疑是一種全新的思維的注入。

從這一新興技術(shù)中選擇一款正確的NoSQL數(shù)據(jù)庫是非常具有挑戰(zhàn)性的。比一下網(wǎng)建議在選擇時(shí)考慮以下因素：

并發(fā)控制

并

發(fā)控制指的是當(dāng)多個(gè)用戶同時(shí)更新運(yùn)行時(shí)，用于保護(hù)數(shù)據(jù)庫完整性的各種技術(shù)。并發(fā)機(jī)制不正確可能導(dǎo)致臟讀、幻讀和不可重復(fù)讀等此類問題。并發(fā)控制的目的是保

證一個(gè)用戶的工作不會(huì)對(duì)另一個(gè)用戶的工作產(chǎn)生不合理的影響。在某些情況下，這些措施保證了當(dāng)用戶和其他用戶一起操作時(shí)，所得的結(jié)果和她單獨(dú)操作時(shí)的結(jié)果是

一樣的。在另一些情況下，這表示用戶的工作按預(yù)定的方式受其他用戶的影響。

封鎖

就是事務(wù)T在對(duì)某個(gè)數(shù)據(jù)對(duì)象（例如表、記錄等）操作之前，先向系統(tǒng)發(fā)出請(qǐng)求，對(duì)其加鎖。加鎖后事務(wù)T就對(duì)該數(shù)據(jù)對(duì)象有了一定的控制，在事務(wù)T釋放它的鎖之前，其它的事務(wù)不能更新此數(shù)據(jù)對(duì)象。

封鎖是一次只允許一個(gè)用戶讀取或修改的一種機(jī)制，是實(shí)現(xiàn)并發(fā)控制的一個(gè)非常重要的技術(shù)。

MVCC

Multi-Version Concurrency Control多版本并發(fā)控制，維持一個(gè)數(shù)據(jù)的多個(gè)版本使讀寫操作沒有沖突。MVCC優(yōu)化了數(shù)據(jù)庫并發(fā)系統(tǒng)，使系統(tǒng)在有大量并發(fā)用戶時(shí)得到最高的性能，并且可以不用關(guān)閉服務(wù)器就直接進(jìn)行熱備份。

ACID

指

數(shù)據(jù)庫事務(wù)正確執(zhí)行的四個(gè)基本要素的縮寫。包含：原子性(Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久

性（Durability）。一個(gè)支持事務(wù)（Transaction）的數(shù)據(jù)庫系統(tǒng)，必需要具有這四種特性，否則在事務(wù)過程（Transaction

processing）當(dāng)中無法保證數(shù)據(jù)的正確性，交易過程極可能達(dá)不到交易方的要求。

None

一些系統(tǒng)不提供原子性。

鏡像

數(shù)據(jù)庫鏡像是DBMS根據(jù)DBA的要求，自動(dòng)把整個(gè)數(shù)據(jù)庫或其中的關(guān)鍵數(shù)據(jù)復(fù)制到另一個(gè)磁盤上，每當(dāng)主數(shù)據(jù)庫更新時(shí)，DBMS會(huì)自動(dòng)把更新后的數(shù)據(jù)復(fù)制過去，即DBMS自動(dòng)保證鏡像數(shù)據(jù)與主數(shù)據(jù)的一致性。

鏡像分為同步和異步。

數(shù)據(jù)存儲(chǔ)

指的是數(shù)據(jù)的物理特性怎樣被存儲(chǔ)在數(shù)據(jù)庫中。

磁盤 數(shù)據(jù)被存儲(chǔ)在硬盤驅(qū)動(dòng)器里；

GFS或谷歌文件系統(tǒng)是一個(gè)由谷歌開發(fā)的專有的分布式文件系統(tǒng)；

Hadoop是Apache軟件框架，免費(fèi)許可下支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用程序；

RAM隨機(jī)存儲(chǔ)器；

插件 可以添加外部插件；

Amazon S3通過Web服務(wù)接口提供存儲(chǔ)；

BDB：BDB

全稱是 “Berkeley DB”，它是MySQL具有事務(wù)能力的表類型，由Sleepycat

Software開發(fā)。BDB表類型提供了MySQL用戶長(zhǎng)久期盼的功能，即事務(wù)控制能力。在任何RDBMS中，事務(wù)控制能力都是一種極其重要和寶貴的功

能。事務(wù)控制能力使得我們能夠確保一組命令確實(shí)已經(jīng)全部執(zhí)行成功，或者確保當(dāng)任何一個(gè)命令出現(xiàn)錯(cuò)誤時(shí)所有命令的執(zhí)行結(jié)果均被退回。

實(shí)現(xiàn)語言

實(shí)現(xiàn)語言會(huì)影響數(shù)據(jù)庫的發(fā)展速度。典型的NoSQL數(shù)據(jù)庫是用低級(jí)語言如C / C + +編寫的。另一方面，那些更高層次的語言如Java，使自定義更容易。

實(shí)現(xiàn)語言有：C, C++, Erlang, Java, Python

特性

考慮下列哪一個(gè)特點(diǎn)對(duì)你的數(shù)據(jù)庫是最重要的：

持久性

可用性

一致性

分區(qū)容忍性

證書類型

下面這些許可證是一個(gè)不同的開放源碼許可的形式：

GPL：通用公共許可證

BSD：伯克利軟件分發(fā)

MPL：Mozilla公共許可證

EPL：Eclipse公共許可證

IDPL：最初的開發(fā)者的公共許可證

LGPL：較寬松通用公共許可證

存儲(chǔ)類型

存儲(chǔ)類型是NoSQL數(shù)據(jù)庫最大的不同，是決定使用哪款數(shù)據(jù)庫的一個(gè)首要指標(biāo)。

關(guān)鍵字：支持get、put和刪除操作

按列存儲(chǔ)：相對(duì)于傳統(tǒng)的按行存儲(chǔ)，數(shù)據(jù)集成容易多了

面向文件系統(tǒng)：存儲(chǔ)像是JSON或XML這樣的結(jié)構(gòu)化文件，很容易就能從面向?qū)ο筌浖蝎@取數(shù)據(jù)。

NoSQL-HDFS-基本概念

Hadoop

文件系統(tǒng)：文件系統(tǒng)是用來存儲(chǔ)和管理文件，并且提供文件的查詢、增加、刪除等操作。

直觀上的體驗(yàn)：在shell窗口輸入 ls 命令，就可以看到當(dāng)前目錄下的文件夾、文件。

文件存儲(chǔ)在哪里？硬盤

一臺(tái)只有250G硬盤的電腦，如果需要存儲(chǔ)500G的文件可以怎么辦？先將電腦硬盤擴(kuò)容至少250G，再將文件分割成多塊，放到多塊硬盤上儲(chǔ)存。

通過 hdfs dfs -ls 命令可以查看分布式文件系統(tǒng)中的文件，就像本地的ls命令一樣。

HDFS在客戶端上提供了查詢、新增和刪除的指令，可以實(shí)現(xiàn)將分布在多臺(tái)機(jī)器上的文件系統(tǒng)進(jìn)行統(tǒng)一的管理。

在分布式文件系統(tǒng)中，一個(gè)大文件會(huì)被切分成塊，分別存儲(chǔ)到幾臺(tái)機(jī)器上。結(jié)合上文中提到的那個(gè)存儲(chǔ)500G大文件的那個(gè)例子，這500G的文件會(huì)按照一定的大小被切分成若干塊，然后分別存儲(chǔ)在若干臺(tái)機(jī)器上，然后提供統(tǒng)一的操作接口。

看到這里，不少人可能會(huì)覺得，分布式文件系統(tǒng)不過如此，很簡(jiǎn)單嘛。事實(shí)真的是這樣的么？

潛在問題

假如我有一個(gè)1000臺(tái)機(jī)器組成的分布式系統(tǒng)，一臺(tái)機(jī)器每天出現(xiàn)故障的概率是0.1%，那么整個(gè)系統(tǒng)每天出現(xiàn)故障的概率是多大呢？答案是(1-0.1%)^1000=63%，因此需要提供一個(gè)容錯(cuò)機(jī)制來保證發(fā)生差錯(cuò)時(shí)文件依然可以讀出，這里暫時(shí)先不展開介紹。

如果要存儲(chǔ)PB級(jí)或者EB級(jí)的數(shù)據(jù)，成千上萬臺(tái)機(jī)器組成的集群是很常見的，所以說分布式系統(tǒng)比單機(jī)系統(tǒng)要復(fù)雜得多呀。

這是一張HDFS的架構(gòu)簡(jiǎn)圖：

client通過nameNode了解數(shù)據(jù)在哪些DataNode上，從而發(fā)起查詢。此外，不僅是查詢文件，寫入文件的時(shí)候也是先去請(qǐng)教N(yùn)ameNode，看看應(yīng)該往哪個(gè)DateNode中去寫。

為了某一份數(shù)據(jù)只寫入到一個(gè)Datanode中，而這個(gè)Datanode因?yàn)槟承┰虺鲥e(cuò)無法讀取的問題，需要通過冗余備份的方式來進(jìn)行容錯(cuò)處理。因此，HDFS在寫入一個(gè)數(shù)據(jù)塊的時(shí)候，不會(huì)僅僅寫入一個(gè)DataNode，而是會(huì)寫入到多個(gè)DataNode中，這樣，如果其中一個(gè)DataNode壞了，還可以從其余的DataNode中拿到數(shù)據(jù)，保證了數(shù)據(jù)不丟失。

實(shí)際上，每個(gè)數(shù)據(jù)塊在HDFS上都會(huì)保存多份，保存在不同的DataNode上。這種是犧牲一定存儲(chǔ)空間換取可靠性的做法。

接下來我們來看一下完整的文件寫入的流程：

大文件要寫入HDFS，client端根據(jù)配置將大文件分成固定大小的塊，然后再上傳到HDFS。

讀取文件的流程：

1、client詢問NameNode，我要讀取某個(gè)路徑下的文件，麻煩告訴我這個(gè)文件都在哪些DataNode上？

2、NameNode回復(fù)client，這個(gè)路徑下的文件被切成了3塊，分別在DataNode1、DataNode3和DataNode4上

3、client去找DataNode1、DataNode3和DataNode4，拿到3個(gè)文件塊，通過stream讀取并且整合起來

文件寫入的流程：

1、client先將文件分塊，然后詢問NameNode，我要寫入一個(gè)文件到某個(gè)路徑下，文件有3塊，應(yīng)該怎么寫？

2、NameNode回復(fù)client，可以分別寫到DataNode1、DataNode2、DataNode3、DataNode4上，記住，每個(gè)塊重復(fù)寫3份，總共是9份

3、client找到DataNode1、DataNode2、DataNode3、DataNode4，把數(shù)據(jù)寫到他們上面

出于容錯(cuò)的考慮，每個(gè)數(shù)據(jù)塊有3個(gè)備份，但是3個(gè)備份快都直接由client端直接寫入勢(shì)必會(huì)帶來client端過重的寫入壓力，這個(gè)點(diǎn)是否有更好的解決方案呢？回憶一下mysql主備之間是通過binlog文件進(jìn)行同步的，HDFS當(dāng)然也可以借鑒這個(gè)思想，數(shù)據(jù)其實(shí)只需要寫入到一個(gè)datanode上，然后由datanode之間相互進(jìn)行備份同步，減少了client端的寫入壓力，那么至于是一個(gè)datanode寫入成功即成功，還是需要所有的參與備份的datanode返回寫入成功才算成功，是可靠性配置的策略，當(dāng)然這個(gè)設(shè)置會(huì)影響到數(shù)據(jù)寫入的吞吐率，我們可以看到可靠性和效率永遠(yuǎn)是“魚和熊掌不可兼得”的。

潛在問題

NameNode確實(shí)會(huì)回放editlog，但是不是每次都從頭回放，它會(huì)先加載一個(gè)fsimage，這個(gè)文件是之前某一個(gè)時(shí)刻整個(gè)NameNode的文件元數(shù)據(jù)的內(nèi)存快照，然后再在這個(gè)基礎(chǔ)上回放editlog，完成后，會(huì)清空editlog，再把當(dāng)前文件元數(shù)據(jù)的內(nèi)存狀態(tài)寫入fsimage，方便下一次加載。

這樣，全量回放就變成了增量回放，但是如果NameNode長(zhǎng)時(shí)間未重啟過，editlog依然會(huì)比較大，恢復(fù)的時(shí)間依然比較長(zhǎng)，這個(gè)問題怎么解呢？

SecondNameNode是一個(gè)NameNode內(nèi)的定時(shí)任務(wù)線程，它會(huì)定期地將editlog寫入fsimage，然后情況原來的editlog，從而保證editlog的文件大小維持在一定大小。

NameNode掛了， SecondNameNode并不能替代NameNode，所以如果集群中只有一個(gè)NameNode，它掛了，整個(gè)系統(tǒng)就掛了。hadoop2.x之前，整個(gè)集群只能有一個(gè)NameNode，是有可能發(fā)生單點(diǎn)故障的，所以hadoop1.x有本身的不穩(wěn)定性。但是hadoop2.x之后，我們可以在集群中配置多個(gè)NameNode，就不會(huì)有這個(gè)問題了，但是配置多個(gè)NameNode，需要注意的地方就更多了，系統(tǒng)就更加復(fù)雜了。

俗話說“一山不容二虎”，兩個(gè)NameNode只能有一個(gè)是活躍狀態(tài)active，另一個(gè)是備份狀態(tài)standby，我們看一下兩個(gè)NameNode的架構(gòu)圖。

兩個(gè)NameNode通過JournalNode實(shí)現(xiàn)同步editlog，保持狀態(tài)一致可以相互替換。

因?yàn)閍ctive的NameNode掛了之后，standby的NameNode要馬上接替它，所以它們的數(shù)據(jù)要時(shí)刻保持一致，在寫入數(shù)據(jù)的時(shí)候，兩個(gè)NameNode內(nèi)存中都要記錄數(shù)據(jù)的元信息，并保持一致。這個(gè)JournalNode就是用來在兩個(gè)NameNode中同步數(shù)據(jù)的，并且standby NameNode實(shí)現(xiàn)了SecondNameNode的功能。

進(jìn)行數(shù)據(jù)同步操作的過程如下：

active NameNode有操作之后，它的editlog會(huì)被記錄到JournalNode中，standby NameNode會(huì)從JournalNode中讀取到變化并進(jìn)行同步，同時(shí)standby NameNode會(huì)監(jiān)聽記錄的變化。這樣做的話就是實(shí)時(shí)同步了，并且standby NameNode就實(shí)現(xiàn)了SecondNameNode的功能。

優(yōu)點(diǎn)：

缺點(diǎn)：

本文標(biāo)題：nosql備份,MySQL 數(shù)據(jù)備份
轉(zhuǎn)載注明：http://aaarwkj.com/article28/dsieocp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、動(dòng)態(tài)網(wǎng)站、商城網(wǎng)站、網(wǎng)站導(dǎo)航、面包屑導(dǎo)航、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)