數(shù)據(jù)架構(gòu)就像常規(guī)架構(gòu)一樣。在這兩個(gè)領(lǐng)域，都應(yīng)該遵守良好架構(gòu)的基本原則。當(dāng)然，有些設(shè)計(jì)適用于廣泛的應(yīng)用程序和其他更小眾的設(shè)計(jì)，但無(wú)論結(jié)構(gòu)的確切性質(zhì)如何，你可以打賭，如果它是成功的，建筑師會(huì)厭煩牢記要點(diǎn)。

什么是數(shù)據(jù)架構(gòu)？

數(shù)據(jù)架構(gòu)可能會(huì)變得復(fù)雜。但是沒(méi)有必要馬上把這個(gè)復(fù)雜化。大多數(shù)架構(gòu)方法都是從基礎(chǔ)開(kāi)始的，這就是我們要在這里闡述的內(nèi)容。數(shù)據(jù)架構(gòu)可以描述為實(shí)體如何組織其數(shù)據(jù)。

這包括三個(gè)方面：

數(shù)據(jù)是如何存儲(chǔ)的？ 數(shù)據(jù)是如何處理的？ 數(shù)據(jù)如何使用？

我們將看到這些問(wèn)題出現(xiàn)在數(shù)據(jù)架構(gòu)問(wèn)題中，有時(shí)會(huì)同時(shí)出現(xiàn)兩個(gè)或所有三個(gè)問(wèn)題。但是，為了依次處理每一個(gè)問(wèn)題，存儲(chǔ)包括準(zhǔn)確性、訪問(wèn)、控制和可擴(kuò)展性等因素。這是原始數(shù)據(jù)的“數(shù)據(jù)湖”。處理包括安全性、與外圍資源之間的數(shù)據(jù)傳輸以及靈活性。處理后的數(shù)據(jù)形成“數(shù)據(jù)倉(cāng)庫(kù)”。

用途包括接口、數(shù)據(jù)共享和應(yīng)用程序。有些公司對(duì)數(shù)據(jù)架構(gòu)的這三個(gè)方面有非常正式的方法，有些則更少。但是所有公司都應(yīng)該以某種方式覆蓋它們。這樣，他們可以確保數(shù)據(jù)管理得到應(yīng)有的優(yōu)先級(jí)。

這就是對(duì)數(shù)據(jù)粗心大意的處罰（2021 年，因數(shù)據(jù)泄露而被判有罪的美國(guó)公司的平均罰款為 424 萬(wàn)美元），這是組織對(duì)自己、客戶和任何聯(lián)系人的責(zé)任數(shù)據(jù)。數(shù)據(jù)是寶貴的，因此企業(yè)需要將其視為資本，如果不是更高的話。我們將首先轉(zhuǎn)向這種對(duì)數(shù)據(jù)的必要尊重。

1. 數(shù)據(jù)文化

對(duì)于任何范式轉(zhuǎn)變，如果您想要進(jìn)行重大變革，那么孤立地關(guān)注公司的一個(gè)方面是沒(méi)有好處的。例如，工作場(chǎng)所的性別歧視正在受到挑戰(zhàn)（盡管速度很慢），但并非只專注于招聘或任何其他單一領(lǐng)域。為了確保所需的根本和分支變化，有必要解決工作場(chǎng)所的整個(gè)環(huán)境和心理問(wèn)題。換句話說(shuō)，它的文化。

與數(shù)據(jù)完全相同。必須優(yōu)先考慮數(shù)據(jù)問(wèn)題，這是通過(guò)讓每個(gè)人都遵守?cái)?shù)據(jù)信條來(lái)賦予的。數(shù)據(jù)不再只是數(shù)據(jù)科學(xué)家的專利。

這是描述這一點(diǎn)的一種方式：

公司犯的大錯(cuò)誤之一是招募數(shù)據(jù)員工團(tuán)隊(duì)，給他們一個(gè)配備所有最新設(shè)備的高檔辦公室，然后坐下來(lái)，認(rèn)為數(shù)據(jù)工作已經(jīng)完成。問(wèn)題是，您的新部門(mén)正在為您處理的數(shù)據(jù)將被許多其他人訪問(wèn)，包括內(nèi)部團(tuán)隊(duì)和公司以外的人。如果其他人不那么注意數(shù)據(jù)問(wèn)題，您可能會(huì)遇到麻煩。

這些其他人最終可能會(huì)將數(shù)據(jù)傳播給無(wú)權(quán)訪問(wèn)它的人。我們已經(jīng)提到了數(shù)據(jù)安全和訪問(wèn)治理價(jià)值的重要性。幾乎同樣糟糕的是，他們可能不會(huì)將它提供給需要它的人，并且工作流程可能會(huì)受到影響。

所有員工都有責(zé)任確保數(shù)據(jù)絕對(duì)到達(dá)需要它的每個(gè)人，絕對(duì)沒(méi)有其他人。您的工作是將這一點(diǎn)灌輸給他們，以便他們開(kāi)始看到有價(jià)值商品的數(shù)據(jù)，而不僅僅是可能會(huì)或可能不會(huì)被誰(shuí)知道誰(shuí)搶奪的東西。分享的需要引導(dǎo)我們得出下一個(gè)原則。

2. 整理數(shù)據(jù)

因此，員工應(yīng)該在任務(wù)需要的地方相互提供數(shù)據(jù)。但它比這更進(jìn)一步。應(yīng)該注意讓數(shù)據(jù)以同樣的方式為每個(gè)人服務(wù)。其中一個(gè)非常突出的方面是指標(biāo)。特定指標(biāo)在營(yíng)銷中的含義應(yīng)與對(duì)銷售團(tuán)隊(duì)的含義相同。必須有一個(gè)共同的詞匯，沒(méi)有晦澀的辦公室方言。

假設(shè)業(yè)務(wù)的兩個(gè)部分使用相似的數(shù)據(jù)，但一個(gè)只處理月度數(shù)據(jù)，而另一個(gè)只處理周度數(shù)據(jù)。如果可能的話，應(yīng)該努力統(tǒng)一他們的數(shù)據(jù)，以便更容易和更快地進(jìn)行有意義的比較和關(guān)系評(píng)估。跨部門(mén)對(duì)特定數(shù)據(jù)代表什么以及它引導(dǎo)組織的方向達(dá)成的共識(shí)越多，您的企業(yè)就越能從聯(lián)合部門(mén)的聯(lián)合思維中受益。

首先，在分享方面，您優(yōu)秀的數(shù)據(jù)專家可能需要一點(diǎn)鼓勵(lì)。通常情況下，數(shù)據(jù)工作人員可以將自己視為監(jiān)護(hù)人，而他們應(yīng)該真正將自己視為促進(jìn)者。這種便利的一部分歸結(jié)為減少行話。在這方面，從真正意義上講，應(yīng)該努力讓每個(gè)人都說(shuō)一種共同的語(yǔ)言。

最后一點(diǎn)：確保您公司的數(shù)據(jù)的組織方式能夠保護(hù)其可訪問(wèn)性。例如，嘗試使其免受斷電的影響，以便優(yōu)化正常運(yùn)行時(shí)間并保護(hù)客戶使用您的服務(wù)的能力。

3. 避免供應(yīng)商鎖定

供應(yīng)商鎖定是當(dāng)您獲得一項(xiàng)技術(shù)時(shí)發(fā)生的情況，由于它不容易從您的架構(gòu)中換出，您最終會(huì)被卡住。例如，當(dāng)一家公司從一系列托管 PBX 提供商中進(jìn)行選擇時(shí)，它應(yīng)該尋找一條簡(jiǎn)單的退出路線，就像一個(gè)誘人的入口一樣。否則，它的通信可能由未來(lái)發(fā)展可能被證明不適合的服務(wù)運(yùn)行。

因此，任何技術(shù)采購(gòu)都需要著眼于未來(lái)。您需要考慮的不僅僅是這項(xiàng)技術(shù)在成為您業(yè)務(wù)的一部分時(shí)可以做出什么貢獻(xiàn)。您需要考慮如何通過(guò)輕松拋棄它來(lái)做出貢獻(xiàn)。

4. 安全

您如何將確保合法訪問(wèn)的需求與阻止未經(jīng)授權(quán)的訪問(wèn)的需求結(jié)合起來(lái)？數(shù)據(jù)架構(gòu)通過(guò)根據(jù)數(shù)據(jù)項(xiàng)對(duì)其進(jìn)行分類來(lái)確保這一點(diǎn)。敏感度以及誰(shuí)可以訪問(wèn)它們。以托管聯(lián)絡(luò)中心軟件為例，將制定一項(xiàng)規(guī)定，以確保只有那些有明確和允許使用該信息的目的的人才能訪問(wèn)客戶詳細(xì)信息。

例如，醫(yī)療保健數(shù)據(jù)架構(gòu)將確保僅用于宏觀分析的任何數(shù)據(jù)都將被匿名化。數(shù)據(jù)架構(gòu)將列出隱私控制保證機(jī)密性的方法?？梢栽跀?shù)據(jù)架構(gòu)中構(gòu)建多層安全性，以確保數(shù)據(jù)在任何階段都不會(huì)受到攻擊，無(wú)論是在存儲(chǔ)、處理還是應(yīng)用程序中。

這是一個(gè)來(lái)自傳統(tǒng)建筑領(lǐng)域的有趣統(tǒng)計(jì)數(shù)據(jù)，發(fā)現(xiàn)一半的受訪建筑師因擔(dān)心數(shù)據(jù)安全而不愿使用他們的 BIM（建筑信息模型）團(tuán)隊(duì)軟件。因此，很多有價(jià)值的合作并沒(méi)有發(fā)生，因?yàn)閰⑴c其中的員工感覺(jué)環(huán)境不夠安全。您需要提供這種安全性。

5. 成為更出色的數(shù)據(jù)策展人

現(xiàn)在到處都有更多的數(shù)據(jù)。有時(shí)我們幾乎沉浸在其中。當(dāng)它處于原始和/或雜亂無(wú)章的狀態(tài)時(shí)，數(shù)據(jù)的有用性可能會(huì)受到損害。在達(dá)到其功效潛力之前，需要進(jìn)行一定的梳理。

例如，我們擁有的電視比我們知道的要多得多。有時(shí)，剛開(kāi)始決定當(dāng)晚要看什么可能會(huì)令人困惑。這就是為什么電視服務(wù)通常具有策展人模式的原因，根據(jù)之前的觀看和其他數(shù)據(jù)，某些電影或連續(xù)劇被突出顯示為觀眾可能更可能感興趣。

觀眾可能會(huì)或可能不會(huì)根據(jù)其建議接受服務(wù)。如果他們決定不這樣做，他們幾乎肯定會(huì)通過(guò)查看各種節(jié)目分組來(lái)尋找其他材料——戲劇、驚悚片、科幻片等。這是另一層策展，稱為分類法。

對(duì)于工作場(chǎng)所的數(shù)據(jù)，同樣的原則也適用。為確保為您的員工提供最適合其任務(wù)的材料，數(shù)據(jù)架構(gòu)必須使信息以易于理解和易于訪問(wèn)的模式顯示。精選數(shù)據(jù)必須對(duì)業(yè)務(wù)用戶有所幫助，因此應(yīng)定期進(jìn)行質(zhì)量檢查。出于這個(gè)原因，數(shù)據(jù)架構(gòu)應(yīng)該包括測(cè)試自動(dòng)化的最佳實(shí)踐。

6. 靈活

商業(yè)中有一個(gè)不變的東西：變化。您對(duì)它的期望越高，甚至接受它，您的業(yè)務(wù)就會(huì)表現(xiàn)得越好?？紤]到這一點(diǎn)，您實(shí)施的任何數(shù)據(jù)架構(gòu)都應(yīng)該具有輕松發(fā)展的潛力。例如，模塊化就受到高度重視，它使組織有機(jī)會(huì)更新系統(tǒng)而無(wú)需大規(guī)模更換系統(tǒng)。

另一個(gè)靈活性領(lǐng)域在于員工訪問(wèn)數(shù)據(jù)的方式。將您的數(shù)據(jù)架構(gòu)設(shè)計(jì)為允許多種格式的訪問(wèn)請(qǐng)求是有意義的。這樣，您的系統(tǒng)將能夠處理例如非結(jié)構(gòu)化的電子郵件以及結(jié)構(gòu)化的 CSV 文件。這種應(yīng)對(duì)非技術(shù)人員投入的能力將消除對(duì)可能耗時(shí)且昂貴的培訓(xùn)的需求。

7. 減少數(shù)據(jù)副本

您的數(shù)據(jù)架構(gòu)應(yīng)以減少不斷復(fù)制數(shù)據(jù)的需要的方式安排。生產(chǎn)無(wú)休止的數(shù)據(jù)副本在處理空間和財(cái)務(wù)方面都是浪費(fèi)的。這本身也是一種安全風(fēng)險(xiǎn)。數(shù)據(jù)虛擬化可以消除傳輸和復(fù)制數(shù)據(jù)的需要。使用 Azure Synapse Analytics 等工具，無(wú)需傳輸即可對(duì)所有數(shù)據(jù)運(yùn)行查詢。

8. 反向 ETL

您可能已經(jīng)知道 ETL 是什么。以防萬(wàn)一，ETL（或提取、轉(zhuǎn)換、加載）是創(chuàng)建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的常用方法。它是一種將來(lái)自多個(gè)來(lái)源的數(shù)據(jù)組合成一個(gè)連貫整體的方法。

因此，反向 ETL 是一種從數(shù)據(jù)倉(cāng)庫(kù)中獲取數(shù)據(jù)并更改其格式的方法。為了使數(shù)據(jù)與來(lái)自 Salesforce、Hubspot 或 Marketo 等第三方來(lái)源的應(yīng)用程序兼容，需要將其從存儲(chǔ)位置取出并轉(zhuǎn)換為更合適的形狀。

因此，您的數(shù)據(jù)架構(gòu)必須允許這樣做。有一些反向 ETL 工具已預(yù)先安裝了 API 集成，從而簡(jiǎn)化了使用和維護(hù)。但是，即使您不使用實(shí)際的反向 ETL，您也必須意識(shí)到需要一個(gè)流程，通過(guò)該流程可以訪問(wèn)數(shù)據(jù)以供各種應(yīng)用程序使用。應(yīng)根據(jù)業(yè)務(wù)的性質(zhì)和所存儲(chǔ)的數(shù)據(jù)實(shí)現(xiàn)標(biāo)準(zhǔn)化接口，例如 SQL、RESTful API 或 OLAP。這種標(biāo)準(zhǔn)化將確保檢索到的數(shù)據(jù)以可預(yù)測(cè)并因此立即可用的格式到達(dá)。

9. 攝取問(wèn)題

您的攝取工具是將數(shù)據(jù)從攝取堆棧加載到數(shù)據(jù)倉(cāng)庫(kù)的方法。這些數(shù)據(jù)將以多種形式來(lái)自大量來(lái)源，因此您的數(shù)據(jù)架構(gòu)需要一個(gè)可以處理盡可能多的攝取工具。

與許多單一來(lái)源的攝取工具相比，擁有一些通用的攝取工具更好。必須在工具之間進(jìn)行交換會(huì)浪費(fèi)時(shí)間，并且會(huì)影響您的數(shù)據(jù)性能。因此，您需要做的是確定您需要支持哪些攝取形式，例如 FTP、Batch、CDC、API），并確保您的數(shù)據(jù)架構(gòu)是圍繞可以處理它們的攝取工具構(gòu)建的。

10. 數(shù)據(jù)發(fā)現(xiàn)

您的數(shù)據(jù)架構(gòu)中應(yīng)該包含自動(dòng)數(shù)據(jù)發(fā)現(xiàn)會(huì)話的規(guī)定。這可以揭示有趣且有價(jià)值的數(shù)據(jù)模式，并突出顯示應(yīng)用程序可以在哪些方面進(jìn)行更新。例如，云電話系統(tǒng)應(yīng)執(zhí)行定期數(shù)據(jù)發(fā)現(xiàn)掃描，以檢查過(guò)時(shí)或沖突的個(gè)人信息。

結(jié)論

因此，數(shù)據(jù)架構(gòu)主要是關(guān)于確保您已經(jīng)考慮過(guò)您的信息持有結(jié)構(gòu)。它是否具有符合要求的輸入方式？輸出格式是否符合您的業(yè)務(wù)需求？任何系統(tǒng)規(guī)劃方法都必須包括這些問(wèn)題的答案。

回到我們最初的存儲(chǔ)、處理和使用模式，很明顯，您的數(shù)據(jù)架構(gòu)的大多數(shù)部分影響的不僅僅是這些領(lǐng)域中的一個(gè)。在這方面，良好的數(shù)據(jù)架構(gòu)通常與良好的操作系統(tǒng)設(shè)計(jì)有很多共同之處。雖然通過(guò)分解事物進(jìn)行分析通常很好，但有時(shí)必須有一個(gè)整體的觀點(diǎn)才能看到結(jié)構(gòu)是如何工作的。這種觀點(diǎn)將對(duì)數(shù)據(jù)架構(gòu)帶來(lái)好處。

本文題目：什么是數(shù)據(jù)架構(gòu)？
當(dāng)前URL：http://aaarwkj.com/news10/321610.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站營(yíng)銷、App設(shè)計(jì)、關(guān)鍵詞優(yōu)化、營(yíng)銷型網(wǎng)站建設(shè)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)