golang使用Nsq

1. 介紹

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的石首網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個基于Go語言的分布式實時消息平臺，它基于MIT開源協(xié)議發(fā)布，由bitly公司開源出來的一款簡單易用的消息中間件。

官方和第三方還為NSQ開發(fā)了眾多客戶端功能庫，如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語言的眾多第三方客戶端功能庫。

1.1 Features

1). Distributed

NSQ提供了分布式的，去中心化，且沒有單點故障的拓撲結(jié)構(gòu)，穩(wěn)定的消息傳輸發(fā)布保障，能夠具有高容錯和HA（高可用）特性。

2). Scalable易于擴展

NSQ支持水平擴展，沒有中心化的brokers。內(nèi)置的發(fā)現(xiàn)服務(wù)簡化了在集群中增加節(jié)點。同時支持pub-sub和load-balanced 的消息分發(fā)。

3). Ops Friendly

NSQ非常容易配置和部署，生來就綁定了一個管理界面。二進制包沒有運行時依賴。官方有Docker image。

4.Integrated高度集成

官方的 Go 和 Python庫都有提供。而且為大多數(shù)語言提供了庫。

1.2 組件

1.3 拓撲結(jié)構(gòu)

NSQ推薦通過他們相應(yīng)的nsqd實例使用協(xié)同定位發(fā)布者，這意味著即使面對網(wǎng)絡(luò)分區(qū)，消息也會被保存在本地，直到它們被一個消費者讀取。更重要的是，發(fā)布者不必去發(fā)現(xiàn)其他的nsqd節(jié)點，他們總是可以向本地實例發(fā)布消息。

NSQ

首先，一個發(fā)布者向它的本地nsqd發(fā)送消息，要做到這點，首先要先打開一個連接，然后發(fā)送一個包含topic和消息主體的發(fā)布命令，在這種情況下，我們將消息發(fā)布到事件topic上以分散到我們不同的worker中。

事件topic會復(fù)制這些消息并且在每一個連接topic的channel上進行排隊，在我們的案例中，有三個channel，它們其中之一作為檔案channel。消費者會獲取這些消息并且上傳到S3。

nsqd

每個channel的消息都會進行排隊，直到一個worker把他們消費，如果此隊列超出了內(nèi)存限制，消息將會被寫入到磁盤中。Nsqd節(jié)點首先會向nsqlookup廣播他們的位置信息，一旦它們注冊成功，worker將會從nsqlookup服務(wù)器節(jié)點上發(fā)現(xiàn)所有包含事件topic的nsqd節(jié)點。

nsqlookupd

2. Internals

2.1 消息傳遞擔(dān)保

1）客戶表示已經(jīng)準(zhǔn)備好接收消息

2）NSQ 發(fā)送一條消息，并暫時將數(shù)據(jù)存儲在本地（在 re-queue 或 timeout）

3）客戶端回復(fù) FIN（結(jié)束）或 REQ（重新排隊）分別指示成功或失敗。如果客戶端沒有回復(fù), NSQ 會在設(shè)定的時間超時，自動重新排隊消息

這確保了消息丟失唯一可能的情況是不正常結(jié)束 nsqd 進程。在這種情況下，這是在內(nèi)存中的任何信息（或任何緩沖未刷新到磁盤）都將丟失。

如何防止消息丟失是最重要的，即使是這個意外情況可以得到緩解。一種解決方案是構(gòu)成冗余 nsqd對（在不同的主機上）接收消息的相同部分的副本。因為你實現(xiàn)的消費者是冪等的，以兩倍時間處理這些消息不會對下游造成影響，并使得系統(tǒng)能夠承受任何單一節(jié)點故障而不會丟失信息。

2.2 簡化配置和管理

單個 nsqd 實例被設(shè)計成可以同時處理多個數(shù)據(jù)流。流被稱為“話題”和話題有 1 個或多個“通道”。每個通道都接收到一個話題中所有消息的拷貝。在實踐中，一個通道映射到下行服務(wù)消費一個話題。

在更底的層面，每個 nsqd 有一個與 nsqlookupd 的長期 TCP 連接，定期推動其狀態(tài)。這個數(shù)據(jù)被 nsqlookupd 用于給消費者通知 nsqd 地址。對于消費者來說，一個暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個新的消費者，只需啟動一個配置了 nsqlookup 實例地址的 NSQ 客戶端。無需為添加任何新的消費者或生產(chǎn)者更改配置，大大降低了開銷和復(fù)雜性。

2.3 消除單點故障

NSQ被設(shè)計以分布的方式被使用。nsqd 客戶端（通過 TCP ）連接到指定話題的所有生產(chǎn)者實例。沒有中間人，沒有消息代理，也沒有單點故障。

這種拓撲結(jié)構(gòu)消除單鏈，聚合，反饋。相反，你的消費者直接訪問所有生產(chǎn)者。從技術(shù)上講，哪個客戶端連接到哪個 NSQ 不重要，只要有足夠的消費者連接到所有生產(chǎn)者，以滿足大量的消息，保證所有東西最終將被處理。對于 nsqlookupd，高可用性是通過運行多個實例來實現(xiàn)。他們不直接相互通信和數(shù)據(jù)被認為是最終一致。消費者輪詢所有的配置的 nsqlookupd 實例和合并 response。失敗的，無法訪問的，或以其他方式故障的節(jié)點不會讓系統(tǒng)陷于停頓。

2.4 效率

對于數(shù)據(jù)的協(xié)議，通過推送數(shù)據(jù)到客戶端最大限度地提高性能和吞吐量的，而不是等待客戶端拉數(shù)據(jù)。這個概念，稱之為 RDY 狀態(tài)，基本上是客戶端流量控制的一種形式。

efficiency

2.5 心跳和超時

組合應(yīng)用級別的心跳和 RDY 狀態(tài)，避免頭阻塞現(xiàn)象，也可能使心跳無用（即，如果消費者是在后面的處理消息流的接收緩沖區(qū)中，操作系統(tǒng)將被填滿，堵心跳）為了保證進度，所有的網(wǎng)絡(luò) IO 時間上限勢必與配置的心跳間隔相關(guān)聯(lián)。這意味著，你可以從字面上拔掉之間的網(wǎng)絡(luò)連接 nsqd 和消費者，它會檢測并正確處理錯誤。當(dāng)檢測到一個致命錯誤，客戶端連接被強制關(guān)閉。在傳輸中的消息會超時而重新排隊等待傳遞到另一個消費者。最后，錯誤會被記錄并累計到各種內(nèi)部指標(biāo)。

2.6 分布式

因為NSQ沒有在守護程序之間共享信息，所以它從一開始就是為了分布式操作而生。個別的機器可以隨便宕機隨便啟動而不會影響到系統(tǒng)的其余部分，消息發(fā)布者可以在本地發(fā)布，即使面對網(wǎng)絡(luò)分區(qū)。

這種“分布式優(yōu)先”的設(shè)計理念意味著NSQ基本上可以永遠不斷地擴展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態(tài)就是保存在lookup節(jié)點上，甚至它們不需要全局視圖，配置某些nsqd注冊到某些lookup節(jié)點上這是很簡單的配置，唯一關(guān)鍵的地方就是消費者可以通過lookup節(jié)點獲取所有完整的節(jié)點集。清晰的故障事件——NSQ在組件內(nèi)建立了一套明確關(guān)于可能導(dǎo)致故障的的故障權(quán)衡機制，這對消息傳遞和恢復(fù)都有意義。雖然它們可能不像Kafka系統(tǒng)那樣提供嚴(yán)格的保證級別，但NSQ簡單的操作使故障情況非常明顯。

2.7 no replication

不像其他的隊列組件，NSQ并沒有提供任何形式的復(fù)制和集群，也正是這點讓它能夠如此簡單地運行，但它確實對于一些高保證性高可靠性的消息發(fā)布沒有足夠的保證。我們可以通過降低文件同步的時間來部分避免，只需通過一個標(biāo)志配置，通過EBS支持我們的隊列。但是這樣仍然存在一個消息被發(fā)布后馬上死亡，丟失了有效的寫入的情況。

2.8 沒有嚴(yán)格的順序

雖然Kafka由一個有序的日志構(gòu)成，但NSQ不是。消息可以在任何時間以任何順序進入隊列。在我們使用的案例中，這通常沒有關(guān)系，因為所有的數(shù)據(jù)都被加上了時間戳，但它并不適合需要嚴(yán)格順序的情況。

2.9 無數(shù)據(jù)重復(fù)刪除功能

NSQ對于超時系統(tǒng)，它使用了心跳檢測機制去測試消費者是否存活還是死亡。很多原因會導(dǎo)致我們的consumer無法完成心跳檢測，所以在consumer中必須有一個單獨的步驟確保冪等性。

3. 實踐安裝過程

本文將nsq集群具體的安裝過程略去，大家可以自行參考官網(wǎng)，比較簡單。這部分介紹下筆者實驗的拓撲，以及nsqadmin的相關(guān)信息。

3.1 拓撲結(jié)構(gòu)

topology

實驗采用3臺NSQD服務(wù)，2臺LOOKUPD服務(wù)。

采用官方推薦的拓撲，消息發(fā)布的服務(wù)和NSQD在一臺主機。一共5臺機器。

NSQ基本沒有配置文件，配置通過命令行指定參數(shù)。

主要命令如下:

LOOKUPD命令

NSQD命令

工具類，消費后存儲到本地文件。

發(fā)布一條消息

3.2 nsqadmin

對Streams的詳細信息進行查看，包括NSQD節(jié)點，具體的channel，隊列中的消息數(shù)，連接數(shù)等信息。

nsqadmin

channel

列出所有的NSQD節(jié)點:

nodes

消息的統(tǒng)計:

msgs

lookup主機的列表:

hosts

4. 總結(jié)

NSQ基本核心就是簡單性，是一個簡單的隊列，這意味著它很容易進行故障推理和很容易發(fā)現(xiàn)bug。消費者可以自行處理故障事件而不會影響系統(tǒng)剩下的其余部分。

事實上，簡單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護，通過引入隊列使我們得到了堪稱完美的表現(xiàn)，通過隊列甚至讓我們增加了幾個數(shù)量級的吞吐量。越來越多的consumer需要一套嚴(yán)格可靠性和順序性保障，這已經(jīng)超過了NSQ提供的簡單功能。

結(jié)合我們的業(yè)務(wù)系統(tǒng)來看，對于我們所需要傳輸?shù)陌l(fā)票消息，相對比較敏感，無法容忍某個nsqd宕機，或者磁盤無法使用的情況，該節(jié)點堆積的消息無法找回。這是我們沒有選擇該消息中間件的主要原因。簡單性和可靠性似乎并不能完全滿足。相比Kafka，ops肩負起更多負責(zé)的運營。另一方面，它擁有一個可復(fù)制的、有序的日志可以提供給我們更好的服務(wù)。但對于其他適合NSQ的consumer，它為我們服務(wù)的相當(dāng)好，我們期待著繼續(xù)鞏固它的堅實的基礎(chǔ)。

Go時區(qū)設(shè)置

全球以英國倫敦格林威治作為零度經(jīng)線的起點，每隔15經(jīng)度為一個時區(qū)，15度經(jīng)線為該時區(qū)的中央經(jīng)線，共分為24個時區(qū)。由西向東每隔15經(jīng)度增加一個時區(qū)，相反的，每向西15經(jīng)度減少一個時區(qū)。中國所在時區(qū)為東8區(qū)。

當(dāng)前時間 time.Now() 返回的是當(dāng)?shù)貢r區(qū)的時間：

CST可以代表如下四個不同的時區(qū)：

time.Now() 返回的 +0800 CST 表示的就是中國標(biāo)準(zhǔn)時間，與UTC時間有如下的轉(zhuǎn)化：

Wall Clocks表示掛鐘時間，存儲的是自1970 年 1 月 1 日 0 時 0 分 0 秒以來的時間戳，當(dāng)系統(tǒng)和授時服務(wù)器進行校準(zhǔn)時間時間操作時，有可能造成這一秒是2018-1-1 00:00:00，而下一秒變成了2017-12-31 23:59:59的情況。

Monotonic Clocks，意思是單調(diào)時間的，所謂單調(diào)，就是只會不停的往前增長，不受校時操作的影響，這個時間是自進程啟動以來的秒數(shù)。

time.Now() 返回的 m=+0.004002201 就是表示Monotonic Clocks

go語言中如果不設(shè)置指定的時區(qū)，通過 time.Now() 獲取到的就是本地時區(qū)

設(shè)置時區(qū)有兩種方式：

固定時區(qū)到東八區(qū)。但這種不是對程序的全局設(shè)置，每次獲取時都需要固定時區(qū)

加載指定時區(qū)。但如果沒有g(shù)o環(huán)境使用這種方式就會加載失敗，因為時區(qū)信息是放在go的安裝包中的。

如果你用第二種方式加載時區(qū)，在打docker鏡像時就需要進行時區(qū)相關(guān)的配置，配置文件如下：

參考文章：

為什么要使用 Go 語言？Go 語言的優(yōu)勢在哪里

1、學(xué)習(xí)曲線

它包含了類C語法、GC內(nèi)置和工程工具。這一點非常重要，因為Go語言容易學(xué)習(xí)，所以一個普通的大學(xué)生花一個星期就能寫出來可以上手的、高性能的應(yīng)用。在國內(nèi)大家都追求快，這也是為什么國內(nèi)Go流行的原因之一。

2、效率

Go擁有接近C的運行效率和接近PHP的開發(fā)效率，這就很有利的支撐了上面大家追求快速的需求。

3、出身名門、血統(tǒng)純正

之所以說Go語言出身名門，是因為我們知道Go語言出自Google公司，這個公司在業(yè)界的知名度和實力自然不用多說。Google公司聚集了一批牛人，在各種編程語言稱雄爭霸的局面下推出新的編程語言，自然有它的戰(zhàn)略考慮。而且從Go語言的發(fā)展態(tài)勢來看，Google對它這個新的寵兒還是很看重的，Go自然有一個良好的發(fā)展前途。我們看看Go語言的主要創(chuàng)造者，血統(tǒng)純正這點就可見端倪了。

4、組合的思想、無侵入式的接口

Go語言可以說是開發(fā)效率和運行效率二者的完美融合，天生的并發(fā)編程支持。Go語言支持當(dāng)前所有的編程范式，包括過程式編程、面向?qū)ο缶幊桃约昂瘮?shù)式編程。

5、強大的標(biāo)準(zhǔn)庫

這包括互聯(lián)網(wǎng)應(yīng)用、系統(tǒng)編程和網(wǎng)絡(luò)編程。Go里面的標(biāo)準(zhǔn)庫基本上已經(jīng)是非常穩(wěn)定，特別是我這里提到的三個，網(wǎng)絡(luò)層、系統(tǒng)層的庫非常實用。

6、部署方便

我相信這一點是很多人選擇Go的最大理由，因為部署太方便，所以現(xiàn)在也有很多人用Go開發(fā)運維程序。

7、簡單的并發(fā)

它包含降低心智的并發(fā)和簡易的數(shù)據(jù)同步，我覺得這是Go最大的特色。之所以寫正確的并發(fā)、容錯和可擴展的程序如此之難，是因為我們用了錯誤的工具和錯誤的抽象，Go可以說這一塊做的相當(dāng)簡單。

8、穩(wěn)定性

Go擁有強大的編譯檢查、嚴(yán)格的編碼規(guī)范和完整的軟件生命周期工具，具有很強的穩(wěn)定性，穩(wěn)定壓倒一切。那么為什么Go相比于其他程序會更穩(wěn)定呢?這是因為Go提供了軟件生命周期的各個環(huán)節(jié)的工具，如go

tool、gofmt、go test。

golang 時間戳比較大小，怎么實現(xiàn)

1

2

3

4

5

the_time, err := time.ParseInLocation("2006-01-02", "2017-01-10", time.Local)

if err == nil {

unix_time := the_time.Unix()

fmt.Println(unix_time)

}

誰能用簡單明了的語言解釋一下什么是“時間戳”

就是用秒數(shù)表示的時間，比如說現(xiàn)在是2017年8月22日，轉(zhuǎn)為時間戳表示，就是對應(yīng)的秒 該時間是從1970年1月1日開始算起

通過Go語言創(chuàng)建CA與簽發(fā)證書

本篇文章中，將描述如何使用go創(chuàng)建CA，并使用CA簽署證書。在使用openssl創(chuàng)建證書時，遵循的步驟是 創(chuàng)建秘鑰 創(chuàng)建CA 生成要頒發(fā)證書的秘鑰 使用CA簽發(fā)證書。這種步驟，那么我們現(xiàn)在就來嘗試下。

首先，會從將從創(chuàng)建 CA 開始。 CA 會被用來簽署其他證書

接下來需要對證書生成公鑰和私鑰

然后生成證書：

我們看到的證書內(nèi)容是PEM編碼后的，現(xiàn)在 caBytes 我們有了生成的證書，我們將其進行 PEM 編碼以供以后使用：

證書的 x509.Certificate 與CA的 x509.Certificate 屬性有稍微不同，需要進行一些修改

為該證書創(chuàng)建私鑰和公鑰：

有了上述的內(nèi)容后，可以創(chuàng)建證書并用CA進行簽名

要保存成證書格式需要做PEM編碼

創(chuàng)建一個 ca.go 里面是創(chuàng)建ca和頒發(fā)證書的邏輯

如果需要使用的話，可以引用這些函數(shù)

panic: x509: unsupported public key type: rsa.PublicKey

這里是因為 x509.CreateCertificate 的參數(shù) privatekey 需要傳入引用變量，而傳入的是一個普通變量

extendedKeyUsage ：增強型密鑰用法(參見"new_oids"字段)：服務(wù)器身份驗證、客戶端身份驗證、時間戳。

keyUsage ： 密鑰用法，防否認(nonRepudiation)、數(shù)字簽名(digitalSignature)、密鑰加密(keyEncipherment)。

文章來自

網(wǎng)站欄目：go語言時間戳,go語言時間戳轉(zhuǎn)化為字符串
文章轉(zhuǎn)載：http://aaarwkj.com/article30/dsspopo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、手機網(wǎng)站建設(shè)、域名注冊、網(wǎng)站維護、企業(yè)網(wǎng)站制作、品牌網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)