一、概念

1、什么是kafka

Kafka是由Apache軟件基金會(huì)開(kāi)發(fā)的一個(gè)開(kāi)源的分布式流處理平臺(tái)，由LinkedIn公司開(kāi)發(fā)，使用 Scala和Java編寫(xiě)。Kafka是一個(gè)分布式、分區(qū)的、多副本的、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)），它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。

專(zhuān)業(yè)領(lǐng)域包括成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、商城網(wǎng)站定制開(kāi)發(fā)、微信營(yíng)銷(xiāo)、系統(tǒng)平臺(tái)開(kāi)發(fā)， 與其他網(wǎng)站設(shè)計(jì)及系統(tǒng)開(kāi)發(fā)公司不同，創(chuàng)新互聯(lián)的整合解決方案結(jié)合了幫做網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗(yàn)和互聯(lián)網(wǎng)整合營(yíng)銷(xiāo)的理念，并將策略和執(zhí)行緊密結(jié)合，為客戶(hù)提供全網(wǎng)互聯(lián)網(wǎng)整合方案。

• Kafka在一個(gè)或多個(gè)可以跨越多個(gè)數(shù)據(jù)中心的服務(wù)器上作為集群運(yùn)行。

• Kafka集群將記錄流存儲(chǔ)在稱(chēng)為topic的類(lèi)別中。

• 每個(gè)記錄由一個(gè)鍵，一個(gè)值和一個(gè)時(shí)間戳組成。

2、流平臺(tái)具有三個(gè)關(guān)鍵功能：

• 發(fā)布和訂閱記錄流，類(lèi)似于消息隊(duì)列或企業(yè)消息傳遞系統(tǒng)。

• 以容錯(cuò)的持久方式存儲(chǔ)記錄流。

• 處理記錄流。

3、解決什么問(wèn)題

Kafka主要設(shè)計(jì)目標(biāo)如下：

• 以時(shí)間復(fù)雜度為O(1)的方式提供消息持久化能力，即使對(duì)TB級(jí)以上數(shù)據(jù)也能保證常數(shù)時(shí)間的訪問(wèn)性能。

• 高吞吐率。即使在非常廉價(jià)的商用機(jī)器上也能做到單機(jī)支持每秒100K條消息的傳輸。

• 支持Kafka Server間的消息分區(qū)，及分布式消費(fèi)，同時(shí)保證每個(gè)partition內(nèi)的消息順序傳輸。

• 同時(shí)支持離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理。

• Scale out:支持在線水平擴(kuò)展

Kafka通常用于兩大類(lèi)應(yīng)用程序：

• 建立實(shí)時(shí)流數(shù)據(jù)管道，以可靠地在系統(tǒng)或應(yīng)用程序之間獲取數(shù)據(jù)

• 構(gòu)建實(shí)時(shí)流應(yīng)用程序以轉(zhuǎn)換或響應(yīng)數(shù)據(jù)流

4、在Kafka中，客戶(hù)端和服務(wù)器之間的通信是通過(guò)簡(jiǎn)單，高性能，與語(yǔ)言無(wú)關(guān)的TCP協(xié)議完成的。該協(xié)議已版本化，并與舊版本保持向后兼容性。提供了Java客戶(hù)端，但是客戶(hù)端支持多種語(yǔ)言。

二、安裝部署kafka

下載地址：http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

kafka最為重要三個(gè)配置依次為：broker.id、log.dir、zookeeper.connect，kafka server端config/server.properties參數(shù)

vim config/server.properties

·公布訪問(wèn)地址和端口

advertised.listeners=PLAINTEXT://192.168.3.100:9092

配置zookeeper

默認(rèn)localhost:2181,如果是其他的zookeeper改為相應(yīng)地址

zookeeper.connect=localhost:2181

啟動(dòng)kafka

[root@node1 bin]# ./kafka-server-start.sh ../config/server.properties

 注：此方法為前臺(tái)啟動(dòng)，若需要后臺(tái)啟動(dòng)，則在上面命令的最后加上 &

檢測(cè)是否啟動(dòng) netstat -tunlp | egrep "(2181|9092)"

測(cè)試發(fā)送信息和消費(fèi)消息

創(chuàng)建主題

[root@node1 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

啟動(dòng)生產(chǎn)者

[root@node1 bin]#./kafka-console-producer.sh --broker-list localhost:9092 --topic test

啟動(dòng)消費(fèi)者

[root@node1 bin]#./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

生產(chǎn)者發(fā)布消息

[root@node1 bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>is successfully
>good night
>

消費(fèi)者接收到消息

[root@node1 bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hallo
;
你好
is successfully
good night

注：消費(fèi)者中會(huì)出現(xiàn)一些歷史消息

由于啟動(dòng)添加了--from-beginning參數(shù)，所以會(huì)把過(guò)往消息也顯示，省略該參數(shù)，即可不顯示歷史消息就！



如果該文章對(duì)你有所幫助，請(qǐng)點(diǎn)個(gè)贊支持下，謝謝！

本文標(biāo)題：消息中間件--kafka（1）安裝部署-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://aaarwkj.com/article16/dpsegg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、網(wǎng)站排名、全網(wǎng)營(yíng)銷(xiāo)推廣、虛擬主機(jī)、Google、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)