kafka數(shù)據(jù)遷移操作流程：

珙縣網(wǎng)站建設公司創(chuàng)新互聯(lián),珙縣網(wǎng)站設計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為珙縣上1000家提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站建設要多少錢，請找那個售后服務好的珙縣做網(wǎng)站的公司定做！

   此次數(shù)據(jù)遷移主要是針對Isr自動同步異常，而進行手動干預的操作。

具體的故障截圖如下：

一、確認同步異常的topic和Isr數(shù)目

./kafka-topics.sh --under-replicated-partitions --describe --zookeeper IP:2181

二、創(chuàng)建文件/tmp/topics-to-move.json

vim /tmp/topics-to-move.json

復制這些topic,并寫成如下格式的文件, 命名為 topics-to-move.json

{"topics": [ 

 {"topic": "test"}   //test是對應的topic名字

 ],

 "version":1

}

三、執(zhí)行：

./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26" --generate

執(zhí)行結(jié)果會生成一串新的topics-to-move.json數(shù)據(jù)，修改所需轉(zhuǎn)換的Isr對應關系（例如（14,0）轉(zhuǎn)換為（14,1））；

創(chuàng)建新配置文件 touch /tmp/reassignment-node.json

將修改后的topics-to-move.json文件寫入reassignment-node.json

./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --execute   //開始遷移

./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify    //確認遷移同步情況，待所有進程都successful，遷移完成。

涉及到的監(jiān)控腳本：

while true ;do /usr/hdp/2.2.0.0-2041/kafka/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file /tmp/reassignment-node.json --verify|awk '/Reassignment/ && $5!~/completed/&& $6 !~ /successfully/'|wc -l;sleep 10;done

/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic CDR_AUDIT|awk -F',|[ ]*|\t' '{if(($9==14)||($10==14))print $0}'

分享文章：kafka數(shù)據(jù)遷移
網(wǎng)站路徑：http://aaarwkj.com/article42/ggpjec.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供響應式網(wǎng)站、ChatGPT、品牌網(wǎng)站建設、App開發(fā)、軟件開發(fā)、關鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)