codis遷移槽位遇到value過大的數(shù)據(jù)導(dǎo)致redis進(jìn)程堵塞問題

創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、關(guān)嶺網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、商城網(wǎng)站定制開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為關(guān)嶺等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

問題背景：

2016-11-08下午，咨詢codis開始遷移槽位。遷移過程中dba發(fā)現(xiàn)group1中redis無法連接，proxy進(jìn)程異常退出且無法重啟。

當(dāng)redis可以正常連接時(shí)dashboard展示為：

而問題發(fā)生時(shí)此redis是不可連接的，Keys無法顯示正確顯示，只顯示Nan。

proxy進(jìn)程異常退出會(huì)收到微信報(bào)警：

[('NoneType' object has no attribute '__getitem__')10.20.4.1:19153(KDDI)](codis_proxy) [r_connection],threshold: 1,current:0,last:1 minutes.,info:failed [2016-11-08 15:32:35]

處理方案：

1.將備用proxy服務(wù)器加入域名，待生效后移除異常proxy的域名。

2.排查dashboard日志，問題如下：

從日志可以看出遷移過程中slot_359遷移完成,solt_360遷移過程中報(bào)錯(cuò)，報(bào)錯(cuò)顯示redis讀取超時(shí)，持續(xù)一段時(shí)間后遷移任務(wù)報(bào)錯(cuò)（[info] migration start: {SlotId:360 NewGroupId:4 Delay:1 CreateAt:1478588644 Percent:0 Status:error Id:0000003317}）

3.手動(dòng)取消遷移任務(wù)

登錄zookeeper：/usr/local/xywy/zookeeper-3.4.6/bin/zkCli.sh -server 10.20.4.1:2181

rmr /zk/codis/db_techzixun/migrate_tasks/0000003317

4.重啟proxy進(jìn)程

如果無法重啟，那么說明取消遷移任務(wù)時(shí)可能影響了槽位的狀態(tài)。排查日志可以看到報(bào)錯(cuò)為：

從日志中可以看出槽位狀態(tài)為pre_migrate。調(diào)整為online即可。

調(diào)整方法：

登錄zookeeper后

查看對應(yīng)槽位的值：get /zk/codis/db_techzixun/slots/slot_392

修改status為online：set /zk/codis/db_techzixun/slots/slot_392 {"product_name":"techzixun","id":392,"group_id":1,"state":{"status":"online","migrate_status":{"from":-1,"to":-1},"last_op_ts":"0"}}

所有槽位狀態(tài)都為online時(shí)即可重啟proxy

5.重啟proxy后將其加入域名，此時(shí)故障已恢復(fù)

后續(xù)排查：

以上步驟為處理故障的操作，但遷移為什么出錯(cuò)，想要究其原因還需進(jìn)一步排查。

查看group1中報(bào)錯(cuò)redis的日志，問題如下：

[113248] 08 Nov 15:16:20.764 # slotsmgrt: writing to target 10.20.2.4:6916, error 'accept: Resource temporarily unavailable', nkeys = 1, onekey = 'jbzt_nk_20219_arclist', cmd.len = 1418791367, pos = 65536, towrite = 65536

使用redis命令掃描大key：

redis-cli -p xxxx -h xxxx --bigkeys

發(fā)現(xiàn)'jbzt_nk_20219_arclist'這個(gè)list容量達(dá)到3G左右

由此可見問題的原因是遷移value過的的key或list導(dǎo)致

解決方案：

該問題為codis程序問題，在codis中暫時(shí)無法使用技術(shù)手段解決。只能對這種value過大的key或list進(jìn)行壓縮或者選擇其他使用方式。

遺留問題：

問題描述：

codis遷移槽位過程中出錯(cuò)時(shí)會(huì)導(dǎo)致槽位狀態(tài)一直為遷移中，槽位狀態(tài)為遷移中proxy不能上線，所以手動(dòng)將槽位狀態(tài)修改為上線。但此時(shí)未遷移成功的key路由信息還記錄為遷移前group，而遷移前槽位的group信息已更新為遷移后的group，這就導(dǎo)致了查找未成功遷移的key時(shí)會(huì)無法連接的錯(cuò)誤。

解決方法：

將無法連接的key所在槽位遷移至原所屬group即可。查找key時(shí)可以通過proxy.log觀察確認(rèn)路由到哪個(gè)ip端口下從而確定原所屬group，利用python下binascii.crc32算法binascii.crc32('key_name')%1024計(jì)算key所在槽位。

舉例說明：

codis中有2個(gè)group。分別為group1，group2。group1中100槽位中有1,2,3,4,5,6。6個(gè)key，group2中沒有key，此時(shí)將group1中100槽位遷移至group2中，遷移過程中1、2、3key已成功遷移4key由于value過大導(dǎo)致遷移出錯(cuò)，此時(shí)100槽位所屬group2，槽位狀態(tài)為遷移中，手動(dòng)刪除遷移任務(wù)將100槽位狀態(tài)修改為上線后，連接proxy查找4、5、6key則出現(xiàn)無法連接錯(cuò)誤。原因就是4、5、6key的的路由信息還是group1中的100槽位，但此時(shí)100槽位已經(jīng)不在group1下了，那么將100槽位遷移回group1下即可解決。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁標(biāo)題：codis遷移槽位遇到value過大的數(shù)據(jù)導(dǎo)致redis進(jìn)程堵塞問題-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://aaarwkj.com/article8/ccdiip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、App開發(fā)、小程序開發(fā)、網(wǎng)站維護(hù)、商城網(wǎng)站、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)