背景

測(cè)試的時(shí)候，通常需要將 Pod 中的 container 頻繁地殺死，重啟。在這個(gè)過程中，Pod 的狀態(tài)經(jīng)常會(huì)出現(xiàn) CrashLoopBackOff，而且 container 重啟的時(shí)間越來越長。

創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè),新洲企業(yè)網(wǎng)站建設(shè),新洲品牌網(wǎng)站建設(shè),網(wǎng)站定制,新洲網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,新洲網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

分析

為了避免 container 頻繁地 restart，k8s 對(duì) container restart 過程做了限制，使用 back-off 的方法，官方文檔中的說法是：

Failed containers that are restarted by Kubelet, are restarted with an exponential back-off delay, the delay is in multiples of sync-frequency 0, 1x, 2x, 4x, 8x … capped at 5 minutes and is reset after 10 minutes of successful execution.

• https://kubernetes-v1-4.github.io/docs/user-guide/pod-states/

這里先直接給出結(jié)論：

1. 在 Pod 中 restart container 的時(shí)候（具體時(shí)機(jī)是，周期性執(zhí)行 SyncPod() 的時(shí)候），Pod 會(huì)通過自身的 Status 結(jié)構(gòu)找到當(dāng)前這個(gè) container（因?yàn)?Pod 中可能有多個(gè) container）上一次退出的時(shí)間，記為 ts
2. 如果是第一次 restart，那么直接重啟 container，并且在 Kubelet 的 backOff.perItemBackoff （一個(gè) map 結(jié)構(gòu)，key 是根據(jù) container 和所在 pod 對(duì)象計(jì)算出來的 id）中記錄下次 backoff 的時(shí)間（初始值為 10s，然后按照指數(shù)增長，最大 5min）
3. 如果不是第一次 restart，即 Kubelet 的 backOff.perItemBackoff 中已經(jīng)有這個(gè) container 的 backOff 記錄，計(jì)為 backoff，那么
   • 如果 now() - ts < backoff，表明等待的時(shí)間還不夠，拋出 CrashLoopBackOff Event（然后等到下一個(gè) SyncPod 的周期到的時(shí)候，重新比較這個(gè)值）
   • 否則，說明已經(jīng)等待 backoff 時(shí)間了，可以 restart 了，此時(shí)執(zhí)行 backOff.Next()，將該容器對(duì)應(yīng)的 backoff 翻倍，然后執(zhí)行 restart 操作
4. 在步驟 3 中計(jì)算 backoff 的過程中，還會(huì)去檢查當(dāng)前時(shí)間距離上一次 container 退出時(shí)的間隔，如果大于 2 * MaxContainerBackOff = 10 minutes，那么會(huì)將這個(gè) container 對(duì)應(yīng)的 backoff 重置為初始值 10s

源碼細(xì)節(jié)

1. kubernetes/pkg/kubelet/kubelet.go
   通過源碼發(fā)現(xiàn)，kubernetes/pkg/kubelet/kubelet.go 文件中有兩個(gè)常量：

   MaxContainerBackOff = 300 * time.Second
   backOffPeriod = time.Second * 10

使用這兩個(gè)變量構(gòu)造了一個(gè) BackOff 對(duì)象，這個(gè)是 kubelet 的屬性，對(duì)該 node 上所有 pod 都適用

    klet.backOff = flowcontrol.NewBackOff(backOffPeriod, MaxContainerBackOff)

BackOff 結(jié)構(gòu)如下

type Backoff struct {
        sync.Mutex
        Clock           clock.Clock
        defaultDuration time.Duration
        maxDuration     time.Duration
        perItemBackoff  map[string]*backoffEntry
}

然后在 SyncPod 方法中使用這個(gè)對(duì)象

// Call the container runtime's SyncPod callback
result := kl.containerRuntime.SyncPod(pod, apiPodStatus, podStatus, pullSecrets, kl.backOff)

2. kubernetes/pkg/kubelet/kuberuntime/kuberuntime_manager.go

SyncPod 具體做的事有：

// SyncPod syncs the running pod into the desired pod by executing following steps:
//
//  1. Compute sandbox and container changes.
//  2. Kill pod sandbox if necessary.
//  3. Kill any containers that should not be running.
//  4. Create sandbox if necessary.
//  5. Create init containers.
//  6. Create normal containers.
func (m *kubeGenericRuntimeManager) SyncPod(pod *v1.Pod, _ v1.PodStatus, podStatus *kubecontainer.PodStatus, pullSecrets []v1.Secret, backOff *flowcontrol.Backoff) (result kubecontainer.PodSyncResult) {

同樣在這個(gè)文件中，有一個(gè)關(guān)鍵的函數(shù)

// If a container is still in backoff, the function will return a brief backoff error and
// a detailed error message.
    func (m *kubeGenericRuntimeManager) doBackOff(pod *v1.Pod, container *v1.Container, podStatus *kubecontainer.PodStatus, backOff *flowcontrol.Backoff) (bool, string, error) {
        var cStatus *kubecontainer.ContainerStatus
        for _, c := range podStatus.ContainerStatuses {
                if c.Name == container.Name && c.State == kubecontainer.ContainerStateExited {
                        cStatus = c
                        break
                }
        }

        if cStatus == nil {
                return false, "", nil
        }

        glog.Infof("checking backoff for container %q in pod %q", container.Name, format.Pod(pod))
        // Use the finished time of the latest exited container as the start point to calculate whether to do back-off.
        ts := cStatus.FinishedAt
        // backOff requires a unique key to identify the container.
        key := getStableKey(pod, container)
        if backOff.IsInBackOffSince(key, ts) {
                if ref, err := kubecontainer.GenerateContainerRef(pod, container); err == nil {
                        m.recorder.Eventf(ref, v1.EventTypeWarning, events.BackOffStartContainer, "Back-off restarting failed container")
                }
                err := fmt.Errorf("Back-off %s restarting failed container=%s pod=%s", backOff.Get(key), container.Name, format.Pod(pod))
                glog.Infof("%s", err.Error())
                return true, err.Error(), kubecontainer.ErrCrashLoopBackOff
        }

        backOff.Next(key, ts)
        return false, "", nil
}

其中 backOff.Next 函數(shù)定義如下

// move backoff to the next mark, capping at maxDuration
func (p *Backoff) Next(id string, eventTime time.Time) {
        p.Lock()
        defer p.Unlock()
        entry, ok := p.perItemBackoff[id]
        if !ok || hasExpired(eventTime, entry.lastUpdate, p.maxDuration) {
                entry = p.initEntryUnsafe(id)
        } else {
                delay := entry.backoff * 2 // exponential
                entry.backoff = time.Duration(integer.Int64Min(int64(delay), int64(p.maxDuration)))
        }
        entry.lastUpdate = p.Clock.Now()
}

分享題目：Pod中容器重啟流程
鏈接地址：http://aaarwkj.com/article26/gpghjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、網(wǎng)站維護(hù)、軟件開發(fā)、網(wǎng)頁設(shè)計(jì)公司、標(biāo)簽優(yōu)化、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)