本篇內(nèi)容主要講解“Kubeflow使用Kubernetes進(jìn)行機(jī)器學(xué)習(xí)的方法”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Kubeflow使用Kubernetes進(jìn)行機(jī)器學(xué)習(xí)的方法”吧!

成都創(chuàng)新互聯(lián)公司是專業(yè)的射陽網(wǎng)站建設(shè)公司，射陽接單;提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行射陽網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

女主宣言

Kubeflow是Google推出的基于kubernetes環(huán)境下的機(jī)器學(xué)習(xí)組件，通過Kubeflow可以實現(xiàn)對TFJob等資源類型定義，可以像部署應(yīng)用一樣完成在TFJob分布式訓(xùn)練模型的過程。本文簡單的介紹了Kubeflow及其安裝流程。

1

背景簡介

在介紹Kubeflow之前, 先簡單介紹下真正的機(jī)器學(xué)習(xí)模型服務(wù)上線都需要經(jīng)歷哪些階段，如下圖所示：

上圖的每種顏色代表對一個階段的處理，可以看出一個機(jī)器學(xué)習(xí)模型上線對外提供服務(wù)要經(jīng)過:數(shù)據(jù)清洗驗證，數(shù)據(jù)集切分， 訓(xùn)練，構(gòu)建驗證模型， 大規(guī)模訓(xùn)練,模型導(dǎo)出，模型服務(wù)上線， 日志監(jiān)控等階段。Tensorflow 等計算框架解決了最核心的部分問題，但是距離生產(chǎn)化，產(chǎn)品化，以及企業(yè)級機(jī)器學(xué)習(xí)項目開發(fā)，還有一段距離。比如: 數(shù)據(jù)收集， 數(shù)據(jù)清洗， 特征提取， 計算資源管理， 模型服務(wù)， 配置管理， 存儲， 監(jiān)控， 日志等等。

2

Kubeflow核心組件簡介

• jupyter 多租戶NoteBook服務(wù)

• Tensorflow/[PyTorch] 當(dāng)前主要支持的機(jī)器學(xué)習(xí)引擎

• Seldon 提供在Kubernetes上對機(jī)器學(xué)習(xí)模型的部署

• TF-Serving 提供對Tensorflow模型的在線部署，支持版本控制及無需停止線上服務(wù)，切換模型等功能

• Argo 基于Kubernetes的工作流引擎

• Ambassador 對外提供統(tǒng)一服務(wù)的網(wǎng)關(guān)(API Gateway)

• Istio 提供微服務(wù)的管理，Telemetry收集

• Ksonnet Kubeflow使用ksonnet來向kubernetes集群部署需要的k8s資源

Kubeflow利用Kubernetes的優(yōu)勢

• 原生的資源隔離

• 集群化自動化管理

• 計算資源(CPU/GPU)自動調(diào)度

• 對多種分布式存儲的支持

• 集成較為成熟的監(jiān)控，告警

將機(jī)器學(xué)習(xí)各個階段涉及的組件以微服務(wù)的方式進(jìn)行組合并以容器化的方式進(jìn)行部署，提供整個流程各個系統(tǒng)的高可用及方便的進(jìn)行擴(kuò)展。

3

Kubeflow 部署安裝

服務(wù)器配置

• GPU卡型號: Nvidia-Tesla-K80

• 網(wǎng)卡: 千兆(注意:在進(jìn)行對大數(shù)據(jù)集進(jìn)行訓(xùn)練時，千兆的網(wǎng)卡會是瓶頸)

cephfs服務(wù)配置

網(wǎng)卡：萬兆(注意:通過ceph對數(shù)據(jù)存儲時，ceph集群需要與Kubernetes同機(jī)房，否則延遲會對加載數(shù)據(jù)集的影響非常高)

軟件環(huán)境

• kubernetes version: v1.12.2(注意: 需要安裝kube-dns)

• kubeflow version: v0.3.2

• jsonnet version: v0.11.2

安裝ksonnet

安裝Kubeflow

當(dāng)上面的所有安裝步驟都正常完成之后，先查看kubeflow在kubernetes集群deployment資源對象的啟動狀態(tài):

通過狀態(tài)我們發(fā)現(xiàn)現(xiàn)在服務(wù)啟動正常,在查看下各個deployment下各個服務(wù)的pod的狀態(tài):

現(xiàn)在服務(wù)都是正常的,接下來讓我們通過Ambassador來訪問kubeflow部署到k8s集群中的各個組件。

訪問Kubeflow UIs

由于Kubeflow使用Ambassador作為kubeflow統(tǒng)一的對外網(wǎng)關(guān)，其它的內(nèi)部服務(wù)都是通過使用它來對外提供服務(wù)。具體如下圖所示:

接下來我們使用kubectl的port-forwarding來對Ambassador Service進(jìn)行端口轉(zhuǎn)發(fā)，在本地對Kubeflow進(jìn)行訪問:

通過瀏覽器進(jìn)行本地localhost:8080訪問:

通過Kubeflow UIs可以針對不同的功能進(jìn)行使用，如使用Jupyter Notebook進(jìn)行對應(yīng)用的全過程計算：開發(fā)、文檔編寫、運(yùn)行代碼和展示結(jié)果。也可以訪問TF-operator來對基于Tensorflow的模型進(jìn)行多機(jī)多卡的分布式訓(xùn)練。

4

總結(jié)

現(xiàn)在國外的Google,微軟，亞馬遜，Intel以及國內(nèi)的阿里云，華為云等等公司都在發(fā)力Kubeflow，并結(jié)合kubernetes對多種機(jī)器學(xué)習(xí)引擎進(jìn)行多機(jī)多卡的大規(guī)模訓(xùn)練，這樣可以做到對GPU資源的整合，并高效的提高GPU資源利用率，及模型訓(xùn)練的效率。并實現(xiàn)一站式服務(wù)，將機(jī)器學(xué)習(xí)服務(wù)上線的整個workflow都在Kubernetes平臺實現(xiàn)。減輕機(jī)器學(xué)習(xí)算法同學(xué)的其它學(xué)習(xí)成本，專心搞算法。這勢必給Devops的同學(xué)帶來更高的挑戰(zhàn)。

到此，相信大家對“Kubeflow使用Kubernetes進(jìn)行機(jī)器學(xué)習(xí)的方法”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

本文題目：Kubeflow使用Kubernetes進(jìn)行機(jī)器學(xué)習(xí)的方法-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://aaarwkj.com/article32/cdhjsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、服務(wù)器托管、品牌網(wǎng)站設(shè)計、企業(yè)網(wǎng)站制作、Google、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)