Python 多進(jìn)程內(nèi)存占用問題

當(dāng)我們有一個(gè)很長很長的任務(wù)隊(duì)列(mission_list)和閾值對(duì)應(yīng)的一個(gè)處理函數(shù)(missionFunction)時(shí)，我們一般采用如下的方式進(jìn)行處理：

專注于為中小企業(yè)提供成都網(wǎng)站建設(shè)、網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)仁化免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了成百上千企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

但是，如果這任務(wù)列表很長很長，處理函數(shù)很復(fù)雜(占用cpu)時(shí)，單核往往需要很長的時(shí)間進(jìn)行處理，此時(shí)，Multiprocess便可以極大的提高我們程序的運(yùn)行速度，相關(guān)內(nèi)容請(qǐng)借鑒 multiprocessing --- 基于進(jìn)程的并行 — Python 3.10.4 文檔。

以上這種場景下，推薦大家采用最簡單的進(jìn)程池+map的方法進(jìn)行處理，標(biāo)準(zhǔn)的寫法， chunksize要借鑒官方的說法，最好大一點(diǎn) ：

但是！?。。?如果我們的任務(wù)列表非常的長，這會(huì)導(dǎo)致多進(jìn)程還沒跑起來之前，內(nèi)存已經(jīng)撐爆了，任務(wù)自然沒法完成，此時(shí)我們有幾種辦法進(jìn)行優(yōu)化：

進(jìn)程的啟動(dòng)方法有三種，可參考官方文檔：

[圖片上傳失敗...(image-48cd3c-1650511153989)]

在linux環(huán)境下，使用forkserver可以節(jié)省很多的內(nèi)存空間， 因?yàn)檫M(jìn)程啟動(dòng)的是一個(gè)服務(wù)，不會(huì)把主進(jìn)程的數(shù)據(jù)全部復(fù)制

采用imap會(huì)極大的節(jié)省空間，它返回的是一個(gè)迭代器，也就是結(jié)果列表：

但注意，以上寫法中，你寫的結(jié)果迭代部分必須寫在with下面?；蛘卟捎昧硪环N寫法：

還有最后一種，當(dāng)你的mission list實(shí)在太大了，導(dǎo)致你在生成 mission list的時(shí)候已經(jīng)把內(nèi)存撐爆了，這個(gè)時(shí)候就得優(yōu)化 mission_list了，如果你的mission_list是通過一個(gè)for循環(huán)生成的，你可以使用yield字段，將其封裝為一個(gè)迭代器，傳入進(jìn)程池：

這樣子，我們就封裝好了mission_list，它是一個(gè)可迭代對(duì)象，在取數(shù)據(jù)的時(shí)候才會(huì)將數(shù)據(jù)拉到內(nèi)存

我在項(xiàng)目中結(jié)合了后兩種方法，原本256G的內(nèi)存都不夠用，但在修改后內(nèi)存只占用了不到10G。希望能夠幫助到你

3種python3的canny邊緣檢測之靜態(tài)，可調(diào)節(jié)和自適應(yīng)

先看高級(jí)版的python3的canny的自適應(yīng)邊緣檢測：

內(nèi)容：

1 canny的邊緣檢測的介紹。

2 三種方法的canny的邊緣檢測，由淺入深地介紹：固定值的靜態(tài)，可自調(diào)節(jié)的，自適應(yīng)的。

說明：

1 環(huán)境：python3.8、opencv4.5.3和matplotlib3.4.3。

2 圖片：來自品閱網(wǎng)正版免費(fèi)圖庫。

3 實(shí)現(xiàn)自適應(yīng)閾值的canny邊緣檢測的參考代碼和文章：

上述的代碼，本機(jī)均有報(bào)錯(cuò)，故對(duì)代碼進(jìn)行修改，注釋和運(yùn)行。

初級(jí)canny：

1 介紹：opencv中給出了canny邊緣檢測的接口，直接調(diào)用：

即可得到邊緣檢測的結(jié)果ret，其中，t1，t2是需要人為設(shè)置的閾值。

2 python的opencv的一行代碼即可實(shí)現(xiàn)邊緣檢測。

3 Canny函數(shù)及使用：

4 Canny邊緣檢測流程：

去噪 -- 梯度 -- 非極大值抑制 -- 滯后閾值

5 代碼：

6 操作和過程：

7 原圖：

8 疑問：

ret = cv2.canny(img,t1,t2)，其中，t1，t2是需要人為設(shè)置的閾值，一般人怎么知道具體數(shù)值是多少，才是最佳的呀？所以，這是它的缺點(diǎn)。

中級(jí)canny：

1 中級(jí)canny，就是可調(diào)節(jié)的閾值，找到最佳的canny邊緣檢測效果。

2 采用cv2.createTrackbar來調(diào)節(jié)閾值。

3 代碼：

4 操作和效果：

5 原圖：

高級(jí)canny：

1 自適應(yīng)canny的算法：

ret = cv2.canny(img,t1,t2)

即算法在運(yùn)行過程中能夠自適應(yīng)地找到較佳的分割閾值t1，t2。

2 文件結(jié)構(gòu)：

3 main.py代碼：

4 dog.py代碼：

5 bilateralfilt.py代碼：

6 原圖：

7 效果圖：本文第一個(gè)gif圖，此處省略。

小結(jié)：

1 本文由淺入深，總結(jié)的很好，適合收藏。

2 對(duì)于理解python的opencv的canny的邊緣檢測，很有幫助。

3 本文高級(jí)版canny自適應(yīng)的算法參考2篇文章，雖然我進(jìn)行代碼的刪除，注釋，修改，優(yōu)化等操作，故我不標(biāo)注原創(chuàng)，對(duì)原作者表達(dá)敬意。

4 自己總結(jié)和整理，分享出來，希望對(duì)大家有幫助。

python 使用余弦相似度計(jì)算之后如何設(shè)置一個(gè)閾值呢

找一個(gè)驗(yàn)證集合，遍歷可能的閾值，計(jì)算評(píng)價(jià)指標(biāo)，確定最佳閾值

名稱欄目：python閾值函數(shù),python統(tǒng)計(jì)大于閾值的個(gè)數(shù)
文章地址：http://aaarwkj.com/article44/hchehe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、App開發(fā)、網(wǎng)站設(shè)計(jì)公司、、營銷型網(wǎng)站建設(shè)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)