這篇文章將為大家詳細(xì)講解有關(guān)如何使用Hanlp加載大字典，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到吉陽(yáng)網(wǎng)站設(shè)計(jì)與吉陽(yáng)網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、國(guó)際域名空間、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋吉陽(yáng)地區(qū)。

問(wèn)題

因?yàn)樾枰虞d一個(gè) 近 1G 的字典到Hanlp中，一開(kāi)始使用了CustomDictionay.add() 方法來(lái)一條條的加載，果然到了中間，維護(hù)DoubleArraTre 的成本太高，添加一個(gè)節(jié)點(diǎn)，都會(huì)很長(zhǎng)時(shí)間，本來(lái)時(shí)間長(zhǎng)一點(diǎn)沒(méi)有關(guān)系，只要訓(xùn)練出.bin 的文件，第二次加載就會(huì)很快，然而作為以空間換時(shí)間的DAT結(jié)構(gòu)，內(nèi)存消耗很大，預(yù)料之內(nèi)的出現(xiàn)了

out of memory: heap size

1

的問(wèn)題?！『髞?lái)嘗試直接加載了1G 的字典，顯然更不行。

思路

閱讀了Hanlp的　部分源碼，也請(qǐng)教了原作者一部分問(wèn)題，　就打算從源碼入手。初步想法大概是將原始字典 

split 成多份，然后分別將多份的小字典 訓(xùn)練成 多個(gè)小的.bin 文件，再完整的加載到內(nèi)存中，基于的原則則是：加載兩個(gè)10M的字典的消耗比一個(gè)20M的要小。 

然后又優(yōu)化了一部分，現(xiàn)在加載一個(gè)大概1G的字典，占內(nèi)存約3g+ ，已經(jīng)可以使用了。

大概流程

修改　CustomDictionary.java　設(shè)置一個(gè) hashmap　或者 一個(gè) list 來(lái)存儲(chǔ)所有的小Dat

將所有的dat加載完，這里就不再區(qū)分主副字典了。

修改Segment.java里面的combineByCustomDictionary 函數(shù)，源碼中只有一個(gè)dat， 這里我們需要選擇我們?nèi)萜髦衅渲心骋粋€(gè)dat作為要匹配使用，之前使用的方案是，遍歷所有的dat，知道有了匹配，但是這樣缺陷很明顯，解決不了多個(gè)字典匹配同一個(gè)詞的字串的情況，這里我的考察方案是，字典中的同一個(gè)字開(kāi)始的詞條映射到同一個(gè)文件，這樣不會(huì)出現(xiàn)字串問(wèn)題了。

關(guān)于“如何使用Hanlp加載大字典”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

本文題目：如何使用Hanlp加載大字典
文章源于：http://aaarwkj.com/article10/ggpedo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、品牌網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站營(yíng)銷、外貿(mào)建站、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)