如何基于TensorFlow實(shí)現(xiàn)CNN-RNN中文文本分類，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了門頭溝免費(fèi)建站歡迎大家使用！

基于TensorFlow在中文數(shù)據(jù)集上的簡(jiǎn)化實(shí)現(xiàn)，使用了字符級(jí)CNN和RNN對(duì)中文文本進(jìn)行分類，達(dá)到了較好的效果。

使用THUCNews的一個(gè)子集進(jìn)行訓(xùn)練與測(cè)試，數(shù)據(jù)集請(qǐng)自行到THUCTC：一個(gè)高效的中文文本分類工具包

本次訓(xùn)練使用了其中的10個(gè)分類，每個(gè)分類6500條數(shù)據(jù)。

類別如下：

體育, 財(cái)經(jīng), 房產(chǎn), 家居, 教育, 科技, 時(shí)尚, 時(shí)政, 游戲, 娛樂

數(shù)據(jù)集劃分如下：

• 訓(xùn)練集: 5000*10

• 驗(yàn)證集: 500*10

• 測(cè)試集: 1000*10

從原數(shù)據(jù)集生成子集的過程請(qǐng)參看helper下的兩個(gè)腳本。其中，copy_data.sh用于從每個(gè)分類拷貝6500個(gè)文件，cnews_group.py用于將多個(gè)文件整合到一個(gè)文件中。執(zhí)行該文件后，得到三個(gè)數(shù)據(jù)文件：

• cnews.train.txt: 訓(xùn)練集(50000條)

• cnews.val.txt: 驗(yàn)證集(5000條)

• cnews.test.txt: 測(cè)試集(10000條)

 

預(yù)處理

data/cnews_loader.py為數(shù)據(jù)的預(yù)處理文件。

• read_file(): 讀取文件數(shù)據(jù);

• build_vocab(): 構(gòu)建詞匯表，使用字符級(jí)的表示，這一函數(shù)會(huì)將詞匯表存儲(chǔ)下來，避免每一次重復(fù)處理;

• read_vocab(): 讀取上一步存儲(chǔ)的詞匯表，轉(zhuǎn)換為{詞：id}表示;

• read_category(): 將分類目錄固定，轉(zhuǎn)換為{類別: id}表示;

• to_words(): 將一條由id表示的數(shù)據(jù)重新轉(zhuǎn)換為文字;

• process_file(): 將數(shù)據(jù)集從文字轉(zhuǎn)換為固定長(zhǎng)度的id序列表示;

• batch_iter(): 為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)備經(jīng)過shuffle的批次的數(shù)據(jù)。

經(jīng)過數(shù)據(jù)預(yù)處理，數(shù)據(jù)的格式如下：

CNN模型

具體參看cnn_model.py的實(shí)現(xiàn)。

大致結(jié)構(gòu)如下：

訓(xùn)練與驗(yàn)證

運(yùn)行 python run_cnn.py train，可以開始訓(xùn)練。

在驗(yàn)證集上的最佳效果為94.12%，且只經(jīng)過了3輪迭代就已經(jīng)停止。

準(zhǔn)確率和誤差如圖所示：

測(cè)試

運(yùn)行 python run_cnn.py test 在測(cè)試集上進(jìn)行測(cè)試。

在測(cè)試集上的準(zhǔn)確率達(dá)到了96.04%，且各類的precision, recall和f1-score都超過了0.9。

從混淆矩陣也可以看出分類效果非常優(yōu)秀。

RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

配置項(xiàng)

RNN可配置的參數(shù)如下所示，在rnn_model.py中。

RNN模型

具體參看rnn_model.py的實(shí)現(xiàn)。

大致結(jié)構(gòu)如下：

訓(xùn)練與驗(yàn)證

這部分的代碼與 run_cnn.py極為相似，只需要將模型和部分目錄稍微修改。

運(yùn)行 python run_rnn.py train，可以開始訓(xùn)練。

若之前進(jìn)行過訓(xùn)練，請(qǐng)把tensorboard/textrnn刪除，避免TensorBoard多次訓(xùn)練結(jié)果重疊。

在驗(yàn)證集上的最佳效果為91.42%，經(jīng)過了8輪迭代停止，速度相比CNN慢很多。

準(zhǔn)確率和誤差如圖所示：

測(cè)試

運(yùn)行 python run_rnn.py test 在測(cè)試集上進(jìn)行測(cè)試。

在測(cè)試集上的準(zhǔn)確率達(dá)到了94.22%，且各類的precision, recall和f1-score，除了家居這一類別，都超過了0.9。

從混淆矩陣可以看出分類效果非常優(yōu)秀。

對(duì)比兩個(gè)模型，可見RNN除了在家居分類的表現(xiàn)不是很理想，其他幾個(gè)類別較CNN差別不大。

還可以通過進(jìn)一步的調(diào)節(jié)參數(shù)，來達(dá)到更好的效果。

為方便預(yù)測(cè)，repo 中 predict.py 提供了 CNN 模型的預(yù)測(cè)方法。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

網(wǎng)站欄目：如何基于TensorFlow實(shí)現(xiàn)CNN-RNN中文文本分類
本文鏈接：http://aaarwkj.com/article8/jjpoop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、定制網(wǎng)站、建站公司、品牌網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)