小編給大家分享一下Tensorflow如何實現(xiàn)分批量讀取數(shù)據(jù)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

汕城ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18980820575（備注：SSL證書合作）期待與您的合作！

之前的博客里使用tf讀取數(shù)據(jù)都是每次fetch一條記錄，實際上大部分時候需要fetch到一個batch的小批量數(shù)據(jù)，在tf中這一操作的明顯變化就是tensor的rank發(fā)生了變化，我目前使用的人臉數(shù)據(jù)集是灰度圖像，因此大小是92*112的，所以最開始fetch拿到的圖像數(shù)據(jù)集經(jīng)過reshape之后就是一個rank為2的tensor，大小是92*112的（如果考慮通道，也可以reshape為rank為3的，即92*112*1）。

如果加入batch，比如batch大小為5，那么拿到的tensor的rank就變成了3，大小為5*92*112。

下面規(guī)則化的寫一下讀取數(shù)據(jù)的一般流程，按照官網(wǎng)的實例，一般把讀取數(shù)據(jù)拆分成兩個大部分，一個是函數(shù)專門負責讀取數(shù)據(jù)和解碼數(shù)據(jù)，一個函數(shù)則負責生產(chǎn)batch。

import tensorflow as tf

def read_data(fileNameQue):

 reader = tf.TFRecordReader()
 key, value = reader.read(fileNameQue)
 features = tf.parse_single_example(value, features={'label': tf.FixedLenFeature([], tf.int64),
              'img': tf.FixedLenFeature([], tf.string),})
 img = tf.decode_raw(features["img"], tf.uint8)
 img = tf.reshape(img, [92,112]) # 恢復圖像原始大小
 label = tf.cast(features["label"], tf.int32)

 return img, label

def batch_input(filename, batchSize):

 fileNameQue = tf.train.string_input_producer([filename], shuffle=True)
 img, label = read_data(fileNameQue) # fetch圖像和label
 min_after_dequeue = 1000
 capacity = min_after_dequeue+3*batchSize
 # 預取圖像和label并隨機打亂，組成batch，此時tensor rank發(fā)生了變化，多了一個batch大小的維度
 exampleBatch,labelBatch = tf.train.shuffle_batch([img, label],batch_size=batchSize, capacity=capacity,
              min_after_dequeue=min_after_dequeue)
 return exampleBatch,labelBatch

if __name__ == "__main__":

 init = tf.initialize_all_variables()
 exampleBatch, labelBatch = batch_input("./data/faceTF.tfrecords", batchSize=10)

 with tf.Session() as sess:

  sess.run(init)
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for i in range(100):
   example, label = sess.run([exampleBatch, labelBatch])
   print(example.shape)

  coord.request_stop()
  coord.join(threads)

讀取數(shù)據(jù)和解碼數(shù)據(jù)與之前基本相同，針對不同格式數(shù)據(jù)集使用不同閱讀器和解碼器即可，后面是產(chǎn)生batch，核心是tf.train.shuffle_batch這個函數(shù)，它相當于一個蓄水池的功能，第一個參數(shù)代表蓄水池的入水口，也就是逐個讀取到的記錄，batch_size自然就是batch的大小了，capacity是蓄水池的容量，表示能容納多少個樣本，min_after_dequeue是指出隊操作后還可以供隨機采樣出批量數(shù)據(jù)的樣本池大小，顯然，capacity要大于min_after_dequeue，官網(wǎng)推薦：min_after_dequeue + (num_threads + a small safety margin) * batch_size,還有一個參數(shù)就是num_threads，表示所用線程數(shù)目。

min_after_dequeue這個值越大，隨機采樣的效果越好，但是消耗的內(nèi)存也越大。

以上是“Tensorflow如何實現(xiàn)分批量讀取數(shù)據(jù)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)成都網(wǎng)站設計公司行業(yè)資訊頻道！

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

標題名稱：Tensorflow如何實現(xiàn)分批量讀取數(shù)據(jù)-創(chuàng)新互聯(lián)
標題鏈接：http://aaarwkj.com/article36/dopcpg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、外貿(mào)建站、標簽優(yōu)化、全網(wǎng)營銷推廣、品牌網(wǎng)站建設、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)