-
大小: 8KB文件類(lèi)型: .py金幣: 2下載: 1 次發(fā)布日期: 2021-01-02
- 語(yǔ)言: Python
- 標(biāo)簽: tensor??TFReco??讀取數(shù)據(jù)??多線程??
資源簡(jiǎn)介
tensorflow推薦的TFRecord的保存和讀取數(shù)據(jù)集,支持多線程讀取和打亂順序,使用隊(duì)列讀取,避免了大型數(shù)據(jù)集對(duì)內(nèi)存的嚴(yán)重占用
代碼片段和文件信息
#?導(dǎo)入包
import?tensorflow?as?tf
import?numpy?as?np
import?os
“““
????介紹:
????tfrecord格式是tensorflow官方推薦的數(shù)據(jù)格式,把數(shù)據(jù)、標(biāo)簽進(jìn)行統(tǒng)一的存儲(chǔ)
????tfrecord文件包含了tf.train.Example?協(xié)議緩沖區(qū)(protocol?buffer,協(xié)議緩沖區(qū)包含了特征?Features),?能讓tensorflow更好的利用內(nèi)存。
????Author:Ephemerptero
????Version:1.0.0
????Date:2019-3-23
????QQ:605686962
“““
“““
#?定義生成整數(shù)型和字符串型屬性的方法,這是將數(shù)據(jù)填入到Example協(xié)議
#?內(nèi)存塊(protocol?buffer)的第一步,以后會(huì)調(diào)用到這個(gè)方法
“““
def?Int64_feature(value):
????return?tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
def?Bytes_feature(value):
????return?tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
“““
#?TFRecord格式保存函數(shù):
#?data:格式為M?x?N?,M為數(shù)據(jù)集個(gè)數(shù),N為一個(gè)數(shù)據(jù)項(xiàng),常用data[i]表示
#?label:同理
#?filename:?路徑名+文件名(無(wú)后綴名)
#?npart:?將該文件拆分為n個(gè)TFR保存
“““
def?SaveByTFRecord(datalabelfilename
評(píng)論
共有 條評(píng)論