动手学深度学习3.4-读取图像数据集
目前广泛使用的图像分类数据集之一是MNIST数据集 LeCun.Bottou.Bengio.ea.1998（就那个手写数字识别的数据集）。虽然它是很不错的基准数据集，但按今天的标准，即使是简单的模型也能达到95%以上的分类准确率，因此不适合区分强模型和弱模型。现在我们使用2017年发布的性质相似但相对复杂的Fashion-MNIST数据集Xiao.Rasul.Vollgraf.2017。
import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import torch as d2l # d2l使用svg来显示图片使其清晰度更高 d2l.use_svg_display() 复制代码
trans = transforms.ToTensor() mnist_train = torchvision.datasets.FashionMNIST( root="../data", train=True, transform=trans, download=False) mnist_test = torchvision.datasets.FashionMNIST( root="../data", train=False, transform=trans, download=False) 复制代码
在这里会出现一个警告，看这里：torchvision.transforms.ToTensor详解 | 使用transforms.ToTensor()出现用户警告 - 掘金 (juejin.cn)
trans = transforms.ToTensor()预处理，将图片转换为tensor.通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式,并除以255使得所有像素的数值均在0到1之间。torchvision.datasets.FashionMNIST:从torchvision的dataset中把数据集拿到train 是否下载训练数据集
transforme 是否转换
download 是否下载
len(mnist_train), len(mnist_test) # 看训练集和测试集的样本数量 mnist_train[0][0].shape # 查看第一张图片的形状 复制代码
这里形状输出为torch.Size([1, 28, 28])，一通道，28*28的图。
batch_size = 256 def get_dataloader_workers(): #@save """使用4个进程来读取数据。""" return 4 # num_workers多线程读取，这里是4线程 train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers()) 复制代码
**读取一小批量数据，大小为batch_size**在训练数据迭代器中还随机打乱了所有样本。
然后可以看一下读取训练数据集所需要的时间。
timer = d2l.Timer() for X, y in train_iter: continue f'{timer.stop():.2f} sec' 复制代码最后将所有的功能整合成为一个函数。这个resize是看要不要调整输入形状。
def load_data_fashion_mnist(batch_size, resize=None): #@save """下载Fashion-MNIST数据集，然后将其加载到内存中。""" trans = [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) trans = transforms.Compose(trans) mnist_train = torchvision.datasets.FashionMNIST( root="../data", train=True, transform=trans, download=True) mnist_test = torchvision.datasets.FashionMNIST( root="../data", train=False, transform=trans, download=True) return (data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers()), data.DataLoader(mnist_test, batch_size, shuffle=False, num_workers=get_dataloader_workers()))
作者：LolitaAnn
链接：https://juejin.cn/post/7028509815408164894