matlab读取mnist数据集(c语言从文件中读取数据)

mnistdatabase(手写字符识别)的数据集下载地:http://yann.lecun.com/exdb/mnist/。准备数据MNIST是在机器学习领域中的一个经典问题。该问题解决的是把28×28像素的灰度手写数字图片识别为相应的数字,其中数字的范围从0到9.共有四个文件需要下载:train-images-idx3-ubyte.gz,训练集,共60,000幅(28*28)的图像数据…

大家好,又见面了,我是你们的朋友全栈君。

mnist database(手写字符识别) 的数据集下载地:http://yann.lecun.com/exdb/mnist/

准备数据

MNIST是在机器学习领域中的一个经典问题。该问题解决的是把28×28像素的灰度手写数字图片识别为相应的数字,其中数字的范围从0到9.

共有四个文件需要下载:

  • train-images-idx3-ubyte.gz,训练集,共 60,000 幅(28*28)的图像数据;
  • train-labels-idx1-ubyte.gz,训练集的标签信息(取值为 0-9),60,000*1
  • t10k-images-idx3-ubyte.gz,测试集(t: test, 10k: 10,000),共 10,000 副(28*28)的图像数据
  • t10k-labels-idx1-ubyte.gz,测试集的标签呢信息(取值为 0-9),10,000*1
  • 更多详情, 请参考 Chris Olah’s visualizations of MNIST.

文件名中的 ubyte 表示数据类型,无符号的单字节类型,对应于 matlab 中的 uchar 数据类型。

注:在 Windows 平台下解压这些文件时,操作系统会自动修改这些文件的文件名,比如会将倒数第二个短线-修改为.,也即 train-images-idx3-ubyte.gz 解压为train-images.idx3-ubyte(文件类型就自作主张地变成了idx3-ubyte),注意文件的对应。

数据格式 


这里写图片描述


数据格数如图所示,即在真正的 label 数据或图像像素信息开始之前会有一些表头信息,对于 label 文件是 2 个 32位整型,对于 image 文件是 4 个 32位整型,所以我们需要对这两个文件分别移动文件指针,以指向正确的位置

由于matlab中fread函数默认读取8位二进制数,而原数据为32bit整型且数据为16进制或10进制,因此直接使用fread(f,4)或者fread(f,’uint32′)读出数据均是错误数据,下面给出一种解决方案:通过将其转化为二进制,通过字符串拼接后再转化为十进制。

function [getdata]=readint32(FID)
    data = [];
    for i = 1:4
            f=fread(FID,1);
            data = strcat(data,num2str(dec2base(f,2,8)));
    end
    getdata = bin2dec(data);

end

数据读取与保存

image数据:

首先读取4个数据,分别是MagicNumber=2051,NumberofImages=6000,rows=28,colums=28,然后每读取rows×colums个数表示一张图片进行保存。

clear
clc
filename = './t10k-images-idx3-ubyte';
savename = './test_x';
FID = fopen(filename,'r');

MagicNumber=readint32(FID);
NumberofImages=readint32(FID);
rows=readint32(FID);
colums=readint32(FID);


savePath = [savename,'.mat'];
test_x = zeros(NumberofImages,rows*colums);
for i = 1:NumberofImages
            temp = fread(FID,(rows*colums), 'uchar');
            test_x(i,:) = temp';
end
save(savePath,'test_x')

label数据:

label数据读取与保存与image类似,区别在于只有MagicNumber=2049,NumberofImages=6000,然后每行读取的数据范围为0~9,因此令temp+1列为1,其余为0即可。

clear
clc
filename = './train-labels-idx1-ubyte';
savename = './train_y';
FID = fopen(filename,'r');

MagicNumber=readint32(FID);
NumberofImages=readint32(FID);


savePath = [savename,'.mat'];
train_y = zeros(NumberofImages,10);
for i = 1:NumberofImages
            temp = fread(FID,1);
            train_y(i,temp+1) = 1;
end
save(savePath,'train_y')

读者下载好数据后,将下列程序分别保存为m文件,只需更改程序里的filename,savename,变量名train_y/train_x/test_x/test_yh和保存save里的变量名即可

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/127275.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Nhibernate_juan benet

    Nhibernate_juan benet什么是NHibernate?NHibernate是一个基于.Net,用于关系数据库的对象持久化类库.它是著名的Hibernate的.Net版本.NHibernate用于把你的.Net对象持久化到底层的关系数据库中.你完全不用自己编写Sql语句去操作这些对象,NH会代替你做.你的代码里面只需要关心这些对象,NH生成sql语句并能为你取到正确的东西.开发过程HNibernate将会有一些工具帮助你,如

    2025年7月3日
    2
  • struts详细解释拦截器

    struts详细解释拦截器

    2022年1月5日
    43
  • 关于express使用formidable上传图片

    关于express使用formidable上传图片express 中使用 formidable 上传图片前端页面 js 逻辑代码 nodejs 处理逻辑前端页面 使用 bootsrap 布局静态页面 formclass form horizontalfo add divclass form group labelclass col xs 2control label 分类名称 amp labelclass col xs 2control label divclass form group formclass form horizontalfo add

    2025年10月25日
    3
  • java笔记–Map的用法

    java笔记–Map的用法Map接口概述我们通过查看Map接口描述,发现Map接口下的集合与Collection接口下的集合,它们存储数据的形式不同,如下图。 Collection中的集合,元素是孤立存在的(理解为单身),向集合中存储元素采用一个个元素的方式存储。 Map中的集合,元素是成对存在的(理解为夫妻)。每个元素由键与值两部分组成,通过键可以找对所对应的值。 Collectio…

    2022年7月26日
    16
  • 示例的意思_实例

    示例的意思_实例JBoss 系列三十八:jBPM5示例之 Reusable Sub-Process

    2022年4月22日
    58
  • 【tensorflow】MTCNN网络基本函数bbox_ohem&landmark_ohem()

    【tensorflow】MTCNN网络基本函数bbox_ohem&landmark_ohem()tf.gather:用一个一维的索引数组,将张量中对应索引的向量提取出来importtensorflowastfimportnumpyasnpa=tf.constant([1,2,3,4])b=tf.square(a)withtf.Session()assess:print(“b:%s”%sess.run(b))#b:[14916]…

    2022年5月29日
    43

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号