{"id":3923,"date":"2024-05-07T09:35:59","date_gmt":"2024-05-07T07:35:59","guid":{"rendered":"https:\/\/www.capri-soft.de\/blog\/?p=3923"},"modified":"2024-05-19T16:23:06","modified_gmt":"2024-05-19T14:23:06","slug":"ki-training-das-format-vom-mnist-datensatz-t10k-images-idx3-ubyte-t10k-labels-idx1-ubyte-train-images-idx3-ubyte-train-labels-idx1-ubyte","status":"publish","type":"post","link":"https:\/\/www.capri-soft.de\/blog\/?p=3923","title":{"rendered":"Neuronale Netze (KNN) \/ KI-Training: Das Format \/ der Aufbau vom MNIST-Datensatz (MNIST Datenbank) der Dateien t10k-images-idx3-ubyte, t10k-labels-idx1-ubyte, train-images-idx3-ubyte, train-labels-idx1-ubyte"},"content":{"rendered":"\n

Intention<\/h2>\n\n\n\n

Zum Auffrischen des eigenen Wissens \u00fcber k\u00fcnstliche neuronale Netze (KNN) m\u00f6chte man sich mit Frameworks wie PyTorch oder TensorFlow auseinandersetzen. <\/p>\n\n\n\n

Problem<\/h2>\n\n\n\n

In den ersten Tutorials ist meistens die Rede vom „MNIST-Datensatz<\/a>“ oder der „MNIST Datenbank<\/a>“ mit 70.000 handgeschriebenen Ziffern im Format 28×28 mit 256 Grauwerten je Pixel (also je Byte). 60.000 Bilder davon sind zum Trainieren, 10.000 Bilder zum Testen eines neuronalen Netzes. Die Dateiendung der entpackten Dateien l\u00e4sst sich nicht einfach in *.bmp umbenennen und zum Beispiel mit Paint \u00f6ffnen. Man wei\u00df erstmal nicht in welchem Format die Dateien sind um sich einzelne Zahlen anzusehen.<\/p>\n\n\n\n

Laut „https:\/\/yann.lecun.com\/exdb\/mnist<\/a>“ (manchmal nur \u00fcber einen archive.org-Snapshot erreichbar) handelt es sich bei diesem Format nicht um ein Standard-Bildformat. Man muss ein eigenes Programm schreiben um diese Bilder zu interpretieren. <\/p>\n\n\n\n

Analyse<\/h2>\n\n\n\n

train-images-idx3-ubyte, t10k-images-idx3-ubyte<\/h3>\n\n\n\n

Diese Dateien sind mit GZip (Endung *.gz) gepackt und lassen sich in Windows direkt mit einem Doppelklick \u00f6ffnen oder mit einem Rechtsklick extrahieren:
<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Die *-images*-Dateien enthalten Bilder von handgeschriebenen Ziffern zwischen 0 und 9, die von Studenten und Mitarbeitern der Universit\u00e4t von South Carolina Beaufort<\/a> im Jahre 1994 gesammelt wurden.<\/p>\n\n\n\n

\u00d6ffnet man die extrahierten Dateien in einem Hexadezimaleditor wie zum Beispiel dem kostenlosen HxD-Editor und stellt die Spaltenanzahl auf 28 um, ist bereits ein Muster der enthaltenen Zahlen erkennbar:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Die ersten 16 Byte haben den folgenden Aufbau:<\/p>\n\n\n

\n[offset] [type]          [value]          [description]\n0000     32 bit integer  0x00000803(2051) magic number\n0004     32 bit integer  60000            number of images\n0008     32 bit integer  28               number of rows\n0012     32 bit integer  28               number of columns\n0016     unsigned byte   ??               pixel\n0017     unsigned byte   ??               pixel\n........\nxxxx     unsigned byte   ??               pixel\n<\/pre><\/div>\n\n\n
Die 0x08 des dritten Bytes in der Magic Number sagt aus, dass es sich hierbei um UByte-Werte anhandelt. Das dritte Byte kann dabei die folgenden Werte annehmen:<\/p>\n\n\n
\nThe third byte codes the type of the data:\n0x08: unsigned byte\n0x09: signed byte\n0x0B: short (2 bytes)\n0x0C: int (4 bytes)\n0x0D: float (4 bytes)\n0x0E: double (8 bytes)\n<\/pre><\/div>\n\n\n
Das vierte Byte in der Magic Number hat hier den Wert 0x03, was bedeutet das unsere Daten 3 Dimensionen f\u00fcr den Pixel haben (x-Pos, y-Pos, Pixelwert\/Grauwert[0-255]).<\/p>\n\n\n\n
Entfernt man den markierten Header mit den ersten 16 Bytes (siehe obiges Bild) z.B. im HxD, indem man einfach die Entfernen-Taste dr\u00fcckt, ist das Schriftmuster bereits im HEX-Editor erkennbar:<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Wie bereits erw\u00e4hnt, hat jeder Pixel einen Wert zwischen 0 (wei\u00df) und 255 (schwarz) [Magic Number: 3. Byte], wobei die Zwischenwerte lineare Abstufungen f\u00fcr Grauwerte sind.<\/p>\n\n\n\n
Hier noch ein Beispiel der Fashion-MNIST-Datenbank mit Kleidungsst\u00fccken (von Zalando):<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
train-labels-idx1-ubyte, t10k-labels-idx1-ubyte<\/h3>\n\n\n\n
Der Aufbau der *-labels*-Dateien ist \u00e4hnlich. Als Label werden hier die Zahlen mit den Werten zwischen 0 bis 9 in der selben Reihenfolge wie in den *-images*-Dateien aufgef\u00fchrt. Diese beginnen nach dem Header an Position 8 (hier 5 und 0 \/ unten wie oben im Screenshot):<\/p>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
Das Format ist also:<\/p>\n\n\n\n
[offset] [type]         [value]          [description]
0000     32 bit integer 0x00000801(2049) magic number
0004     32 bit integer 60000            number of images
0008     byte           [0-9]            Ziffer zw. 0-9
\u2026\u2026..<\/pre>\n