最近在训练mnist字符集时用到二进制数据的处理,面向Google编程后稍稍搞懂了一点,故做一点笔记,以作备忘。
Python 中用来处理二进制数据时采用 Struct 模块。
Struct模块中最常用的函数为:
- pack()
- unpack()
- pack_into()
- unpack_from()
- calcsize()
pack(fmt, v1, v2, …) : 按照给定的格式 fmt(format),把数据封装成字符串。
unpack(fmt, string) : 按照给定的格式(fmt)解析字节流 string,解析结果为元组。
struct.pack_into(fmt, buffer, offset, v1, v2, …) : 把values:v1, v2, …打包按格式fmt转换后写入指定的内存 buffer 中,并且可以指定buffer中的offset即偏移量,从哪里开始写。
struct.unpack_from(fmt, buffer, offset=0) : 从内存中的指定 buffer 区读取出来,然后按照 fmt 格式解析。可以指定offset,从 buffer 的哪个位置开始读取。
calcsize(fmt) : 计算给定的格式(fmt)占用多少字节的内存 。
Struct中支持的格式如下表:
Format | C Type | Python | 字节数 |
---|---|---|---|
x | pad byte | no value | 1 |
c | char | string of length 1 | 1 |
b | signed char | integer | 1 |
B | unsigned char | integer | 1 |
? | _Bool | bool | 1 |
h | short | integer | 4 |
H | unsigned short | integer | 4 |
i | int | integer | 4 |
I | unsigned int | integer of long | 4 |
l | long | integer | 4 |
L | unsigned long | long | 4 |
q | long long | long | 8 |
Q | unsigned long long | long | 8 |
f | float | float | 4 |
d | double | float | 8 |
s | char[] | string | 1 |
p | char[] | string | 1 |
P | void * | long |
q和Q只在机器支持64位操作时有意思
每个格式前可以有一个数字,表示个数
s格式表示一个长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串
P用来转换一个指针,其长度和机器字长相关
最后一个可以用来表示指针类型的,占4个字节
参考文章:https://www.cnblogs.com/gala/archive/2011/09/22/2184801.html