不能直接用hashlib.md5(file.read()).hexdigest()读整个文件，因大文件会引发MemoryError；正确做法是分块读取（如8192字节）、二进制模式('rb')打开、iter(lambda: f.read(8192), b'')安全迭代，内存恒定几KB。
为什么不能直接用 hashlib.md5(file.read()).hexdigest() 读整个文件？
大文件（比如几百 MB 或上 GB）一次性读入内存会触发 MemoryError，尤其在低配服务器或容器环境。另外，Python 的 file.read() 默认读取全部内容为 bytes，对超大文件极不友好——这不是哈希算法的问题，是 I/O 使用方式的问题。
正确做法是分块读取、增量更新哈希对象：
- 每次只读固定大小（如
8192字节）进内存 - 调用
hash_obj.update(chunk)累积计算 - 避免构造超大 bytes 对象，内存占用恒定在几 KB 级别
标准分块哈希实现：注意缓冲区大小和 open 模式
必须以二进制模式（'rb'）打开文件，否则文本模式会触发编码/换行符转换，导致哈希值错误。缓冲区大小不是越大越好：8192（8KB）是 CPython 默认 io.BufferedReader 块大小，与系统页大小匹配，实测吞吐稳定；设成 1024*1024（1MB）在某些 SSD 上反而因 syscall 频率下降而变慢。
参考实现：
import hashlib
def calc_md5(filepath):
hash_obj = hashlib.md5()
with open(filepath, 'rb') as f:
for chunk in iter(lambda: f.read(8192), b''):
hash_obj.update(chunk)
return hash_obj.hexdigest()
关键点：
-
iter(lambda: f.read(8192), b'')是安全的分块迭代器，末尾返回空 bytes 时自动终止 - 不要用
while True: chunk = f.read(...); if not chunk: break—— 对某些特殊文件（如设备文件）可能卡住 - 函数返回的是小写十六进制字符串，长度固定为
32
遇到 UnicodeDecodeError 说明你误用了文本模式
如果代码里写了 open(filepath, 'r') 或没指定 mode，默认是文本模式，且会尝试用系统默认编码（如 utf-8）解码二进制数据，必然在非文本文件（PDF、ZIP、ELF 等）上抛出 UnicodeDecodeError: 'utf-8' codec can't decode byte ...。
Python 3.14.3
微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
修复只需一行：强制加 'rb'。没有例外，所有校验场景都必须二进制读取。
常见误写：
-
open(filepath).read()→ 缺 mode，默认 'r' -
open(filepath, encoding='latin1')→ 仍是文本模式，解码逻辑干扰哈希 -
hashlib.md5(open(filepath).read().encode())→ 双重错误：先文本读再 encode，中间已失真
需要校验多个文件时，别重复造轮子
如果项目中频繁计算 MD5（例如同步工具、备份校验、CI 文件指纹），建议封装成可复用函数，并考虑异常路径：
- 文件不存在 → 捕获
FileNotFoundError，返回None或抛自定义异常 - 权限不足（
PermissionError）→ 不要静默跳过，需明确提示 - 符号链接循环 →
os.path.islink()+os.path.realpath()提前检测（可选）
另外，MD5 已不推荐用于安全敏感场景（存在碰撞攻击），仅适用于完整性校验。若需防恶意篡改，应升级用 hashlib.sha256()，调用方式完全一致，只需替换构造函数名。
分块逻辑本身和哈希算法无关，换 sha256 只需把 hashlib.md5() 改成 hashlib.sha256()，输出长度变为 64 字符。
