本文介绍在使用 pandas 读取多个 csv 文件并合并时，如何正确捕获空文件等导致的异常，避免程序中断，同时保留日志反馈和流程可控性。
本文介绍在使用 pandas 读取多个 csv 文件并合并时，如何正确捕获空文件等导致的异常，避免程序中断，同时保留日志反馈和流程可控性。
在批量处理 CSV 元数据文件（如 metadata_files 列表）时，常见问题包括：文件为空、格式损坏、编码不兼容或列结构不一致。此时 pd.concat() 可能抛出 ValueError（如“No objects to concatenate”）、EmptyDataError 或 ParserError，直接导致程序终止。仅用裸 except: 捕获所有异常虽可“续跑”，但缺乏健壮性和可观测性。
✅ 推荐做法：精准捕获 + 有状态跳过 + 可追溯日志
以下是一个生产就绪的改进方案：
import pandas as pd
from pandas.errors import EmptyDataError, ParserError
metadata_files = ["meta1.csv", "meta2.csv", "empty.csv"] # 示例路径
valid_dfs = []
for file in metadata_files:
try:
df = pd.read_csv(file, encoding='utf-8', sep=";")
if df.empty:
print(f"⚠️ 警告：跳过空文件 '{file}'")
continue
valid_dfs.append(df)
except EmptyDataError:
print(f"❌ 错误：文件 '{file}' 为空或无有效数据行")
except ParserError as e:
print(f"❌ 解析错误：'{file}' — {str(e).split('.')[0]}")
except UnicodeDecodeError as e:
print(f"❌ 编码错误：'{file}' — 请检查编码格式（当前使用 utf-8）")
except Exception as e:
print(f"❌ 未预期错误：'{file}' — {type(e).__name__}: {e}")
# 安全合并：仅当至少有一个有效 DataFrame 时才 concat
if valid_dfs:
meta_files_df = pd.concat(valid_dfs, ignore_index=True, sort=False)
print(f"✅ 成功合并 {len(valid_dfs)} 个文件，总计 {len(meta_files_df)} 行数据")
else:
print("⚠️ 警告：无有效数据可合并，返回空 DataFrame")
meta_files_df = pd.DataFrame() # 显式初始化，确保变量始终存在
? 关键改进说明：
- 不依赖生成器 + pd.concat 一次性调用：原代码中 (pd.read_csv(...) for file in ...) 是惰性生成器，一旦 concat 报错，已成功读取的中间 DataFrame 将丢失且无法定位具体失败文件。改用显式循环可逐个控制、记录与恢复。
- 精准异常类型捕获：区分 EmptyDataError（pandas 专用）、ParserError（CSV 格式问题）、UnicodeDecodeError（编码问题），便于针对性修复。
- 空数据显式检查：read_csv 可能返回空 DataFrame（非异常），需手动 if df.empty 判断并跳过，防止后续 concat 因空列表报错。
- 变量始终可访问：无论是否成功合并，meta_files_df 均被定义（空或有效），避免 NameError，提升下游代码健壮性。
- 日志含上下文：每条消息包含文件名和简明原因，支持快速排查；使用 emoji 提升可读性（生产环境可替换为标准前缀如 [WARN]/[ERROR]）。
? 进阶建议：
- 将日志输出接入 logging 模块，支持级别控制与文件持久化；
- 对关键失败文件记录到 failed_files.log，供人工复核；
- 使用 pathlib.Path(file).stat().st_size > 0 在读取前预判空文件，减少 I/O 开销。
通过以上结构化异常处理，程序不再因单个坏文件而中断，同时保持高度可观测性与可维护性——这才是真正面向生产的容错实践。
