本文介绍多种高效构建条件列的方法，重点对比 apply + 缓存、向量化操作与 numpy.select 等方案，帮助你在处理万级数据时显著提升性能并保持代码可读性。
本文介绍多种高效构建条件列的方法，重点对比 `apply` + 缓存、向量化操作与 `numpy.select` 等方案，帮助你在处理万级数据时显著提升性能并保持代码可读性。
在 Pandas 中为大型 DataFrame（如 20,000+ 行）基于多个列（例如 A、B、C、D）构建条件列时，低效写法（如链式 .loc 或未优化的 apply）极易成为性能瓶颈。虽然使用 @cache + itertuples 是一种常见折中方案，但其需额外构造 namedtuple，引入冗余内存开销与类型转换成本。更优解在于避免中间 tuple 构造，直接向量化传参，同时优先采用原生向量化方法替代 Python 层循环。
✅ 推荐方案：apply + 参数化解耦（轻量优化）
将缓存函数改造为接收标量参数（而非 namedtuple），再通过 df.apply(..., axis=1) 直接传入对应列值，省去 itertuples 和 map 的两轮遍历：
import pandas as pd
from functools import cache
transform_counts = 0
@cache
def transform(a, b):
global transform_counts
transform_counts += 1
return 33 if (a == 1 and b == 23) else 40
df = pd.DataFrame({'A': [1, 2, 3, 4, 1, 2], 'B': [23, 43, 89, 50, 23, 43]})
df['C'] = df.apply(lambda row: transform(row['A'], row['B']), axis=1)
该方式 transform_counts 仍为 4（去重后调用次数），但执行速度通常比 itertuples + map 快 15–25%，因跳过了 namedtuple 实例化与属性访问开销。
⚡ 更高性能方案：完全向量化（首选）
当条件逻辑可表达为布尔掩码组合时，应彻底避免 apply —— 因其本质仍是 Python 循环。改用 numpy.where 或 numpy.select 实现零 Python 解释器开销：
import numpy as np
# 多条件示例：基于 A、B、C 三列生成 D 列
conditions = [
(df['A'] == 1) & (df['B'] == 23),
(df['A'] > 2) & (df['C'].isin(['X', 'Y'])),
df['B'].between(40, 60)
]
choices = [33, 77, 99]
df['D'] = np.select(conditions, choices, default=40) # default 为 else 分支
✅ 优势：执行速度可达 apply 的 10–100 倍，内存友好，且天然支持并行计算（底层由 NumPy C 实现）。
⚠ 注意事项与最佳实践
- 慎用 global 计数器：@cache 的统计在多线程/进程下不可靠，生产环境建议移除或改用线程安全计数器（如 threading.local）；
- 缓存键敏感性：@cache 对输入类型严格（如 np.int64 ≠ int），建议统一转为 Python 原生类型（row['A'].item()）或改用 @lru_cache(maxsize=128) 并显式控制；
- 复杂逻辑兜底：若条件含动态查询、外部 API 调用等无法向量化的操作，优先封装为 numba.jit 函数，其次才考虑带缓存的 apply；
- 内存权衡：numpy.select 需一次性生成所有布尔数组，对超宽条件集（>50 条）可能增加内存峰值，此时可分批计算或回归 pd.cut / pd.qcut 离散化策略。
综上，向量化永远是第一选择；仅当逻辑高度非线性且无法拆解时，才启用带参数解耦的缓存 apply。二者结合可兼顾万级数据的毫秒级响应与工程可维护性。
