隐式反馈数据不能直接当CTR标签用,必须做负采样+去偏处理,否则DeepFM会严重高估点击概率;因其存在曝光偏差、负样本缺失和正样本噪声,需在同上下文负采样、控制正负比、剔除可疑负样本,并规范稀疏特征处理与特征交叉。
隐式反馈数据不能直接当CTR标签用,必须做负采样+去偏处理,否则DeepFM会严重高估点击概率。
为什么隐式反馈不能直接喂给DeepFM
用户浏览、停留、收藏、加购这些行为是隐式的,不代表真实点击意图——比如用户刷到广告但没点,可能是因为网络卡顿、页面跳转快,也可能是当时没兴趣。如果把所有未点击样本都当作负例(label=0),模型会学到“曝光即大概率不点”的虚假规律,尤其在头部item上偏差更明显。
常见错误现象:logloss很低但AUC上不去;线上AB测试CTR预估值系统性偏高20%以上;DeepFM的FM部分权重异常集中在曝光时长类特征上。
- 隐式反馈天然存在曝光偏差:平台只对排序靠前的广告曝光,低CTR候选根本没机会被看到
- 负样本缺失严重:你不知道用户“没看到但可能点”的那些item
- 正样本含噪声:一次加购不等于下次会点,一次长停留也不等于有点击意图
负采样必须满足三个条件
不是随便从没曝光的item里抽几个当负例就行。DeepFM对输入分布很敏感,尤其是sparse特征的embedding层,负样本质量差会导致Vi向量坍缩或发散。
- 负样本需来自同一曝光上下文:比如同一次feed流中排在第5–20位但未被点击的广告,而不是从全量广告池随机抽
- 需控制正负比例:工业场景常用1:3~1:5,比例过高会让
FM部分的second_order交互项学习失效 - 必须剔除“可疑负样本”:如曝光时长
<100ms、设备离线、页面未渲染完成的记录,这类日志应标记为invalid而非0
示例代码关键片段(PyTorch):
valid_mask = (df['exposure_duration'] > 100) & (df['is_rendered'] == 1)
df = df[valid_mask].copy()
df['label'] = (df['click'] == 1).astype(int)
# 负采样:按user_id分组,在同session内取未点击的top_k曝光
df_neg = df.groupby('user_id').apply(lambda x: x[x['label']==0].sample(n=3, replace=False))
稀疏特征处理要绕开one-hot陷阱
隐式反馈日志里的user_id、ad_id、category动辄百万级取值,直接pd.get_dummies()会炸内存,且DeepFM的FM部分要求每个特征有独立Vi向量,不是二值开关。
Python 3.14.3
微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
正确做法是用哈希编码 + 截断 + embedding lookup:
- 对高基数离散特征(如
user_id)用hashlib.md5().hexdigest()[:8]转为固定长度字符串,再映射到[0, hash_size)整数空间 -
hash_size建议设为实际唯一值的3–5倍,避免过多哈希冲突(hash_size=1000000对千万级user_id够用) - 数值型特征(如
exposure_duration)必须归一化到[0,1],否则FM的linear部分会被大数值主导
注意:DeepFM的embedding层输入必须是整数索引,不是原始字符串或浮点数——这是初学者最常卡住的地方。
特征交叉在隐式场景下要主动降阶
DeepFM的FM部分默认建模所有二阶交叉,但在隐式反馈中,user_id × ad_id这种细粒度交叉极易过拟合——因为一个user_id在训练集中平均只见过几十个ad_id,Vi·Vj内积学不到稳定模式。
实操建议:
- 禁用原始ID类特征的两两交叉,改用泛化性更强的聚合特征:如
user_age_group × ad_industry、user_region × ad_price_level - 对
FM部分的embedding_dim设小一点(8–16),而DNN部分可用更大的64–128,让低阶交互保持轻量、高阶交互由深度网络承担 - 在
forward中显式屏蔽某些交叉项,例如跳过user_id × item_id组合:if feat_i in ['user_id', 'item_id'] and feat_j in ['user_id', 'item_id']: continue
真正难的不是写完DeepFM结构,而是想清楚哪些交叉在隐式信号下是可信的——这需要结合业务漏斗反复验证,比如“用户刚搜过某品牌词后看到该品牌广告”这个路径的交叉权重,应该显著高于“用户上周看过某品类”这种弱关联。