Bin的记事本
分享推荐系统、大模型理解, 投资备忘
首页
搜索
NotionNext介绍
往期整理
历史归档
文章分类
文章标签
关于我
English
投资
推荐系统
首页
搜索
NotionNext介绍
往期整理
历史归档
文章分类
文章标签
关于我
English
投资
推荐系统
Catalog
0%
From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
一句话总结
1. 研究动机与问题
1.1 现状与困境
1.2 标准 Self-Attention 的缺陷
1.3 朴素扩展方案的困境
2. 核心贡献
2.1 方法论 (Methodology)
2.2 理论分析 (Theoretical Analysis)
2.3 实证验证 (Empirical Validation)
3. 方法:FAT 架构详解
3.1 Field-Aware Tokenization
3.2 Field-Decomposed Attention (FDA)
(1) Field-aware Content Alignment ()
(2) Field-pair Interaction Modulation ()
FDA 注意力公式:
FDA 三大优势:
与 FFM 的联系:
3.3 Field-Aware Feed Forward Network (FAF)
3.4 Basis-Composed Hypernetwork
Hypernetwork 三大优势:
3.5 CTR Prediction
4. 理论分析:Generalization Bound & Scaling Law
Theorem 4.1 / Theorem A.1 (Generalization Bound for FAT)
推论:可预测的 Scaling Law
5. 实验结果
5.1 实验设置
5.2 主结果 (RQ1)
5.3 消融实验 (RQ2)
5.3.1 Field-Aware 各组件贡献
5.3.2 Hypernetwork 机制分析
5.4 可解释性分析 (RQ3)
5.4.1 Structured Coherence
5.4.2 Asymmetric Influence
5.5 Scaling Behavior (RQ4)
5.6 在线 A/B 测试 (RQ5)
6. 方法流程图
7. 消融实验汇总
8. 核心创新点总结
9. 个人评价与思考
0%