科学空间 · 信息时代文集
苏剑林博客 Big-Data 分类全文收录（436篇）
关于本书
本书收录了苏剑林（科学空间博客）「信息时代（Big-Data）」分类下的全部 436 篇 文章，涵盖大模型架构设计的各个方面。
Note
作者：苏剑林 | 博客：科学空间 | 收录时间：2026-08-04
内容概览
| 部分 | 篇数 | 主要内容 |
|---|---|---|
| Transformer 架构 | 39 | RoPE、位置编码、长度外推、MLA、线性Attention |
| 注意力机制 | 13 | Attention Scale、GAU、稀疏Attention、熵不变性 |
| MoE 混合专家 | 11 | 负载均衡、LatentMoE、门控归一化、路由设计 |
| 优化器与训练 | 40 | Muon、Adam、Lion、学习率Scaling、梯度累积 |
| 生成扩散模型 | 32 | DDPM/DDIM、一致性模型、ODE/SDE框架 |
| GAN 与对抗生成 | 24 | WGAN、能量视角、梯度惩罚、Lipschitz约束 |
| VAE 与流模型 | 25 | 变分自编码器、Normalizing Flow、VQ-VAE |
| 信息抽取与NER | 13 | GlobalPointer、GPLinker、事件抽取 |
| 语言模型与NLP | 112 | BERT、GPT、词向量、分词、文本匹配、阅读理解 |
| 理论与表示学习 | 17 | SVD分解、最小熵原理、JL引理 |
| 工具与实践 | 60 | Keras、bert4keras、Cool Papers、OCR、爬虫 |
| 其他 | 50 | 杂项文章 |
版权声明
本书内容版权归原作者苏剑林所有，原文发表于 科学空间。本书仅作整理收录，遵循 署名-非商业用途-保持一致 (CC BY-NC-ND 2.5) 协议。