01
一些思考，持续更新。
置顶文章
02
最近更新
查看全部-
Muon 优化器浅析
从 SGD 到 AdamW 的向量优化器出发，介绍 Muon 如何用 msign 与 Newton–Schulz 迭代在矩阵层面更新参数，以及它的机理、适用范围和显存收益。
-
-
-
-
-
-
-
从 SGD 到 AdamW 的向量优化器出发，介绍 Muon 如何用 msign 与 Newton–Schulz 迭代在矩阵层面更新参数，以及它的机理、适用范围和显存收益。