LOSS LANDSCAPE参数地形实验台

一个点，一组模型参数。换一个起点，看看这次会走向哪座谷底。

EXPLORE THE PARAMETER SPACE在崎岖地形中，寻找更低的 loss

水平：参数 θ₁、θ₂
高度 / 颜色：损失 L

拖动旋转 · 滚轮缩放 · 点击地形选择起点

低高

更新次数 STEP0

当前损失 LOSS—

下一步学习率 LR—

点击开始，观察参数的移动。

训练轨迹横轴：更新次数 / 纵轴：loss（线性刻度）

θ 的下一步 = θ − lr × 梯度
本模式使用普通梯度下降。负梯度只提供局部下坡方向，不知道全局最低点在哪里。

讲解提示：怎样理解这张地图？

loss · 地形固定数据与损失定义后，每一组参数对应一个高度。这里用二维示意函数代替高维网络损失。

optimizer · 更新规则利用梯度及可能的历史信息更新参数。Adam 和动量法的实际更新方向可能不同于负梯度。

lr · 更新尺度普通梯度下降的位移大小为 lr × 梯度大小。太大可能振荡或越界，太小可能进展缓慢。

scheduler · 学习率策略按轮次或指标调节 lr，不会重新绘制地形，也不能保证找到全局最小值。

比较不同起点时，先保持地形、优化器和学习率一致。局部梯度接近零，只说明附近较平，并不证明全局最优；训练损失较低，也不代表泛化一定较好。