课题1:从张量几何的视角审视梯度的本质
在当下的计算智能与深度学习叙事中,人们早已习惯将“梯度”(Gradient)简化为多元函数偏导数排成的列向量,仿佛它只是一种纯粹用于数值计算的微积分工具。然而,如果脱离了几何结构,梯度便沦为无源之水。 梯度的灵魂,不在于“偏导数拼盘”,而在于空间本身的度量张量(Metric Tensor)。
1. 破题:从“余切向量”到“物理/几何向量”在纯粹的微分流形上,我们需要清晰划分两个基本概念: 将一个协变的变化率转化为一个逆变的几何向量,必须借助空间内积——也就是黎曼度量张量 gij : (grad f)^i = g^{ij} · (∂f / ∂x^j) 在普通的欧氏空间中,度量张量 gij 为单位矩阵,矩阵的升降指标退化为平凡的恒等变换,因此我们常常忽视了张量的存在。然而,一旦进入非欧空间或复杂的参数流形,没有度量张量,梯度根本无从定义。
2. 升华:从欧氏梯度到“自然梯度”常规的梯度下降算法隐式地假设了参数空间是平坦且各向同性的,这导致在参数流形曲率剧烈变化(如高曲率峡谷或鞍点)时,优化往往陷入困顿。 日本数学家甘利俊一(Shun-ichi Amari)提出的自然梯度法(Natural Gradient),正是直接引入了概率分布空间上的费雪信息矩阵(Fisher Information Matrix)作为黎曼度量张量。 它抛弃了平坦空间的虚假假设,直接利用张量度量来修正寻优轨道。这证明了:最有效的梯度优化,本质上是对张量分析几何不变性的回归。
3. 结语剥离商业炒作与术语偷换,计算智能(CI)的核心动力依然扎根于微分几何、变分法与张量分析等坚实的数学基石之中。
|