本篇笔记来自Lei Wu 的论文 Embedding Inequalities for Barron-type Spaces ,该论文给出barron空间函数的一个必要条件:Barron 函数具有小于1阶的的傅里叶正则性。
主要结论:Barron 具有小于1阶的的傅里叶正则性
设 Ω⊂Rd 为紧集,激活函数为 σs(t)=t+s,其中 t+=max{t,0},s∈N+ 是正整数。普通 ReLU 对应 s=1。
论文证明:对任意 f∈Bs(Ω) 和 δ∈(0,1),都有
∥f∥Fs−δ(Ω)≤δCs∥f∥Bs(Ω).
具体证明
证明主线
barron空间的函数有积分形式的表示,由下确界定义可以找到一个靠近的具体形式,再对这个具体形式,由于fourier变换的线性以及全变差的三角不等式,可以转化为分析单神经元的性质,对于单神经元,为了得到和结论相符的表达式,先把w的范数利用ReLU的正齐次性置为1,然后分析F范数的性质,最终得到相符的结论
问题设置
论文使用 ∥v∥Ω=supx∈Ω∣v⊤x∣ 衡量向量 v 相对于输入区域的大小。
例如,当 Ω 是欧氏单位球时,∥v∥Ω=∥v∥2;当 Ω=[−1,1]d 时,∥v∥Ω=∥v∥1,若Ω 是q范数单位球,则对应是p范数。
函数 f 只定义在 Ω 上,傅里叶分析则在整个 Rd 上进行。因此,要考虑满足 F∣Ω=f 的全空间扩展 F。
谱 Barron 范数的定义为 ∥f∥Ft(Ω)=infF∣Ω=fJt(F)。
因此,为了证明谱范数的上界,只需要找到一个成本可控的扩展。
从一般函数反推单神经元目标
已经选定 ρε 后,要用它构造一个全空间扩展。最自然的做法,是先扩展每个神经元,再按原来的表示叠加。
假设能为每个神经元找到 Hw,b,使它在 Ω 上等于 σs(w⊤x+b),并满足
Js−δ(Hw,b)≤δCs(∥w∥Ω+∣b∣)s.
这就是剩余证明需要完成的单神经元目标。它的右侧必须与 Barron 表示成本中的参数权重匹配。
正齐次性归一化方向参数
先考虑 r=∥w∥Ω>0。定义 w=w/r、b=b/r,则 ∥w∥Ω=1。
利用 σs(λt)=λsσs(t),可以同时改写函数和参数成本:
σs(w⊤x+b)rs(1+∣b∣)s=rsσs(w⊤x+b),=(r+∣b∣)s=(∥w∥Ω+∣b∣)s.
所以,只需证明单位方向神经元的频谱成本由 (Cs/δ)(1+∣b∣)s 控制,再乘回 rs,就能恢复一般参数下的目标估计。
如果连同外层系数一起归一化,还需要设置 a=ars。这样,神经元所表示的函数和成本都保持不变。不能只缩放 w,却保留原来的 a,b。
分析单神经元的谱范数
只沿神经元依赖的方向截断
由 ∥w∥Ω=1 可知,∣w⊤x∣≤1 对所有 x∈Ω 成立。
固定光滑截断函数 χ∈Cc∞(R),使 0≤χ≤1,在 [−1,1] 上等于 1,在 [−2,2] 外等于零。定义一维函数 hb(t)=χ(t)(t+b)+s,再定义高维扩展 Hw,b(x)=hb(w⊤x)。
对区域内的点,截断因子等于 1,所以 Hw,b 确实保留原神经元的值。
注意,hb 在一维上有紧支撑,但 Hw,b 沿垂直于 w 的方向保持不变。当 d≥2 时,它通常不是全空间上的可积函数。这里需要使用测度或分布意义的傅里叶变换。
接下来的工作有两个部分:先控制一维函数 hb 的频谱衰减,再把高维扩展的频谱成本化为一维积分。
一维衰减:出现 s+1 阶
对应原文引理 2.2,需要证明
∣hb(v)∣≤Cs(1+∣v∣)s+1(1+∣b∣)s.
低频部分直接由可积性控制:∣hb(v)∣≤(2π)−1∥hb∥L1≤Cs(1+∣b∣)s。这是因为支撑位于固定区间 [−2,2],区间内 (t+b)+s≤(2+∣b∣)s。
高频部分使用求导和分部积分。原文按折点是否位于截断区域内分别处理;用分布导数可以统一说明它的机制。
函数 (t+b)+s 的第 s 阶导数是 s!1{t>−b},再求一次导数就得到 s!δ−b。因此,乘积求导后,νb:=Ds+1hb 可以写成 gb(t)dt+s!χ(−b)δ−b。
其中,gb 由截断函数的导数与 (t+b)+s 的不超过 s 阶导数组成。这些项都支撑在固定区间内,每项都可以用 Cs(1+∣b∣)s 控制。因此,νb 是有限测度,并且 ∣νb∣(R)≤Cs(1+∣b∣)s。
傅里叶变换把求导变成频率乘法:(iv)s+1hb(v)=νb(v)。另一方面,有限测度的傅里叶变换满足 ∣νb(v)∣≤(2π)−1∣νb∣(R)。两者结合,就得到高频控制 ∣hb(v)∣≤Cs(1+∣b∣)s∣v∣−(s+1)。
合并高频与低频部分,便得到所需的衰减估计。固定截断函数后,这些常数只依赖 s。
这也解释了整数 s 的作用:证明直接使用了整数次求导以及第 s 阶导数的跳跃。光滑截断控制了无穷远处的增长,但不会自动消除神经元内部的折点。
高维降为一维:频谱集中在直线上
对应原文引理 2.1,关键结构是 Hw,b(x)=hb(w⊤x) 只依赖一个标量。
因为 s≥1,前面的衰减保证了 hb∈L1(R)。由一维傅里叶反演,Hw,b(x)=∫Rei(vw)⊤xhb(v)dv。
所以,高维频谱是把一维频谱沿映射 v↦vw 推到 Rd 中得到的测度,支撑在直线 {vw:v∈R} 上。这里的“推前”就是保留频谱系数,把原来标记为 v 的频率放到高维频率 vw 处。
因为 w=0,这个映射是一一对应到其像上的,不会合并不同频率;全变差也可以沿同一映射计算。再利用 ∥vw∥Ω=∣v∣,高维频谱成本就化为一维加权积分。
例如,在二维中,H(x1,x2)=h(x1) 的频谱是 h(ξ1)dξ1δ0(dξ2)。第二个方向没有空间变化,因此该方向的频率集中在零点。
合并估计
将高维降维结果与一维衰减结合,得到
Js−δ(Hw,b)=∫R(1+∣v∣)s−δ∣hb(v)∣dv≤Cs(1+∣b∣)s∫R(1+∣v∣)−1−δdv=δ2Cs(1+∣b∣)s.
最后一步使用了 ∫0∞(1+v)−1−δdv=1/δ。将固定因子吸收到常数中,这就是原文引理 2.4 的单神经元估计。
随后,利用正齐次性乘回 rs,便恢复一般参数下的权重 (∥w∥Ω+∣b∣)s。
定理中的阶数损失和 1/δ 都来自这个一维积分。当 δ=0 时,相应的控制积分发生对数发散,当前计算无法提供端点估计。不过,仅凭一个上界积分发散,还不能断言所有扩展的成本都无限;端点失败需要后面的反例证明。
重新叠加神经元,完成证明
回到之前选定的 ρε。它准确表示 f,并且成本不超过 ∥f∥Bs(Ω)+ε。
为每个神经元选用上述扩展,定义 fe(x)=∫aHw,b(x)dρε。由于 fe∣Ω=f,现在可以把所有估计串起来:
∥f∥Fs−δ(Ω)≤Js−δ(fe)≤∫∣a∣Js−δ(Hw,b)dρε≤δCs∫∣a∣(∥w∥Ω+∣b∣)sdρε≤δCs(∥f∥Bs(Ω)+ε).
四行分别使用:
- 谱 Barron 范数对所有扩展取下确界。
- 傅里叶变换的线性与全变差的三角不等式。
- 单神经元估计。
- 接近最优的 Barron 表示。
由于 ε>0 任意,令其趋于零,就得到主结论。
这里不需要证明 fe 是最优扩展,也不需要证明不同 ε 对应的扩展收敛。对每个 ε 都能构造出满足估计的扩展,就足够控制下确界。
参考资料
Lei Wu. Embedding Inequalities for Barron-type Spaces. Journal of Machine Learning, 2(4): 259–270, 2023.