Barron 空间的必要傅里叶正则性

本篇笔记来自Lei Wu 的论文 Embedding Inequalities for Barron-type Spaces ,该论文给出barron空间函数的一个必要条件:Barron 函数具有小于1阶的的傅里叶正则性。

主要结论:Barron 具有小于1阶的的傅里叶正则性

设 Ω⊂Rd\Omega\subset\mathbb R^d 为紧集,激活函数为 σs(t)=t+s\sigma_s(t)=t_+^s,其中 t+=max⁡{t,0}t_+=\max\{t,0\},s∈N+s\in\mathbb N^+ 是正整数。普通 ReLU 对应 s=1s=1。

论文证明:对任意 f∈Bs(Ω)f\in\mathcal B_s(\Omega) 和 δ∈(0,1)\delta\in(0,1),都有

∥f∥Fs−δ(Ω)≤Csδ∥f∥Bs(Ω).\|f\|_{\mathcal F_{s-\delta}(\Omega)} \le \frac{C_s}{\delta}\|f\|_{\mathcal B_s(\Omega)}.

具体证明

证明主线

barron空间的函数有积分形式的表示,由下确界定义可以找到一个靠近的具体形式,再对这个具体形式,由于fourier变换的线性以及全变差的三角不等式,可以转化为分析单神经元的性质,对于单神经元,为了得到和结论相符的表达式,先把w的范数利用ReLU的正齐次性置为1,然后分析F范数的性质,最终得到相符的结论

问题设置

论文使用 ∥v∥Ω=sup⁡x∈Ω∣v⊤x∣\|v\|_\Omega=\sup_{x\in\Omega}|v^\top x| 衡量向量 vv 相对于输入区域的大小。

例如,当 Ω\Omega 是欧氏单位球时,∥v∥Ω=∥v∥2\|v\|_\Omega=\|v\|_2;当 Ω=[−1,1]d\Omega=[-1,1]^d 时,∥v∥Ω=∥v∥1\|v\|_\Omega=\|v\|_1,若Ω\Omega 是q范数单位球,则对应是p范数。

函数 ff 只定义在 Ω\Omega 上,傅里叶分析则在整个 Rd\mathbb R^d 上进行。因此,要考虑满足 F∣Ω=fF|_\Omega=f 的全空间扩展 FF。

谱 Barron 范数的定义为 ∥f∥Ft(Ω)=inf⁡F∣Ω=fJt(F)\|f\|_{\mathcal F_t(\Omega)}=\inf_{F|_\Omega=f}J_t(F)。

因此,为了证明谱范数的上界,只需要找到一个成本可控的扩展。

从一般函数反推单神经元目标

已经选定 ρε\rho_\varepsilon 后,要用它构造一个全空间扩展。最自然的做法,是先扩展每个神经元,再按原来的表示叠加。

假设能为每个神经元找到 Hw,bH_{w,b},使它在 Ω\Omega 上等于 σs(w⊤x+b)\sigma_s(w^\top x+b),并满足

Js−δ(Hw,b)≤Csδ(∥w∥Ω+∣b∣)s.J_{s-\delta}(H_{w,b}) \le \frac{C_s}{\delta}(\|w\|_\Omega+|b|)^s.

这就是剩余证明需要完成的单神经元目标。它的右侧必须与 Barron 表示成本中的参数权重匹配。

正齐次性归一化方向参数

先考虑 r=∥w∥Ω>0r=\|w\|_\Omega>0。定义 w~=w/r\widetilde w=w/r、b~=b/r\widetilde b=b/r,则 ∥w~∥Ω=1\|\widetilde w\|_\Omega=1。

利用 σs(λt)=λsσs(t)\sigma_s(\lambda t)=\lambda^s\sigma_s(t),可以同时改写函数和参数成本:

σs(w⊤x+b)=rsσs(w~⊤x+b~),rs(1+∣b~∣)s=(r+∣b∣)s=(∥w∥Ω+∣b∣)s.\begin{aligned} \sigma_s(w^\top x+b) &=r^s\sigma_s(\widetilde w^\top x+\widetilde b),\\ r^s(1+|\widetilde b|)^s &=(r+|b|)^s=(\|w\|_\Omega+|b|)^s. \end{aligned}

所以,只需证明单位方向神经元的频谱成本由 (Cs/δ)(1+∣b∣)s(C_s/\delta)(1+|b|)^s 控制,再乘回 rsr^s,就能恢复一般参数下的目标估计。

如果连同外层系数一起归一化,还需要设置 a~=ars\widetilde a=ar^s。这样,神经元所表示的函数和成本都保持不变。不能只缩放 ww,却保留原来的 a,ba,b。

分析单神经元的谱范数

只沿神经元依赖的方向截断

由 ∥w∥Ω=1\|w\|_\Omega=1 可知,∣w⊤x∣≤1|w^\top x|\le1 对所有 x∈Ωx\in\Omega 成立。

固定光滑截断函数 χ∈Cc∞(R)\chi\in C_c^\infty(\mathbb R),使 0≤χ≤10\le\chi\le1,在 [−1,1][-1,1] 上等于 11,在 [−2,2][-2,2] 外等于零。定义一维函数 hb(t)=χ(t)(t+b)+sh_b(t)=\chi(t)(t+b)_+^s,再定义高维扩展 Hw,b(x)=hb(w⊤x)H_{w,b}(x)=h_b(w^\top x)。

对区域内的点,截断因子等于 11,所以 Hw,bH_{w,b} 确实保留原神经元的值。

注意,hbh_b 在一维上有紧支撑,但 Hw,bH_{w,b} 沿垂直于 ww 的方向保持不变。当 d≥2d\ge2 时,它通常不是全空间上的可积函数。这里需要使用测度或分布意义的傅里叶变换。

接下来的工作有两个部分:先控制一维函数 hbh_b 的频谱衰减,再把高维扩展的频谱成本化为一维积分。

一维衰减:出现 s+1s+1 阶

对应原文引理 2.2,需要证明

∣h^b(v)∣≤Cs(1+∣b∣)s(1+∣v∣)s+1.|\widehat h_b(v)| \le C_s\frac{(1+|b|)^s}{(1+|v|)^{s+1}}.

低频部分直接由可积性控制:∣h^b(v)∣≤(2π)−1∥hb∥L1≤Cs(1+∣b∣)s|\widehat h_b(v)|\le(2\pi)^{-1}\|h_b\|_{L^1}\le C_s(1+|b|)^s。这是因为支撑位于固定区间 [−2,2][-2,2],区间内 (t+b)+s≤(2+∣b∣)s(t+b)_+^s\le(2+|b|)^s。

高频部分使用求导和分部积分。原文按折点是否位于截断区域内分别处理;用分布导数可以统一说明它的机制。

函数 (t+b)+s(t+b)_+^s 的第 ss 阶导数是 s!1{t>−b}s!\mathbf1_{\{t>-b\}},再求一次导数就得到 s!δ−bs!\delta_{-b}。因此,乘积求导后,νb:=Ds+1hb\nu_b:=D^{s+1}h_b 可以写成 gb(t) dt+s!χ(−b)δ−bg_b(t)\,dt+s!\chi(-b)\delta_{-b}。

其中,gbg_b 由截断函数的导数与 (t+b)+s(t+b)_+^s 的不超过 ss 阶导数组成。这些项都支撑在固定区间内,每项都可以用 Cs(1+∣b∣)sC_s(1+|b|)^s 控制。因此,νb\nu_b 是有限测度,并且 ∣νb∣(R)≤Cs(1+∣b∣)s|\nu_b|(\mathbb R)\le C_s(1+|b|)^s。

傅里叶变换把求导变成频率乘法:(iv)s+1h^b(v)=ν^b(v)(iv)^{s+1}\widehat h_b(v)=\widehat\nu_b(v)。另一方面,有限测度的傅里叶变换满足 ∣ν^b(v)∣≤(2π)−1∣νb∣(R)|\widehat\nu_b(v)|\le(2\pi)^{-1}|\nu_b|(\mathbb R)。两者结合,就得到高频控制 ∣h^b(v)∣≤Cs(1+∣b∣)s∣v∣−(s+1)|\widehat h_b(v)|\le C_s(1+|b|)^s|v|^{-(s+1)}。

合并高频与低频部分,便得到所需的衰减估计。固定截断函数后,这些常数只依赖 ss。

这也解释了整数 ss 的作用:证明直接使用了整数次求导以及第 ss 阶导数的跳跃。光滑截断控制了无穷远处的增长,但不会自动消除神经元内部的折点。

高维降为一维:频谱集中在直线上

对应原文引理 2.1,关键结构是 Hw,b(x)=hb(w⊤x)H_{w,b}(x)=h_b(w^\top x) 只依赖一个标量。

因为 s≥1s\ge1,前面的衰减保证了 h^b∈L1(R)\widehat h_b\in L^1(\mathbb R)。由一维傅里叶反演,Hw,b(x)=∫Rei(vw)⊤xh^b(v) dvH_{w,b}(x)=\int_{\mathbb R}e^{i(vw)^\top x}\widehat h_b(v)\,dv。

所以,高维频谱是把一维频谱沿映射 v↦vwv\mapsto vw 推到 Rd\mathbb R^d 中得到的测度,支撑在直线 {vw:v∈R}\{vw:v\in\mathbb R\} 上。这里的“推前”就是保留频谱系数,把原来标记为 vv 的频率放到高维频率 vwvw 处。

因为 w≠0w\ne0,这个映射是一一对应到其像上的,不会合并不同频率;全变差也可以沿同一映射计算。再利用 ∥vw∥Ω=∣v∣\|vw\|_\Omega=|v|,高维频谱成本就化为一维加权积分。

例如,在二维中,H(x1,x2)=h(x1)H(x_1,x_2)=h(x_1) 的频谱是 h^(ξ1) dξ1 δ0(dξ2)\widehat h(\xi_1)\,d\xi_1\,\delta_0(d\xi_2)。第二个方向没有空间变化,因此该方向的频率集中在零点。

合并估计

将高维降维结果与一维衰减结合,得到

Js−δ(Hw,b)=∫R(1+∣v∣)s−δ∣h^b(v)∣ dv≤Cs(1+∣b∣)s∫R(1+∣v∣)−1−δ dv=2Csδ(1+∣b∣)s.\begin{aligned} J_{s-\delta}(H_{w,b}) &=\int_{\mathbb R}(1+|v|)^{s-\delta}|\widehat h_b(v)|\,dv\\ &\le C_s(1+|b|)^s\int_{\mathbb R}(1+|v|)^{-1-\delta}\,dv\\ &=\frac{2C_s}{\delta}(1+|b|)^s. \end{aligned}

最后一步使用了 ∫0∞(1+v)−1−δ dv=1/δ\int_0^\infty(1+v)^{-1-\delta}\,dv=1/\delta。将固定因子吸收到常数中,这就是原文引理 2.4 的单神经元估计。

随后,利用正齐次性乘回 rsr^s,便恢复一般参数下的权重 (∥w∥Ω+∣b∣)s(\|w\|_\Omega+|b|)^s。

定理中的阶数损失和 1/δ1/\delta 都来自这个一维积分。当 δ=0\delta=0 时,相应的控制积分发生对数发散,当前计算无法提供端点估计。不过,仅凭一个上界积分发散,还不能断言所有扩展的成本都无限;端点失败需要后面的反例证明。

重新叠加神经元,完成证明

回到之前选定的 ρε\rho_\varepsilon。它准确表示 ff,并且成本不超过 ∥f∥Bs(Ω)+ε\|f\|_{\mathcal B_s(\Omega)}+\varepsilon。

为每个神经元选用上述扩展,定义 fe(x)=∫aHw,b(x) dρεf_e(x)=\int aH_{w,b}(x)\,d\rho_\varepsilon。由于 fe∣Ω=ff_e|_\Omega=f,现在可以把所有估计串起来:

∥f∥Fs−δ(Ω)≤Js−δ(fe)≤∫∣a∣Js−δ(Hw,b) dρε≤Csδ∫∣a∣(∥w∥Ω+∣b∣)s dρε≤Csδ(∥f∥Bs(Ω)+ε).\begin{aligned} \|f\|_{\mathcal F_{s-\delta}(\Omega)} &\le J_{s-\delta}(f_e)\\ &\le\int |a|J_{s-\delta}(H_{w,b})\,d\rho_\varepsilon\\ &\le\frac{C_s}{\delta}\int |a|(\|w\|_\Omega+|b|)^s\,d\rho_\varepsilon\\ &\le\frac{C_s}{\delta}\left(\|f\|_{\mathcal B_s(\Omega)}+\varepsilon\right). \end{aligned}

四行分别使用:

  1. 谱 Barron 范数对所有扩展取下确界。
  2. 傅里叶变换的线性与全变差的三角不等式。
  3. 单神经元估计。
  4. 接近最优的 Barron 表示。

由于 ε>0\varepsilon>0 任意,令其趋于零,就得到主结论。

这里不需要证明 fef_e 是最优扩展,也不需要证明不同 ε\varepsilon 对应的扩展收敛。对每个 ε\varepsilon 都能构造出满足估计的扩展,就足够控制下确界。

参考资料

Lei Wu. Embedding Inequalities for Barron-type Spaces. Journal of Machine Learning, 2(4): 259–270, 2023.


Barron 空间的必要傅里叶正则性
https://secret3694.github.io/posts/论文阅读/barron型空间嵌入不等式/
作者
secret3694
发布于
2026年10月17日
许可协议