本篇笔记来自鄂维南的论文 ON THE BANACH SPACES ASSOCIATED WITH MULTI-LAYER RELU NETWORKS FUNCTION REPRESENTATION,APPROXIMATION THEORY AND GRADIENT DESCENT DYNAMICS ,该论文给出复合ReLU神经网络的函数空间刻画,Rademacher复杂度估计,以及优化梯度流动力学描述。
Rademacher复杂度
Rademacher 复杂度衡量的是泛化间隙。设f是损失函数,则期望损失/期望风险为Ez∼Df(z),期望风险不能直接衡量,可以衡量期望风险和经验风险的差值,∣Ez∼Df(z)−n1∑i=1nf(zi)∣,称为泛化间隙,如果可以估计这个差值,再加上经验风险已知,就可以估计期望风险
Rademacher 复杂度与如上泛化间隙的关系是
ES[f∈Fsup(Ef−E^Sf)] ≤ 2Rn(F).
Introduction
研究问题:传统的逼近理论,例如分段多项式/Fourier基逼近Holder/Sobolev函数空间中的函数在机器学习的语境下不合适,需要研究与神经网络相符合的新的函数空间理论。这篇文章中作者研究了多层ReLU神经网络的函数空间。
研究方法:对于这样的多层嵌套问题,使用了神经树的刻画方法。
研究结论:
1.建立了多层神经网络与Banach函数空间的联系,并证明了这个函数空间中单位球的Rademacher复杂度较低
2.使用神经树的方法研究了多层神经网络函数空间的直接定理和反定理
3.使用神经树的方法研究了每一层无限宽网络的函数子空间的梯度流动态学
一般的barron函数空间
Holder光滑性
设 f 是定义在某个区间(或度量空间)上的函数。如果存在常数 C≥0 和指数$ α > 0$,使得对任意两点 x,y,都有
∣f(x)−f(y)∣≤C⋅∣x−y∣α
就称 f 是 α 阶 Hölder 连续的,C 叫 Hölder 常数。
Holder光滑性的包含关系
α>1 时,满足条件 $|f(x)−f(y)| ≤ C|x−y|^α $的函数在连通区域上只能是常数。所以 Hölder 指数通常只讨论 0<α≤1,α=1 就是 Lipschitz 的顶端。
若α>1,则对任意的x,y有 $\frac{|f(x)−f(y)|}{|x−y|} ≤ C|x−y|^{α-1} ,右侧在y趋于x的时候趋于0,因此f$必然是常数。
对于0<α≤1,Holder光滑性有如下包含关系
若0<β<α≤1且区域有界,则有C0,α⊊C0,β,因为区域有界,所以∣f(x)−f(y)∣≤C∣x−y∣α可以退出∣f(x)−f(y)∣≤C∣x−y∣β∣x−y∣α−β≤C′∣x−y∣β
引理2.2
设un:K→R是一列有界函数,∣∣un∣∣C0,1(K)≤1,则
1.存在u∈C0,1(K)以及子序列unk使得unk在C0,α(K)(α<1)中强收敛至u
2.这种收敛满足下半连续性:$$|u|{C^{0,1}}\le \liminf_k |u{n_k}|_{C^{0,1}}$$
第一点说明了$ C^{0,1}(K)中有界集在C^{0,\alpha}(K)(\alpha<1)$中是相对紧集,因为
A相对紧⟺Aˉ紧⟺Aˉ列紧⟺Aˉ中任意序列都有收敛子列⟺A中任意序列都有收敛子列
论文设置
设K⊂Rd是紧集,X是一个Banach空间满足:
(1)X连续嵌入C0,1(K)
(2)X中的闭球BX在C0(K)拓扑下是闭的
应用引理2.2,性质1+引理2.2的第一点说明BX在C0(K)是相对紧的,性质2说明极限还在X中,引理2.2第二点说明范数是下半连续的。特别的BX是一个Polish 空间
Polish空间
一个拓扑空间称为 Polish 空间,如果它同时满足两条:
可分离(separable)——存在可数稠密子集;
可完全度量化(completely metrizable)——它的拓扑能由某个完备度量诱导出来。