原公式在ESLII 影印版 Section 2.4(p. 18),猛地一看公式2.11到2.13的推导跳跃性太大,于是搜寻了一些资料,整理如下
1. 定义
对于损失函数来说,EPE(Expected Prediction Error)定义如下:
其中是维实数向量,是实数标量,为我们要学习的映射函数。
2. 推导(2.9)->(2.12)
此步骤从公式本身推导出最终用于计算的表达式(2.12)。
对于上述步骤的公式(1), 由于括号中的部分对于每一个都是非负的表达式,因此 最小化一系列非负数字的和,可以转换为最小化每一个加和的表达式。
因此有:
这样,公式(2.12)便得到了。
3. 推导(2.12) -> (2.13)
找到形如公式(2.12)的求解表达式后,最小化过程便变得自然起来:
因此,可以得到:
即为公式(2.13),。
参考资料:
PREVIOUSEffective Number of KNN