![机器学习:从公理到算法](https://wfqqreader-1252317822.image.myqcloud.com/cover/786/920786/b_920786.jpg)
上QQ阅读APP看书,第一时间看更新
5.2 非负矩阵分解
在许多应用之中,样本的描述特征是非负值,如图像的颜色值特征、文本的词频特征等。但是这些特征同样数目巨大,需要数据降维。为了保持样本特性,降维后的特征也需要保持非负特性。这时候用到的学习算法常常是非负矩阵分解。
在非负矩阵分解(non negative matrix factorization,NMF)中,输入类表示为原点为0的原输入p维坐标第一象限的d(d<p)斜角坐标系。对第一象限的限制体现了“非负”的特点。斜角坐标系强调了NMF并不要求学到的低维空间的基向量正交。在NMF中输入类表示与输出类表示相同,即,当输入数据为X=[xrk]p×N,输出数据为Y=[hrk]d×N=H时,NMF限定xrk,hrk,wrk均大于等于0。
与之前针对PCA分析类似,可以定义类相异性映射为。由于类唯一表示公理成立,类紧致性准则要求我们在寻找最佳的类表示时,应最小化如下的目标函数
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00074.jpg?sign=1739317456-O14wx0SjImWClc9auiH43tI8YaUKJch1-0-0866a00b5c15c9065a8a5f8086d61ae0)
由此我们引出了NMF的目标函数
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00075.jpg?sign=1739317456-ZmWbWDDV4mWDIier4YqcKwEEXLQnQdG8-0-317e6b6a3f65aa45ea6fbd07563c1706)
对于问题(5.7)仍然采用拉格朗日乘子法求解,给定拉格朗日方程
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00076.jpg?sign=1739317456-iqKFYluvUYs5FBWouWHGpDcKtAIvLJVS-0-ac410f939c000171ec609a2d1a92ded8)
其中A,B为乘子项,〈·,·〉为内积操作。针对H求偏导得
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00077.jpg?sign=1739317456-eqxOPorB0OwWMepMSYYUQBwfoz1LdfE1-0-4d433d81eab6b44ec3b0f581ac648240)
根据KKT条件,且BijHij=0,可得
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00071.jpg?sign=1739317456-ZRRBqSB2uvbIJMqE5Ezj5t1hf6I1yQTn-0-da1ed6fd46ef0f3496d95b3ff9d2211c)
由此可得关于H的更新公式为
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00072.jpg?sign=1739317456-S8bIatyalzhDQ5YRYxweeqpfZejfXaLP-0-15afded7a9c7bba51ca8a339f898a52e)
同理,可以得到关于W的更新公式为
![](https://epubservercos.yuewen.com/589E71/10150113804150701/epubprivate/OEBPS/Images/image-00073.jpg?sign=1739317456-IuaymInJ84GQ7PNNYCGEDSjxsu55zVR6-0-8e473cee58200771e9e35bacc1205884)
在文献中给出按照此迭代形式下非负分解的收敛性证明。