【RS】?2 和 ?1正则的随机 PCA

【论文标题】 stochastic PCA with ?2 and ?1 Regularization   （ICML 2018）

【论文作者】—Poorya Mianjy  (Johns Hopkins University )，Raman Arora (Johns Hopkins University )

【论文链接】Paper （9-pages // Double column）

 

 

【摘要】

　　（本文）我们重新讨论了基于凸松弛的主成分分析随机优化方法。

 

　　直接求解非凸问题的方法已被证明具有最优的统计效益和计算效率。

 

　　而基于凸松弛的方法已经被证明其实验性能可以比得上前者，甚至比前者更优越。——这激励我们需要更深层次的正式的（规范地）对后者进行理解。

 

　　因此，本文研究了凸松弛PCA的 (a)?2 正则； (b) ?1正则；和(c)弹性网（?1 + ?2）正则的随机梯度下降变体，希望这些变体能够分别产生(a)更好的迭代复杂性，(b)更好地控制中间迭代的秩，和(c)两者的结合。

 

　　我们从理论和实验上表明，与以往基于凸松弛的方法相比，我们所提出的变体产生了更快的收敛速度，并改进了总体运行时间，从而在PCA目标上实现了用户指定的 次最优。

 

　　此外，我们进一步证明了所提方法在主成分分析目标和子空间距离上的收敛性。然而，与现有的非凸方法相比，我们所提出的方法在计算要求上仍然存有一定差距。