Vincent
(2024-01-31 15:43):
#paper doi:https://www.jstor.org/stable/30047444 Journal of the American Statistical Association, 2006, Prediction by Supervised Principal Components. 当特征维度较高时，回归分析结果往往不是很理想，这一方面是因为数据噪声较大，另一方面是特征之间的相关性较高所导致的。这篇文章提出了一个简单有效的监督学习降维的框架，即根据特征与因变量之间的回归系数进行阈值筛选，再对筛出的少量特征降维，利用得到的主成分进行回归或者广义回归分析。这篇文章的主要理论贡献是在回归和生存分析的背景下论证了该方法的渐进一致性，比较了该方法其他方法（例如岭回归，lasso回归，偏最小二乘）的异同。文章最后还提到了该方法的局限性，例如无法处理单个特征与因变量边缘独立，但是几个特征联合起来与因变量不独立的情况等。