数据降维特征值为负需要舍去数据嘛?
发布网友
发布时间：2022-04-24 12:10
共1个回答
热心网友
时间：2023-08-18 19:35
经过这几天面试后，我发现数据降维这一块在工业界用的很多或者说必不可少，因此，这方面需要重点关注。今天，我将数据降维总结于此，包括他人成果，这里对他们的内容表示感谢。
Method
对数据降维作用有多个角度的理解。吴恩达在他的视频中说，降维是用于数据压缩，降低噪声，防止运行太慢内存太小；当降到2或3维可以可视化操作，便于数据分析；不要将降维用于防止过拟合，容易去掉和标签有关的重要特征。但是数据为何需要压缩，除了占用内存以外还有没有别的原因——“维度灾难”问题：维度越高，你的数据在每个特征维度上的分布就越稀疏，这对机器学习算法基本都是灾难性的。最后导致的可能是每个样本都有自己的特征，无法形成区别是正例还是负例的统一特征。还有另外一个情况当特征多于样本量时，一些分类算法(SVM)是失效的，这与分类算法原理有关。
数据降维方法:

线性降维方法:
主成分分析(PCA)和判别分析方法(LDA)
关于PCA的理解：
1、PCA可以理解为高维数据投影到低维，并使得投影误差最小。是一种无监督将为方法。
2、还可以理解为对坐标旋转和平移(对应着坐标变换和去中心化)，从而使得n维空间能在n-1维分析，同时去掉方差小的特征(方差小，不确定度小，信息量小)
3、PCA的推导
4、PCA与SVD的联系
(从矩阵分解角度理解PCA)
5、PCA降维的应用
6、PCA 的缺点：
（1）pca是线性降维方法，有时候数据之间的非线性关系是很重要的，这时候我们用pca会得到很差的结果。所有接下来我们引入核方法的pca。
（2）主成分分析法只在样本点服从高斯分布的时候比较有效。
（3） 存在不平衡数据的降维可以采用代价敏感PCA(CSPCA)
（4）特征根的大小决定了我们感兴趣信息的多少。即小特征根往往代表了噪声，但实际上，向小一点的特征根方向投影也有可能包括我们感兴趣的数据；
（5）特征向量的方向是互相正交（orthogonal）的，这种正交性使得PCA容易受到Outlier的影响
（6）难于解释结果。例如在建立线性回归模型（Linear Regression Model）分析因变量
