大数据工程师必修课:PCA降维
发布网友
发布时间：2022-04-24 12:10
共1个回答
热心网友
时间：2023-09-20 12:13
【导读】作为一名合格的大数据分析师，我们有必要知道了解且学会机器学习中的PCA降维，这也是数据挖掘的一个环节，机器学习这门技术是多种技术的结合。而在这个结合体中，如何进行数据分析处理是最核心的内容。通常在机器学习中，我们指的数据分析是，从一大堆数据中，筛选出一些有意义的数据，推断出一个潜在的可能结论。得出这个不知道正确与否的结论，下面让我们一起来了解一下大数据工程师必修课之PCA降维吧!
其经过的步骤通常是：
1、预处理：把数据处理成一些有意义的特征，这一步的目的主要是为了降维。
2、建模：这部分主要是建立模型(通常是曲线的拟合)，为分类器搭建一个可能的边界。
3、分类器处理：根据模型把数据分类，并进行数据结论的预测。
本文讲的主要是数据的预处理(降维)，而这里采用的方式是PCA。
PCA的个人理论分析：
假设有一个学生信息管理系统，里面需要存储人性别的字段，我们在数据库里可以有M、F两个字段，用1、0分别代表是、否。当是男学生的时候其中M列为1，F列为0，为女生时M列为0，F列为1。我们发现，对任意一条记录，当M为1，F必然为0，反之也是如此。因此实际过程，我们把M列或F列去掉也不会丢失任何信息，因为我们可以反推出结论。这种情况下的M、F列的关联比是最高的，是100%。
再举另外一个例子，小明开了家店铺，他每天在统计其店铺的访问量V和成交量D。可以发现，往往V多的时候，D通常也多。D少的时候，V通常也很少。可以猜到V和D是有种必然的联系，但又没有绝对的联系。此时小明如果想根据V、D来衡量这一天的价值，往往可以根据一些历史数据来计算出V、D的关联比。拍脑门说一个，如果关联比大于80%，那么可以取VD其中任意一个即可衡量当天价值。这样就达到了降维的效果。
当然降维并非只能在比如说2维数据V，D中选取其中的1维V作为特征值，它有可能是在V+D的情况下，使得对V, D的关联比最大。
但是PCA思想就是如此。简单点说：假设有x1、x2、x3…xn维数据，我们想把数据降到m维，我们可以根据这n维的历史数据，算出一个与x1…xn相关m维数据，使得这个m维数据对历史数据的关联比达到最大。
以上就是小编今天给大家整理发送的关于“大数据工程师必修课：PCA降维”的相关内容，希望对大家有所帮助。想了解更多关于人工智能就业岗位分析，关注小编持续更新。
