如何分析ROC曲线结果
发布网友
发布时间：2022-04-24 17:05
共4个回答
热心网友
时间：2022-04-18 10:05
1、ROC的分析步骤：
①ROC曲线绘制。依据专业知识，对疾病组和参照组测定结果进行分析，确定测定值的上下限、组距以及截断点（cut-off point），按选择的组距间隔列出累积频数分布表，分别计算出所有截断点的敏感性、特异性和假阳性率（1-特异性）。以敏感性为纵坐标代表真阳性率，（1-特异性）为横坐标代表假阳性率，作图绘成ROC曲线。
②ROC曲线评价统计量计算。ROC曲线下的面积值在1.0和0.5之间。在AUC>0.5的情况下，AUC越接近于1，说明诊断效果越好。AUC在 0.5～0.7时有较低准确性，AUC在0.7～0.9时有一定准确性，AUC在0.9以上时有较高准确性。AUC=0.5时，说明诊断方法完全不起作用，无诊断价值。AUC<0.5不符合真实情况，在实际中极少出现。
③两种诊断方法的统计学比较。两种诊断方法的比较时，根据不同的试验设计可采用以下两种方法：①当两种诊断方法分别在不同受试者身上进行时，采用成组比较法。②如果两种诊断方法在同一受试者身上进行时，采用配对比较法。
2、受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚报概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。
热心网友
时间：2022-04-18 11:23
受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚报概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。ROC曲线是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制的曲线。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。ROC曲线的评价方法与传统的评价方法不同，无须此*，而是根据实际情况，允许有中间状态，可以把试验结果划分为多个有序分类，如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。因此，ROC曲线评价方法适用的范围更为广泛。[1] 中文名 受试者工作特征曲线外文名 receiver operating characteristic curve又 称 感受性曲线定 义 根据一系列不同的二分类方式作 用 查出任意界限值分析步骤 ROC曲线绘制，评价统计量计算目录
1.主要作用编辑1.ROC曲线能很容易地查出任意界限值时的对疾病的识别能力。2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。3.两种或两种以上不同诊断试验对疾病识别能力的比较。在对同一种疾病的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。亦可通过分别计算各个试验的ROC曲线下的面积(AUC)进行比较，哪一种试验的 AUC最大，则哪一种试验的诊断价值最佳。[1] 2分析步骤编辑1.ROC曲线绘制。依据专业知识，对疾病组和参照组测定结果进行分析，确定测定值的上下限、组距以及截断点（cut-off point），按选择的组距间隔列出累积频数分布表，分别计算出所有截断点的敏感性、特异性和假阳性率（1-特异性）。以敏感性为纵坐标代表真阳性率，（1-特异性）为横坐标代表假阳性率，作图绘成ROC曲线。2.ROC曲线评价统计量计算。ROC曲线下的面积值在1.0和0.5之间。在AUC>0.5的情况下，AUC越接近于1，说明诊断效果越好。AUC在 0.5～0.7时有较低准确性，AUC在0.7～0.9时有一定准确性，AUC在0.9以上时有较高准确性。AUC=0.5时，说明诊断方法完全不起作用，无诊断价值。AUC<0.5不符合真实情况，在实际中极少出现。3.两种诊断方法的统计学比较。两种诊断方法的比较时，根据不同的试验设计可采用以下两种方法：①当两种诊断方法分别在不同受试者身上进行时，采用成组比较法。②如果两种诊断方法在同一受试者身上进行时，采用配对比较法。[1] 3优点编辑该方法简单、直观，通过图示可观察分析方法的临床准确性，并可用肉眼作出判断。ROC曲线将灵敏度与特异性以图示方法结合在一起，可准确反映某分析方法特异性和敏感性的关系，是试验准确性的综合代表。ROC曲线不固定分类界值，允许中间状态存在，利于使用者结合专业知识，权衡漏诊与误诊的影响，选择一更佳截断点作为诊断参考值。提供不同试验之间在共同标尺下的直观的比较，ROC曲线越凸越近左上角表明其诊断价值越大，利于不同指标间的比较。曲线下面积可评价诊断准确性。[1] 4意义编辑ROC曲线指受试者工作特征曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。5绘制编辑ROC曲线的具体绘制实例：杨治良（1983）曾做过这样一个实验：选图画页500页，分成五个组，每组100张。五组画页的先定概率分别是0.1、0.3、0.5、0.7和0.9。对于每一组画页，主试者使用一种信号的先定概率，然后按此先定概率呈现给被试者一定数量的画页，要求被试者把它们当做“信号”记住。例如，先定概率为0.1时，则当作“信号”的画页为10张；当做“噪音”的画页为90张。作为信号的画页呈现完毕之后，与此组作为噪音的画页混合，然后随机地逐张呈现给被试。这时，每呈现一张画页，即要求被试判断此画页是“信号”还是“噪音”，并要求被试把结果记录在实验纸上。根据五种先定概率得到的实验结果，就可计算击中概率和虚惊概率。最后，根据不同先定概率下的击中概率和虚惊概率，就可在图上确定各点的位置，把五点联接起来就绘成一条 ROC曲线。6例子编辑考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）,如果实例是负类被预测成正类，称之为假正类（False positive）。相应地，如果实例是负类被预测成负类，称之为真负类（True negative）,正类被预测成负类则为假负类（false negative）。列联表如下表所示，1代表正类，0代表负类。
预测
10合计实际1True Positive（TP）False Negative（FN）Actual Positive(TP+FN)
0False Positive（FP)True Negative(TN)Actual Negative(FP+TN)合计
Predicted Positive(TP+FP)Predicted Negative(FN+TN)TP+FP+FN+TN从列联表引入两个新名词。其一是真正类率(true positive rate ,TPR), 计算公式为TPR=TP/ (TP+ FN)，刻画的是分类器所识别出的 正实例占所有正实例的比例。另外一个是假正类率(false positive rate, FPR),计算公式为FPR= FP / (FP + TN)，计算的是分类器错认为正类的负实例占所有负实例的比例。还有一个真负类率（True Negative Rate，TNR），也称为specificity,计算公式为TNR=TN/ (FP+ TN) = 1 - FPR。在一个二分类模型中，对于所得到的连续结果，假设已确定一个阀值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。如果减小阀值，减到0.5，固然能识别出更多的正类，也就是提高了识别出的正例占所有正例的比例，即TPR，但同时也将更多的负实例当作了正实例，即提高了FPR。为了形象化这一变化，在此引入ROC。Receiver Operating Characteristic,翻译为"接受者操作特性曲线"，够拗口的。曲线由两个变量1-specificity 和 Sensitivity绘制. 1-specificity=FPR，即假正类率。Sensitivity即是真正类率，TPR(True positive rate),反映了正类覆盖程度。这个组合以1-specificity对sensitivity,即是以代价(costs)对收益(benefits)。下表是一个逻辑回归得到的结果。将得到的实数值按大到小划分成10个个数 相同的部分。Percentile实例数正例数1-特异度(%)敏感度(%)10618048792.7334.20618028049.8054.55306180216518.2269.92406180150628.0180.6250618098738.9087.6260618052950.7491.3870618036562.9393.9780618029475.2696.0690618029787.5998.171006177258100.00100.008ROC分析编辑SPSS 9.0以上版本可进行ROC分析，操作步骤如下：1.定义列变量，并输入数据（1）诊断分类值或检测结果（test）：多个诊断试验则定义test1，test2，...（2）金标准类别（group）：1=病例组，0=对照组（3）分类频数（freq），需要进一步执行第二步2.说明频数变量 路径：Data\Weight Case..., 选项：Weight case by， 填表：Freqency Variable （freq）3.ROC分析：路径：Grahps\Roc Curve... 填表：Test Variable（test）， State Variable （group）， Value of state variable，选项包括：(display) ROC Curve，with diagonal reference line （机会线）， standard error and confidence interval （面积的标准误，及其可信区间）， Coordinate points of the ROC curve （ROC曲线的坐标点）， options：test direction （如果检测值小划归为阳性，则需要选）， cofidence level （%）：需要除95%以外的可信度，可在此定义。如果是连续型测量资料，则不需要第1步的（3）及第2步。[1] 9R中绘制编辑ROCR包中主要是两个class：prediction和performance。前者是将预测结果和真实标签组合在一起，生成一个 prediction对象，然后在用performance函数，按照给定的评价方法，生成一个performance对象，最后直接对 performance用plot函数就能绘制出相应的ROC曲线。123456# plot a ROC curve for a single prediction run# and color the curve according to cutoff.data(ROCR.simple)pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)perf <- performance(pred,"tpr","fpr")plot(perf,colorize=TRUE)上面是ROCR中的一个例子，ROCR.simple$predictions是预测结果，ROCR.simple$labels是真实的标签，从而产生一个prediction对象；然后tpr是true positive rate的意思，fpr则是false positive rate的意思，这样最后画出来的就是最常见的ROC曲线。注：转自扩展阅读2的网址
热心网友
时间：2022-04-18 12:57
可以看下SPSSAU的帮助手册，里面有对ROC曲线的详细说明：ROC曲线-SPSSAU
ROC曲线下面面积，称为AUC，该值表示预测准确性，AUC值越高说明预测准确率越高，反之越小说明预测准确率越低。AUC如果小于0.5，说明预测诊断比随机性猜测还差，实际情况中不应该出现这种情况，可能是设置的状态变量标准有误，建议查看设置。
热心网友
时间：2022-04-18 15:05
你确定你的结果里的AUC是0.233？低于0.5的模型是没有意义的，数据有问题吗？
