一组数据的ROC分析后,如何计算p值?使用相同的统计数据,我看到 p 值可以在 SPSS 中输出。 示例代码如下:
library(pROC)
data(aSAH)
head(aSAH)
# gos6 outcome gender age wfns s100b ndka
# 29 5 Good Female 42 1 0.13 3.01
# 30 5 Good Female 37 1 0.14 8.54
# 31 5 Good Female 42 1 0.10 8.09
# 32 5 Good Female 27 1 0.04 10.42
# 33 1 Poor Female 42 3 0.13 17.40
# 34 1 Poor Male 48 2 0.10 12.75
(rr <- roc(aSAH$outcome, aSAH$s100b, plot=T))
# Setting levels: control = Good, case = Poor
# Setting direction: controls < cases
#
# Call:
# roc.default(response = aSAH$outcome, predictor = aSAH$s100b, plot = F)
#
# Data: aSAH$s100b in 72 controls (aSAH$outcome Good) < 41 cases (aSAH$outcome Poor).
# Area under the curve: 0.7314
编辑:
SPSS计算的p值为0.000007,但verification::roc.area()
计算的p值为0.000022546,roc.area()
和SPSS的计算方法不一致吗?
levels(aSAH$outcome) <- c(0, 1)
library(verification)
ra <- roc.area(as.numeric(as.vector(aSAH$outcome)), rr$predictor)
ra$p.value
# [1] 0.00002254601
没有获取 p 值的选项pROC::roc
,您可以设置选项ci=TRUE
来获取置信区间。pROC::roc
会产生一个不可见的输出,您可以通过将其分配给对象来获取该输出。
library(pROC)
data(aSAH)
rr <- pROC::roc(aSAH$outcome, aSAH$s100b, ci=TRUE)
使用str(rr)
揭示了如何访问ci
:
rr$ci
# 95% CI: 0.6301-0.8326 (DeLong)
所以你已经有一个置信区间。
此外,您还可以使用pROC::var
*获取方差,从中您可以手动计算标准误差。
(v <- var(rr))
# [1] 0.002668682
b <- rr$auc - .5
se <- sqrt(v)
(se <- sqrt(v))
# [1] 0.05165929
* 请注意,还有一个引导选项pROC::var(rr, method="bootstrap")
。
这与斯塔塔计算的相同,
# . roctab outcome_num s100b, summary
#
# ROC -Asymptotic Normal--
# Obs Area Std. Err. [95% Conf. Interval]
# ------------------------------------------------------------
# 113 0.7314 0.0517 0.63012 0.83262
# .
# . display r(se)
# .05165929
其中,Stata Base Reference 手册 14 -roctab
(第 2329 页(指出:
默认情况下,
roctab
计算以下区域的标准误差 使用德龙、德龙和 克拉克-皮尔森(1988(和渐近正态置信区间。
一旦我们有了标准误差,我们还可以根据z分布 (Ref.( 计算一个p值。
z <- (b / se)
2 * pt(-abs(z), df=Inf) ## two-sided test
# [1] 0.000007508474
此p值接近您的 SPSS 值,因此很可能是使用类似于 Stata 的算法计算的(比较:IBM SPSS Statistics 24 Algorithms,第 888:889 页(。
但是,ROC 分析的p值的计算可能会引起争议。 例如,您在编辑中显示的方法(另请参阅下面的第一个链接(基于曼-惠特尼 U 统计量。
在决定哪种方法最适合您的分析之前,您可能需要更深入地研究该主题。我在这里为您提供一些阅读建议:
- AUC/ROC 曲线是否返回 p 值?(交叉验证(
- 我应该使用ROC曲线下面积的哪个标准误差公式?(交叉验证(
- 交叉验证和自举之间的差异,以估计给定 ROC 曲线的 AUC 标准误差(交叉验证(
- ROC定量数据分析中估计曲线下面积标准误差的三种方法的比较(Hajian-Tilaki和Hanley 2002( 自
- 举重复测量设计接收操作特征曲线下区域的统计显著性检验(Liu等人,2005(