类内相关系数R，如何处理NAs，评分者和被试之间没有太多重叠

我一直试图在k x m矩阵中执行评分者之间的协议的icc(类内相关系数)测试。其中k为行(研究对象)，m为评分者。这是一个70 x 70的矩阵，但它来自随机评分者，每个受试者只被评估了约6次(范围2-13)。

由于群体较大，研究对象和评分者没有太多重叠。

这意味着我的矩阵充满了NAs:

Subject___Rater1___Rater2___Rater3___Rater4___…… Rater70

Subject1告诉3 1 ________na_____na ____ ...

Subject2_____NA ____5 _______NA______2 _____ ...

Subject3_____6 _____NA_______3 _______5 _____ ...

, Subject70

我试过心理图书馆发现两个主要问题:

首先，不能使用na。Rm(或类似的)函数。所以，我不知道如何处理NAs
第二，我还不能定义测试的类型(ICC1, ICC2或ICC3)。即使手册和R中的帮助根据Shrout和Fleiss声明ICC类型，我也找不到一个例子或函数来确定使用的类型。

这几行不行:

Data_O<-na.omit (iccOTE)icc1<刑事法庭(Data_O>

--------- 所以:我切换到DescTools库。这在使用na时很有帮助。rm函数。我尝试了以下代码:

ICC(Data_O, type = c("ICC1k")， conf.level = 0.95, na。rm = TRUE)

我得到了以下错误:stack.data.frame(data.frame(ratings))错误:未选择向量列

我试图寻找错误的含义，但找不到它。此外，我对库如何使用k感到有点困惑。我在哪里可以找到信息来理解k在这个例子中是作为(n-1)使用的，其中k是按case (row) [k=6]计算的，还是通常根据完整矩阵[k=70]计算的?在后一种情况下，它将完全不准确。

谢谢! !

在r中计算icc有两种方法，第一种是irr包中的icc函数，第二种是psych包中的ICC函数。

关于试验类型的定义:

如果你使用ICC函数，你不需要指定任何东西。R会计算所有的形式，你只需要选择正确的形式。输出将是这样的形式:

Intraclass correlation coefficients 
                         type  ICC   F df1 df2     p lower bound upper bound
Single_raters_absolute   ICC1 0.26 2.4   4  15 0.096       -0.10        0.83
Single_random_raters     ICC2 0.11 1.5   4  12 0.277       -0.22        0.77
Single_fixed_raters      ICC3 0.10 1.5   4  12 0.277       -0.19        0.75
Average_raters_absolute ICC1k 0.58 2.4   4  15 0.096       -0.58        0.95
Average_random_raters   ICC2k 0.34 1.5   4  12 0.277       -2.50        0.93
Average_fixed_raters    ICC3k 0.31 1.5   4  12 0.277       -1.84        0.92
 Number of subjects = 5     Number of Judges =  4

如果使用icc函数，通过正确设置参数型号、类型和单位，就可以得到正确的类型。如果您不确定如何操作，我建议您阅读这篇文章:

Koo, t.k.， &李明英(2016)。选择和的指导原则报告类内相关系数的可靠性研究。捏脊医学杂志，15(2)，155-163。http://doi.org/10.1016/j.jcm.2016.02.012

关于NAs:

icc也没有让我使用高百分比的NAs。

我设法使用ICC与高百分比的缺失值。但是，默认情况下，ICC会删除所有不完整的案例。在你的情况下，它可能会删除所有数据并给你一个错误。您可以设置missing = F包含所有大小写。

然而，我不确定icc是否是具有许多NAs的数据的好选择。我听说克里本多夫的阿尔法更适合NAs。(参见:Hallgren, K. A.(2012)。计算观测数据间的可靠性:概述和教程。心理学定量方法导论，8(1)，23-34。http://doi.org/10.20982/tqmp.08.1.p023或Hayes, a.f， &Krippendorff, K.(2017)。对编码数据标准可靠性度量的响应，2458(11)。http://doi.org/10.1080/19312450709336664或http://digital-activism.org/2013/05/picking-the-best-intercoder-reliability-statistic-for-your-digital-activism-content-analysis/)你可以在irr包中找到Krippendorff的alpha。函数名为kripp.alpha

相关内容

最新更新

热门标签：