我的书签
添加书签
移除书签6.15 比较数据框
6.15 比较数据框
6.15.1 问题
你想要比较两个或多个数据框并找到在超过一个数据框中出现的行，或者仅在一个数据框中出现的行。
6.15.2 方案
6.15.2.1 一个例子
假设你有下面三个数据框，你想要知道那些至少在两个数据框中出现的行。
dfA <- data.frame(Subject = c(1, 1, 2, 2), Response = c("X",
"X", "X", "X"))
dfA
#> Subject Response
#> 1 1 X
#> 2 1 X
#> 3 2 X
#> 4 2 X
dfB <- data.frame(Subject = c(1, 2, 3), Response = c("X",
"Y", "X"))
dfB
#> Subject Response
#> 1 1 X
#> 2 2 Y
#> 3 3 X
dfC <- data.frame(Subject = c(1, 2, 3), Response = c("Z",
"Y", "Z"))
dfC
#> Subject Response
#> 1 1 Z
#> 2 2 Y
#> 3 3 Z
在 dfA 中，包括 (1,X) 的行同样出现在了 dfB，但是包含 (2,X) 的行没有出现在任何其他的数据框。相似地，dfB 包含的 (1,X) 出现在了 dfA，(2,Y) 出现在了 dfC，但是 (3,X) 没有出现在其他数据框。
你可能想要标记在其他数据框中出现了的行，或者在每个数据框中都是唯一的行。
6.15.2.2 连接数据框
进一步地，我们首先用一个可以识别每一行来自哪里的列来连接数据框。这里称为 Coder 变量因为它可能是由三个不同的人编码的数据。在这个例子中，你可能想要找到编码者相同之处（至少出现在两个数据框中的行），或者它们不同之处。
dfA$Coder <- "A"
dfB$Coder <- "B"
dfC$Coder <- "C"
df <- rbind(dfA, dfB, dfC) # 把它们粘在一起
df <- df[, c("Coder", "Subject", "Response")] # 重新排序
df
#> Coder Subject Response
#> 1 A 1 X
#> 2 A 1 X
#> 3 A 2 X
#> 4 A 2 X
#> 5 B 1 X
#> 6 B 2 Y
#> 7 B 3 X
#> 8 C 1 Z
#> 9 C 2 Y
#> 10 C 3 Z
如果你的数据一开始就是这种格式，那就不要将它们连接到一起啦。
6.15.2.3 dupsBetweenGroups() 函数
该函数用来寻找不同组别的重复行：
dupsBetweenGroups <- function(df, idcol) {
# df: the data frame idcol: the column which identifies
# the group each row belongs to
# Get the data columns to use for finding matches
datacols <- setdiff(names(df), idcol)
# Sort by idcol, then datacols. Save order so we can
# undo the sorting later.
sortorder <- do.call(order, df)
df <- df[sortorder, ]
# Find duplicates within each id group (first copy not
# marked)
dupWithin <- duplicated(df)
# With duplicates within each group filtered out, find
# duplicates between groups. Need to scan up and down
# with duplicated() because first copy is not marked.
dupBetween = rep(NA, nrow(df))
dupBetween[!dupWithin] <- duplicated(df[!dupWithin,
datacols])
dupBetween[!dupWithin] <- duplicated(df[!dupWithin,
datacols], fromLast = TRUE) | dupBetween[!dupWithin]
# ============= Replace NA's with previous non-NA value
# ============== This is why we sorted earlier - it was
# necessary to do this part efficiently
# Get indexes of non-NA's
goodIdx <- !is.na(dupBetween)
# These are the non-NA values from x only Add a leading
# NA for later use when we index into this vector
goodVals <- c(NA, dupBetween[goodIdx])
# Fill the indices of the output vector with the indices
# pulled from these offsets of goodVals. Add 1 to avoid
# indexing to zero.
fillIdx <- cumsum(goodIdx) + 1
# The original vector, now with gaps filled
dupBetween <- goodVals[fillIdx]
# Undo the original sort
dupBetween[sortorder] <- dupBetween
# Return the vector of which entries are duplicated
# across groups
return(dupBetween)
}
6.15.2.4 寻找重复行
使用在前文定义的函数 dupsBetweenGroups()，我们可以找出在不同组别中重复的行。
## 找出在不同组别中重复的行
dupRows <- dupsBetweenGroups(df, "Coder")
## 在数据框的旁边打印出来
cbind(df, dup = dupRows)
#> Coder Subject Response dup
#> 1 A 1 X TRUE
#> 2 A 1 X TRUE
#> 3 A 2 X FALSE
#> 4 A 2 X FALSE
#> 5 B 1 X TRUE
#> 6 B 2 Y TRUE
#> 7 B 3 X FALSE
#> 8 C 1 Z FALSE
#> 9 C 2 Y TRUE
#> 10 C 3 Z FALSE
注意这不会标记在同一组 中的重复行，比如 Coder=A 时，有两行 Subject=2 以及 Response=X，但没有标记出来。
6.15.2.5 寻找唯一行
同样可以找出在每一组中唯一出现的行。
cbind(df, unique = !dupRows)
#> Coder Subject Response unique
#> 1 A 1 X FALSE
#> 2 A 1 X FALSE
#> 3 A 2 X TRUE
#> 4 A 2 X TRUE
#> 5 B 1 X FALSE
#> 6 B 2 Y FALSE
#> 7 B 3 X TRUE
#> 8 C 1 Z TRUE
#> 9 C 2 Y FALSE
#> 10 C 3 Z TRUE
6.15.2.6 拆分数据框
如果你想要把连接的数据框拆分为三个原始的数据框：
## 保存df的结果
dfDup <- cbind(df, dup = dupRows)
dfA <- subset(dfDup, Coder == "A", select = -Coder)
dfA
#> Subject Response dup
#> 1 1 X TRUE
#> 2 1 X TRUE
#> 3 2 X FALSE
#> 4 2 X FALSE
dfB <- subset(dfDup, Coder == "B", select = -Coder)
dfB
#> Subject Response dup
#> 5 1 X TRUE
#> 6 2 Y TRUE
#> 7 3 X FALSE
dfC <- subset(dfDup, Coder == "C", select = -Coder)
dfC
#> Subject Response dup
#> 8 1 Z FALSE
#> 9 2 Y TRUE
#> 10 3 Z FALSE
6.15.2.7 忽略列
有可能需要通过移除数据框的列来忽略一个或者多个列，结果又可以把原始完整的数据框连接起来。
## 忽略 Subject 列——仅使用 Response 列
dfNoSub <- subset(df, select = -Subject)
dfNoSub
#> Coder Response
#> 1 A X
#> 2 A X
#> 3 A X
#> 4 A X
#> 5 B X
#> 6 B Y
#> 7 B X
#> 8 C Z
#> 9 C Y
#> 10 C Z
## 检查重复行
dupRows <- dupsBetweenGroups(dfNoSub, "Coder")
## 把结果连接起来
cbind(df, dup = dupRows)
#> Coder Subject Response dup
#> 1 A 1 X TRUE
#> 2 A 1 X TRUE
#> 3 A 2 X TRUE
#> 4 A 2 X TRUE
#> 5 B 1 X TRUE
#> 6 B 2 Y TRUE
#> 7 B 3 X TRUE
#> 8 C 1 Z FALSE
#> 9 C 2 Y TRUE
#> 10 C 3 Z FALSE
6.15.3 注意
想要寻找单个数据框中的重复行，参见查找并移除重复记录。
