조건부 로그오즈와 변화 통계량

1. 오늘의 질문: 칸 하나만 뒤집어 본다 (Flipping a Single Cell)

5-2 §7에서 우리는 $\kappa$가 살아남지 못하는 자리를 딱 하나 찾았다.

분자와 분모에 같은 $\kappa$가 있으니 약분된다. 계산할 수 없는 것이 사라졌다. 남은 것은 통계량의 차이뿐이고, 그건 세기만 하면 되는 값이다.

답을 미리 말하면 이렇다. 한 칸만 다른 두 망의 확률비는 "나머지 560칸을 다 알고 있을 때 그 한 칸에 간선이 있을 오즈"다. 그리고 그 오즈의 로그가 계수 $\boldsymbol\theta$와 변화 통계량의 내적이 된다. 즉 ERGM 계수는 조건부 로지스틱 회귀의 계수처럼 읽으면 된다.

2. 정의 — 이웃 망과 변화 통계량 (Defining the Change Statistic)

망 $y$와 한 쌍 $(i,j)$를 고정하자. $n\times n$ 인접행렬 $A$에서 칸 $A[i,j]$(와 대칭인 $A[j,i]$)만 바꾼 두 망을 이렇게 쓴다.

$y^{+}_{ij}$와 $y^{-}_{ij}$는 561칸 중 560칸이 완전히 같다. 딱 한 칸만 다르다. 그리고 실제 자료 $y$는 이 둘 중 하나다 — $A[i,j]=1$이면 $y=y^{+}_{ij}$, 아니면 $y=y^{-}_{ij}$.

3. 손 계산 ① 조건부 로그오즈 유도 — $\kappa$가 사라지는 자리 (Deriving the Conditional Log-Odds)

나머지 560칸을 다 안다고 하자. 그러면 가능한 망은 딱 두 개다: $y^{+}_{ij}$와 $y^{-}_{ij}$. 조건부 확률의 정의(전체 확률을 그 두 경우로만 제한)에 따라

여기에 5-2의 지수족 형태를 그대로 대입한다. 분자·분모를 한 줄씩 쓰면:

확률을 $p$라 하면 $1-p=\dfrac{1}{1+\exp\{\boldsymbol\theta^\top\boldsymbol\delta_{ij}\}}$이므로 오즈는

양변에 로그를 씌우면 오늘의 식이 나온다.

4. 손 계산 ② 두 통계량의 변화 통계량 (Change Statistics of Our Two Terms)

5-2에서 쓴 두 통계량에 대해 $\boldsymbol\delta_{ij}$를 실제로 구해 보자.

4-1. 간선 수 (edges) — 언제나 1

$m(y)=\sum_{k<l}A[k,l]$이다. 이 합을 칸 $(i,j)$에 해당하는 항과 나머지로 쪼갠다.

$y^{+}$와 $y^{-}$는 나머지 560칸이 똑같으므로 $S$도 똑같다. 따라서

4-2. 삼각형 수 (triangle) — 공통 친구의 수

이번엔 $t(y)=\sum_{k<l<h}A[k,l]A[k,h]A[l,h]$다. 같은 전략 — 합을 두 덩이로 쪼갠다. 어떤 삼중항 $\{k,l,h\}$의 항이 $A[i,j]$를 인수로 갖는가?

그 삼중항의 세 인수는 세 쌍 $\{k,l\},\{k,h\},\{l,h\}$에 해당한다. 그중 하나가 $\{i,j\}$와 같으려면 삼중항이 $i$와 $j$를 둘 다 포함해야 한다. 즉 삼중항이 $\{i,j,h\}$ 꼴이어야 하고, $h$는 $i,j$가 아닌 나머지 $n-2$명 중 아무나다. 그런 삼중항은 정확히 $n-2$개다.

$A[i,j]$를 앞으로 빼냈다. 그리고 $R$도, 남은 합 $\sum_h A[i,h]A[j,h]$도 칸 $(i,j)$를 쓰지 않으므로 $y^{+}$와 $y^{-}$에서 값이 같다. 그러니

4-3. 검산에 쓸 두 항등식 (Two Identities for Checking)

변화 통계량을 제대로 구했는지 확인하는 데 쓸 수 있는 항등식 두 개가 있다.

5. 손 계산 ③ 5명 모둠 10쌍을 전부 (All Ten Pairs by Hand)

5-2 §10에서 쓴 5명 모둠을 그대로 가져온다. 간선은 네 개: 1–2 1–3 2–3 3–4, 5번은 혼자다.

쌍 하나마다 $\delta^{\triangle}_{ij}=\sum_{h\neq i,j}A[i,h]A[j,h]$의 세 항을 전부 쓴다 (0이 되는 항도 생략하지 않는다).

색은 이렇게 읽는다 — 초록: 간선도 있고 공통 친구도 있음, 노랑: 공통 친구가 있는데 간선은 없음(닫힐 뻔한 삼각형), 빨강: 공통 친구 없음.

5-1. 두 항등식으로 검산 (Checking with Two Identities)

5-2. 정리하면 표 하나로 접힌다 (It All Folds into One Table)

결정적인 관찰: 이 모둠에서 $\delta^{\triangle}$는 0 아니면 1밖에 없다. 그리고 $\delta^{\text{edge}}$는 언제나 1이다. 그러니 10개 쌍은 두 무리로만 나뉜다.

공통 친구가 없는 5쌍 중에는 1쌍만 친하고($1/5$), 공통 친구가 있는 5쌍 중에는 3쌍이 친하다($3/5$). 맨눈으로도 "공통 친구가 있으면 친할 확률이 높다"가 보인다. 이 표가 §7에서 MPLE의 전부가 된다.

6. 의사가능도 — $\kappa$ 없이 추정하는 첫 방법 (The Pseudolikelihood)

§3의 식은 쌍 하나에 대한 확률이다. 561쌍 전부에 대해 그 확률을 곱해 보면 어떻게 될까?

오른쪽 식을 자세히 보면 정확히 로지스틱 회귀의 로그가능도다. 관측치 $N=561$개, 반응변수 $a_{ij}\in\{0,1\}$, 설명변수 $\boldsymbol\delta_{ij}$, 계수 $\boldsymbol\theta$. 그래서 R에서 glm(y ~ delta, family = binomial) 한 줄로 끝난다. $\kappa$는 어디에도 안 나온다 — 이것이 목적이었다.

7. 손 계산 ④ 5명 모둠의 MPLE를 끝까지 손으로 (MPLE by Hand)

§5-2의 $2\times2$ 표만 있으면 MPLE를 닫힌 식으로 구할 수 있다. 미분해서 0으로 놓자. 쌍 $k=1,\dots,10$, $\eta_k=\theta_1+\theta_2\delta_k$, $p_k=\dfrac{e^{\eta_k}}{1+e^{\eta_k}}$.

연쇄법칙으로 $\partial\eta_k/\partial\theta_1=1$, $\partial\eta_k/\partial\theta_2=\delta_k$이므로 점수방정식 두 개는

여기서 $\delta_k\in\{0,1\}$라는 사실이 결정적이다. (ii)의 합에서 $\delta_k=0$인 항은 통째로 0이 되어 $\delta_k=1$인 5개 쌍만 남는다. 그 5쌍은 $\eta$가 모두 $\theta_1+\theta_2$로 같으니 $p_k$도 모두 같다 — 그 값을 $p_1$이라 쓰자.

이제 $\theta$로 되돌린다. $\operatorname{logit}(p)=\log\dfrac{p}{1-p}$이므로

8. MPLE는 MLE가 아니다 (MPLE Is Not the MLE)

5-2 §10에서 우리는 같은 자료에 대해 그래프 1024개를 전부 열거해 정확한 MLE를 구해 두었다. 나란히 놓아 보자.

삼각형 계수가 2.7배나 부풀었다. 이건 반올림 오차나 수렴 실패가 아니라 구조적인 차이다. 두 방법이 서로 다른 함수를 최대화하고 있기 때문이다.

9. 언제 둘이 정확히 같아지는가 — 간선만 모형 (When They Coincide Exactly)

그렇다면 MPLE는 언제나 틀리는가? 아니다. 정확히 일치하는 경우가 있고, 그 조건이 중요하다.

통계량이 간선 수 하나뿐인 5-1의 모형을 생각하자. §4-1에서 $\delta^{\text{edge}}_{ij}=1$임을 봤으니 모든 쌍에서 $\eta_{ij}=\theta_1$로 똑같다. 그러면

그런데 5-1에서 구한 진짜 로그가능도가 바로 $\log L(\theta_1)=\theta_1 m-\log\kappa(\theta_1)=\theta_1 m-N\log(1+e^{\theta_1})$였다. 두 함수가 글자 하나까지 같다. 그러니 최대점도 같다.

가라테로 확인하면: $m=78$, $N=561$이므로

이고 ergm(nk ~ edges)는 estimate="MPLE"로 부르든 기본값(MLE)으로 부르든 소수점 8자리까지 같은 값을 낸다.

10. R 검증 ① 5명 모둠 (R Verification 1)

A5 <- matrix(0, 5, 5)
for (r in list(c(1,2), c(1,3), c(2,3), c(3,4))) { A5[r[1],r[2]] <- 1; A5[r[2],r[1]] <- 1 }
prs <- t(combn(5, 2))
tabm <- data.frame(i = prs[,1], j = prs[,2], y = A5[prs], d_edge = 1,
                   d_tri = apply(prs, 1, function(v) sum(A5[v[1], ] * A5[v[2], ])))
table(d_tri = tabm$d_tri, y = tabm$y)
#      y
# d_tri 0 1
#     0 4 1     <- §5-2 표와 일치
#     1 2 3

coef(glm(y ~ d_tri, data = tabm, family = binomial))
# (Intercept)       d_tri
#  -1.3862944   1.7917595   <- log(1/4), log(6). §7 손 계산과 소수점 7자리까지 일치

library(ergm); library(network)
summary(ergm(network(A5, directed = FALSE) ~ edges + triangle, estimate = "MPLE"))$coefficients
#            Estimate Std. Error  z value
# edges     -1.3862944  1.1180340 -1.24000
# triangle   1.7917595  1.4433756  1.24136   <- glm 과 완전히 같다

ergm(..., estimate="MPLE")이 하는 일은 정확히 이 glm이다 — 쌍마다 변화 통계량을 계산해 설계행렬을 만들고 로지스틱 회귀를 돌린다. 표준오차 1.118·1.443은 §8의 경고대로 믿을 값이 아니다($|z|\approx1.24$, 이 자료로는 어차피 유의하지 않다).

11. 손 계산 ⑤ 가라테에서 $\delta$를 직접 세기 (Counting $\delta$ by Hand on Karate)

이제 실제 자료다. $\delta^{\triangle}_{ij}$를 세는 데 필요한 것은 이웃 목록 두 개의 교집합뿐이다. 세 쌍을 손으로 세어 보자.

11-1. 쌍 (1,2) — Mr. Hi와 그의 오른팔 (Mr. Hi and His Right Hand)

$A[1,2]=1$ — 실제로 친하다. 공통 친구 7명, 즉 이 한 간선이 삼각형 7개를 떠받치고 있다.

11-2. 쌍 (33,34) — 두 허브 (The Two Hubs)

561쌍 중 최댓값이다. 두 허브가 부하 10명을 공유한다 — 관장(34)과 부관(33)이 같은 파벌을 함께 이끄는 구조가 숫자 하나로 나온다. $A[33,34]=1$, 당연히 친하다.

11-3. 쌍 (3,34) — 오늘의 예외 (Today's Exception)

11-4. 쌍 (1,12) — 반대쪽 극단 (The Opposite Extreme)

12번은 차수 1이고 유일한 친구가 1번이다. $N(12)=\{1\}$이므로 $N(1)$과의 교집합은 공집합($h\neq i,j$ 제한이 있으니 1번 자신은 세지 않는다) → $\delta^{\triangle}_{1,12}=0$. 그런데 $A[1,12]=1$이다. 공통 친구가 하나도 없는 간선도 561쌍 중 11개나 있다(§12).

12. R 검증 ② 가라테 561쌍 전부 (R Verification 2)

kel <- as.matrix(read.table(sna_path("karate_net.txt")))
gk  <- add_edges(simplify(graph_from_edgelist(kel, directed = FALSE)), c(9, 31))
Ak  <- as.matrix(as_adjacency_matrix(gk))
pk  <- t(combn(34, 2))
dd  <- apply(pk, 1, function(v) sum(Ak[v[1], ] * Ak[v[2], ]))   # 변화 통계량
yy  <- Ak[pk]

table(delta = dd, y = yy)
#      y
# delta   0   1
#    0  218  11
#    1  158  35
#    2   91  14
#    3   13  11
#    4    2   3
#    5    0   2
#    6    1   0     <- (3,34) 하나. §11-3
#    7    0   1     <- (1,2)
#    10   0   1     <- (33,34)

## §4-3 두 항등식으로 검산
sum(dd * yy)                       # 135  = 3 x 45 (삼각형 45개) ✓
sum(dd)                            # 528
sum(choose(igraph::degree(gk), 2)) # 528  ✓ 2-경로 수와 일치

fit <- glm(yy ~ dd, family = binomial); summary(fit)$coefficients
#               Estimate Std. Error   z value
# (Intercept) -2.6352326  0.2040288 -12.91598
# dd           0.6876855  0.1170513   5.87508

교차표를 위에서 아래로 훑으면 내려갈수록 오른쪽 칸의 비중이 커진다 — 공통 친구가 많을수록 친할 확률이 높다. 561쌍 중 간선이 78개뿐이라 전체적으로는 0 열이 압도적이지만, $\delta\ge4$에서는 뒤집힌다.

13. 계수 읽기 — 공통 친구 한 명이 오즈를 2배로 (Reading the Coefficients)

가라테 MPLE는 $\hat\theta_1=-2.6352$, $\hat\theta_2=+0.6877$이다. §3의 식에 넣으면 이렇게 읽는다.

확률로 옮기면($p=1/(1+e^{-\eta})$):

확률이 $0.5$를 넘는 지점은 $\delta^{*}=2.6352/0.6877=3.832$ — 공통 친구가 4명이면 친한 쪽이 더 그럴듯해진다. 오즈는 매번 정확히 1.989배씩 곱해지는데 확률은 그렇지 않다는 점에 주의: 0.0669 → 0.1248은 거의 두 배지만 0.8162 → 0.8983은 1.1배다. 로그오즈에서만 효과가 일정하다 — 계수를 오즈로 읽어야 하는 이유다.

14. 교실 적용 (Classroom Application)

15. 연습문제 (Exercises)

16. 해설과 답 (Solutions)

문제 1 해설 (Solution to Problem 1)

(a) 먼저 이웃 목록을 적는다. 이것만 있으면 교집합으로 전부 센다.

21개 쌍 전부. $\delta^{\triangle}_{ij}=|N(i)\cap N(j)|$이다.

(b) 검산.

(c) MPLE. $\delta\in\{0,1\}$이므로 §7과 똑같이 $2\times2$ 표로 접힌다.

§7과 같은 순서로 푼다.

(d) 다리 간선의 $\delta$.

문제 2 해설 (Solution to Problem 2)

(a) 유도. §6의 정의에서 출발한다.