生存解析

同義語:survival analysis

概要

生存解析(survival analysis)とは、寿命や故障までの時間のように、観測が途中で打ち切られて一部しか分からない「出来事までの時間」の分布を推定し比べる統計の手法である。分布を生存関数とハザード(その時刻まで生き残った者がその時刻に死ぬ割合)で表すと、離散の場合は生存関数がハザードを使った積、密度をもつ場合は累積ハザードの指数で書ける。Kaplan–Meier 推定量は、各死亡時刻の死亡数をその時刻のリスク集合の大きさで割った割合を使う積で、打ち切りのあるデータの尤度を最大にし、打ち切りが寿命と独立で寿命が有限個の値をとるときは真の生存関数に近づく。累積ハザードは Nelson–Aalen 推定量で推定し、打ち切りが寿命に依存すると推定は偏る。

$$\newcommand{C}[0]{\mathbb{C}} \newcommand{div}[0]{\mathbin{÷}} \newcommand{N}[0]{\mathbb{N}} \newcommand{Q}[0]{\mathbb{Q}} \newcommand{R}[0]{\mathbb{R}} \newcommand{Z}[0]{\mathbb{Z}} $$

前提知識: 累積分布関数, 指数分布, 最尤推定, 条件付き確率

ある治療を受けた 9 人の患者を 12 か月まで追ったところ、5 人が亡くなった時刻は分かったが、残りの 4 人は調査の終了や転居で途中から追えなくなり、「その時刻までは生きていた」ことだけが分かった。追えなくなった人を除いても、その時刻を死亡の時刻とみなしても、生存率を低く見積もってしまう。
生存解析 は、このように一部しか観測されない「ある出来事までの時間」(寿命、故障までの時間、再発までの時間)の分布を推定し比べる統計の手法である。中心になる考えは、分布を ハザード(その時刻まで生き残った者がその時刻に死ぬ割合)で書き直すことである。ハザードは、その時刻に観測が続いている人だけから推定できる。この記事では、生存関数・ハザード・累積ハザードの関係を証明し、Kaplan–Meier 推定量 が打ち切りのあるデータの尤度を最大にすること(主定理)と、打ち切りが寿命と独立なら真の生存関数に近づくことを証明する。累積ハザードの Nelson–Aalen 推定量 と、指数分布を当てはめる母数の推定も計算する。

定義と使える条件

生存関数とハザード

寿命を値が正の確率変数 $T$ で表す。

生存関数・ハザード・累積ハザード

$T$ を $P(T>0)=1$ の確率変数とする。

  1. $S(t):=P(T>t)$($t\ge0$)を $T$ の 生存関数(survival function)という。分布関数を $F$ とすると $S=1-F$ であり、$S$ は単調非増加・右連続で $S(0)=1$ である。
  2. $T$ が高々可算個の値 $a_1< a_2< \cdots$ だけをとる(離散の場合)とき、$P(T\ge a)>0$ となる $a$ について
    $$ h(a):=P(T=a\mid T\ge a)=\frac{P(T=a)}{P(T\ge a)} $$
    を時刻 $a$ の ハザード(hazard)という。
  3. $T$ が密度 $f$ をもつ(連続の場合)とき、$S(t)>0$ となる $t$ について $\lambda(t):=f(t)/S(t)$ を ハザード関数、$\Lambda(t):=\int_0^t\lambda(s)\,ds$ を 累積ハザード(cumulative hazard)という。離散の場合の累積ハザードは $\Lambda(t):=\sum_{a\le t}h(a)$ と定める。

ハザード関数は「時刻 $t$ まで生き残った者が、その直後の短い時間 $\Delta t$ に死ぬ確率」がおよそ $\lambda(t)\Delta t$ であることを表す。実際、$f$ が $t$ で連続なら $P(t< T\le t+\Delta t\mid T>t)=\frac{S(t)-S(t+\Delta t)}{S(t)}=\lambda(t)\Delta t+o(\Delta t)$ である。ハザードが一定の分布は 指数分布 である(ex-sa-weibull の $k=1$ の場合)。

右打ち切り

各人の寿命 $T$ のほかに、観測が打ち切られる時刻 $C\in(0,\infty]$ があり、実際に観測できるのは
$$ Y:=\min(T,C),\qquad \delta:=\mathbf 1_{\{T\le C\}} $$
の組であるとする($\delta=1$ なら $Y$ は死亡の時刻、$\delta=0$ なら $Y$ は打ち切りの時刻で、$T>Y$ だけが分かる)。これを 右打ち切り(right censoring)という。$n$ 人のデータ $(Y_1,\delta_1),\dots,(Y_n,\delta_n)$ から $S$ を推定するのが生存解析の基本の問題である。

Kaplan–Meier 推定量と Nelson–Aalen 推定量

データ $(Y_i,\delta_i)$($i=1,\dots,n$)の死亡の時刻($\delta_i=1$ となる $Y_i$ の値)を小さい順に $t_1< t_2< \cdots< t_k$ とし、
$$ d_j:=\#\{i\mid Y_i=t_j,\ \delta_i=1\},\qquad n_j:=\#\{i\mid Y_i\ge t_j\} $$
とおく。$d_j$ は時刻 $t_j$ の死亡数、$n_j$ は時刻 $t_j$ の直前に観測が続いている人数(リスク集合 の大きさ)である。時刻 $t_j$ に打ち切られた人は $t_j$ のリスク集合に数える。このとき
$$ \hat S(t):=\prod_{j:\,t_j\le t}\Bigl(1-\frac{d_j}{n_j}\Bigr),\qquad \hat\Lambda(t):=\sum_{j:\,t_j\le t}\frac{d_j}{n_j} $$
($t< t_1$ では $\hat S(t)=1$、$\hat\Lambda(t)=0$)をそれぞれ Kaplan–Meier 推定量(積極限推定量、product-limit estimator)、Nelson–Aalen 推定量 という。

$d_j/n_j$ は「時刻 $t_j$ まで観測が続いた人のうち、そこで死んだ人の割合」で、ハザード $h(t_j)$ の推定値である。$\hat S$ はそれを prop-sa-discrete の積の公式に入れたもの、$\hat\Lambda$ は和の公式に入れたものである。
生存解析の推定を使ってよい条件は次のとおりである。

  • (i) 独立な打ち切り:$T$ と $C$ は独立である(打ち切られるかどうかが、その人の残りの寿命と無関係)。
  • (ii) 観測の範囲:推定したい時刻 $t$ について、$t$ 以下の死亡の時刻 $a$ で $P(C\ge a)>0$ である(その時刻まで観測が続く人がいる)。
  • (iii) 各人のデータ $(T_i,C_i)$ は互いに独立で同じ分布に従う。
  • (iv) $S=e^{-\Lambda}$ の公式(prop-sa-continuous)を使うときは、$T$ が密度をもつ。

公式の表

量式使える条件根拠
生存関数とハザード(離散)$S(t)=\prod_{a\le t}(1-h(a))$$T$ が高々可算個の値をとるprop-sa-discrete
生存関数と累積ハザード(連続)$S(t)=e^{-\Lambda(t)}$、$f=\lambda S$$T$ が密度をもち $S(t)>0$prop-sa-continuous
ハザード一定$\lambda(t)=\lambda$ ⇔ $S(t)=e^{-\lambda t}$(指数分布)$\lambda>0$prop-sa-continuous
Weibull 型$\lambda(t)=\frac k\theta(\frac t\theta)^{k-1}$ ⇔ $S(t)=e^{-(t/\theta)^k}$$k,\theta>0$ex-sa-weibull
Kaplan–Meier 推定量$\hat S(t)=\prod_{t_j\le t}(1-d_j/n_j)$(i)〜(iii)、$t$ は (ii) の範囲thm-sa-km-mle、thm-sa-consistency
Nelson–Aalen 推定量$\hat\Lambda(t)=\sum_{t_j\le t}d_j/n_j$、$\hat S(t)\le e^{-\hat\Lambda(t)}$同上def-sa-km、prop-sa-no-censoring
打ち切りがないとき$\hat S(t)=\frac1n\#\{i\mid Y_i>t\}$(経験生存関数)$\delta_i=1$(すべての $i$)prop-sa-no-censoring
指数分布の最尤推定$\hat\lambda=\dfrac{\sum_i\delta_i}{\sum_iY_i}$指数分布のモデル、(i)、死亡が 1 つ以上fml-sa-exp-mle

生存関数とハザードの関係

離散の場合の積の公式

$T$ が値 $a_1< a_2< \cdots$(有限個、または $a_j\to\infty$ となる無限列)だけをとり、各 $a_j$ で $P(T=a_j)>0$ とする。$t\ge0$ で $P(T>t)>0$ なら
$$ S(t)=\prod_{j:\,a_j\le t}\bigl(1-h(a_j)\bigr) $$
である。$P(T>t)=0$ のときは、右辺の積が $0$ になる因子 $1-h(a_j)=0$ を含み、等式は $0=0$ として成り立つ。

1 つずつ生き残る確率を掛ける

$P(T\ge a_j)\ge P(T=a_j)>0$ なので $h(a_j)$ は定義できる。$P(T>a_j)=P(T\ge a_j)-P(T=a_j)=P(T\ge a_j)(1-h(a_j))$ である。$T$ は $a_j$ と $a_{j+1}$ の間の値をとらないので $P(T\ge a_{j+1})=P(T>a_j)$、また $P(T\ge a_1)=1$ である。よって $j$ についての帰納法で $P(T>a_j)=\prod_{l\le j}(1-h(a_l))$ を得る。$a_j\to\infty$ なので $t$ 以下の $a_j$ は有限個である。$a_j\le t< a_{j+1}$($a_j$ が最後の値なら $a_j\le t$)とすると、$T$ は $(a_j,t]$ の値をとらないので $S(t)=P(T>a_j)$ であり、主張が従う($t< a_1$ なら両辺とも $1$)。この計算は $P(T>t)=0$ のときもそのまま成り立ち、そのとき $0=P(T>a_j)=\prod_{l\le j}(1-h(a_l))$ のどれかの因子が $0$ である。$\square$

連続の場合の指数の公式

$T$ が密度 $f$ をもち、$P(T>0)=1$ とする。$t>0$ で $S(t)>0$ なら
$$ S(t)=\exp\bigl(-\Lambda(t)\bigr)=\exp\Bigl(-\int_0^t\lambda(s)\,ds\Bigr) $$
である。逆に、$[0,\infty)$ 上の非負で局所可積分な関数 $\lambda$ で $\int_0^\infty\lambda=\infty$ となるものを与えると、$S(t):=e^{-\int_0^t\lambda}$ はハザード関数 $\lambda$ をもつ寿命の生存関数である。

対数をとって微分する

要点:$(\log S)'=S'/S=-f/S=-\lambda$ を $0$ から $t$ まで積分する。

詳しい証明を開く

$S(t)=1-\int_0^tf(s)\,ds$ は絶対連続で、ほとんどすべての $s$ で $S'(s)=-f(s)$ である。$[0,t]$ 上で $S\ge S(t)>0$ であり、$\log$ は区間 $[S(t),1]$ 上で Lipschitz 連続なので、$\log S$ も $[0,t]$ 上で絶対連続で、ほとんどすべての $s$ で $(\log S)'(s)=S'(s)/S(s)=-\lambda(s)$ である。$S(0)=1$ と微分積分学の基本定理(絶対連続関数の場合)により $\log S(t)=-\int_0^t\lambda(s)\,ds$ を得る。

逆向き:$S(t):=e^{-\int_0^t\lambda}$ は連続・非増加で $S(0)=1$、$\int_0^\infty\lambda=\infty$ から $S(t)\to0$ である。よって $t\ge0$ で $F(t):=1-S(t)$、$t< 0$ で $F(t):=0$ と置いた $F$ は非減少・右連続で極限が $0$ と $1$ の関数で、ある確率変数 $T$ の分布関数であり(分位点 の定理「分位点変換と確率積分変換」の 1)、$S$ は絶対連続で $-S'=\lambda S$ が $T$ の密度になる。その密度を $S$ で割ったものは $\lambda$ である。$\square$

この 2 つの公式から、ハザード関数の例がすぐ作れる。

Weibull 型のハザード

使う公式:prop-sa-continuous。$k,\theta>0$ について $\lambda(t)=\frac k\theta(\frac t\theta)^{k-1}$ とすると、$\Lambda(t)=(t/\theta)^k$ なので $S(t)=e^{-(t/\theta)^k}$ である。$k=1$ ならハザードは一定で、指数分布である。$k>1$ ならハザードは増加し、$k< 1$ なら減少する。
答え:$k=2$、$\theta=1$($\lambda(t)=2t$)のとき $S(t)=e^{-t^2}$、中央値は $S(t)=\frac12$ を解いて $t=\sqrt{\log2}\approx0.832555$、平均は $E[T]=\int_0^\infty S(t)\,dt=\frac{\sqrt\pi}2\approx0.886227$、$S(1)=e^{-1}\approx0.367879$。時刻 $2$ のハザードは時刻 $1$ の $2$ 倍である。

平均の計算を開く

$T\ge0$ なので $E[T]=\int_0^\infty P(T>t)\,dt$(Fubini の定理で $T=\int_0^\infty\mathbf 1_{\{T>t\}}\,dt$ の期待値をとる)。$\int_0^\infty e^{-t^2}\,dt=\frac{\sqrt\pi}2$ は Gauss 積分の半分である。

主定理:Kaplan–Meier 推定量は尤度を最大にする

打ち切りのあるデータの尤度を考える。$T$ と $C$ が独立で離散の値をとるとき、1 人のデータの確率は
$$ P(Y=y,\ \delta=1)=P(T=y)\,P(C\ge y),\qquad P(Y=y,\ \delta=0)=P(C=y)\,P(T>y) $$
である($\{Y=y,\delta=1\}=\{T=y,\ C\ge y\}$、$\{Y=y,\delta=0\}=\{C=y,\ T>y\}$ と独立性による)。$P(T=y)=S(y-0)-S(y)$、$P(T>y)=S(y)$ なので、$n$ 人のデータの確率は、$C$ の分布だけで決まる因子と、$S$ だけで決まる次の因子の積になる。$C$ の分布が $S$ と無関係なら、$S$ の推定にはこの因子だけを最大にすればよい。

打ち切りのあるデータの尤度

$(0,\infty)$ 上の確率分布の生存関数 $S$ について、データ $(Y_i,\delta_i)$ の 尤度 を
$$ L(S):=\prod_{i:\,\delta_i=1}\bigl(S(Y_i-0)-S(Y_i)\bigr)\prod_{i:\,\delta_i=0}S(Y_i) $$
と定める。死亡した人は「その時刻に死ぬ確率」、打ち切られた人は「その時刻より長く生きる確率」を寄与する。

$\hat S$ は最後のデータが打ち切りのとき $0$ まで下がらないので、そのまま生存関数とは限らない。そこで、データの最大値 $Y_{\max}:=\max_iY_i$ より先では $\hat S$ を任意に $0$ まで下げた生存関数を考える。$L(S)$ は $S$ の $[0,Y_{\max}]$ 上の値だけで決まるので、下げ方は $L$ に影響しない。

Kaplan–Meier 推定量の最尤性

記号は def-sa-km のとおりとする。$(0,\infty)$ 上のどの確率分布の生存関数 $S$ についても
$$ L(S)\le L(\hat S)=\prod_{j=1}^k\Bigl(\frac{d_j}{n_j}\Bigr)^{d_j}\Bigl(1-\frac{d_j}{n_j}\Bigr)^{n_j-d_j} $$
が成り立つ($0^0=1$ とする)。さらに $L(S)=L(\hat S)$ となる $S$ は、区間 $[0,Y_{\max}]$ の上で $\hat S$ に一致する。

ハザードで書き直し、時刻ごとに最大にする

$t_0:=0$、$t_{k+1}:=\infty$ とし、打ち切られた人のうち $Y_i\in[t_j,t_{j+1})$ となる人数を $c_j$($j=0,1,\dots,k$)とする。時刻 $t_l$ のリスク集合は、$t_l$ 以降に死んだ人と $t_l$ 以降に打ち切られた人からなるので
$$ n_l=\sum_{j\ge l}d_j+\sum_{j\ge l}c_j\qquad(l=1,\dots,k) $$
である。$S$ を任意の生存関数とし、$s_j:=S(t_j)$($s_0=S(0)=1$)とおく。
第 1 段(時刻を寄せる)。 $S$ は非増加なので、$t_j$ に死んだ人について $S(t_j-0)\le S(t_{j-1})=s_{j-1}$、したがって $S(t_j-0)-S(t_j)\le s_{j-1}-s_j$ である。$Y_i\in[t_j,t_{j+1})$ で打ち切られた人について $S(Y_i)\le s_j$ である。よって
$$ L(S)\le\prod_{j=1}^k(s_{j-1}-s_j)^{d_j}\prod_{j=0}^ks_j^{c_j}=:B(S) $$
である。
第 2 段(ハザードで書く)。 $L(S)=0$ なら主張は明らかなので、$L(S)>0$ とする。$d_j\ge1$ なので $B(S)$ の各因子は正であり、$1=s_0>s_1>\cdots>s_{k-1}>0$ かつ $s_{k-1}>s_k\ge0$ である。$h_j:=1-s_j/s_{j-1}\in(0,1]$($j=1,\dots,k$)とおくと
$$ s_j=\prod_{l\le j}(1-h_l),\qquad s_{j-1}-s_j=h_js_{j-1} $$
である。これを $B(S)$ に代入すると、$(1-h_l)$ は $s_{j-1}^{d_j}$($j>l$)と $s_j^{c_j}$($j\ge l$)に現れるので、その指数は $\sum_{j>l}d_j+\sum_{j\ge l}c_j=n_l-d_l$ である($n_l$ の式による)。よって
$$ B(S)=\prod_{l=1}^kh_l^{d_l}(1-h_l)^{n_l-d_l} $$
である。
第 3 段(時刻ごとに最大にする)。 $1\le d\le n$ のとき、$g(h):=h^d(1-h)^{n-d}$ は $[0,1]$ 上で $h=d/n$ でだけ最大になる。実際、$d=n$ なら $g(h)=h^n$ は $h=1$ でだけ最大である。$d< n$ なら $(0,1)$ 上で $\log g(h)=d\log h+(n-d)\log(1-h)$ の導関数 $\frac dh-\frac{n-d}{1-h}$ は $h< d/n$ で正、$h>d/n$ で負であり、端点では $g=0$ である。したがって $L(S)\le B(S)$ と $B(S)$ の表示から
$$ L(S)\le B(S)\le\prod_{l=1}^k\Bigl(\frac{d_l}{n_l}\Bigr)^{d_l}\Bigl(1-\frac{d_l}{n_l}\Bigr)^{n_l-d_l} $$
である。
第 4 段(等号)。 $\hat s_j:=\hat S(t_j)$ とおく。$\hat S$ は $[t_{j-1},t_j)$ の上で一定なので $\hat S(t_j-0)=\hat s_{j-1}$ であり、$[t_j,t_{j+1})\cap[0,Y_{\max}]$ の上でも一定なので、打ち切られた人について $\hat S(Y_i)=\hat s_j$ である。よって第 1 段の不等式はすべて等号になる。また $\hat s_j/\hat s_{j-1}=1-d_j/n_j$ なので第 3 段も等号である($\hat s_{j-1}=0$ となるのは $d_l=n_l$ となる $l< j$ がある場合だが、そのとき $n_l$ の式から $t_l$ より後にはデータがなく $j\le k$ と矛盾する)。よって $L(\hat S)$ は右辺に等しい。
最後に一意性を示す。各因子が正なので $L(\hat S)>0$ である。$L(S)=L(\hat S)$ なら、第 3 段の等号と $g$ の最大点の一意性から $h_j=d_j/n_j$、したがって $s_j=\hat s_j$($j=1,\dots,k$)である。第 1 段の等号から $S(t_j-0)=s_{j-1}$ なので $S$ は $[t_{j-1},t_j)$ の上で一定である。$Y_i\in[t_j,t_{j+1})$ で打ち切られた人について $S(Y_i)=s_j$ なので、$S$ は $[t_j,Y_i]$ の上でも $s_j$ に等しい。これらを合わせると $[0,Y_{\max}]$ 上で $S=\hat S$ である。$\square$

証明の第 1 段は「尤度を大きくしたければ、確率の質量を死亡の時刻に集め、死亡の時刻の間や打ち切りの時刻の前には置かない」ということで、第 2 段は分布を時刻ごとのハザードという互いに独立に動かせる母数に取り替えている。取り替えた後の尤度は、時刻 $t_j$ ごとの「$n_j$ 回の試行で $d_j$ 回の成功」という二項分布の尤度の積であり、それぞれの最尤推定値が成功の割合 $d_j/n_j$ である。

独立な打ち切りのもとでの一致性

尤度の最大点であることは、推定量が真の $S$ に近づくことを保証しない。それを保証するのが打ち切りの独立性 (i) である。ここでは寿命が有限個の値をとる場合に証明する。

Kaplan–Meier 推定量の一致性(有限個の値の場合)

$(T_i,C_i)$($i=1,2,\dots$)は互いに独立で同じ分布に従い、各 $i$ で $T_i$ と $C_i$ は独立とする。$T_i$ は有限集合 $A\subset(0,\infty)$ の値だけをとり、各 $a\in A$ で $P(T_1=a)>0$ とする。$C_i$ は $(0,\infty]$ に値をとる。$t\ge0$ を固定し、$t$ 以下のすべての $a\in A$ で $P(C_1\ge a)>0$ とする。このとき、最初の $n$ 人のデータから作った Kaplan–Meier 推定量 $\hat S_n$ について、確率 $1$ で $\hat S_n(t)\to S(t)$($n\to\infty$)である。

リスク集合の割合に大数の法則を使う

$a\in A$ について $D_n(a):=\#\{i\le n\mid Y_i=a,\ \delta_i=1\}$、$N_n(a):=\#\{i\le n\mid Y_i\ge a\}$ とおく。死亡の時刻は $T_i$ の値なので $A$ に含まれ、$D_n(a)=0$ の $a$ は $\hat S_n$ の積に現れないから、$N_n(a)>0$($a\in A$、$a\le t$)である限り
$$ \hat S_n(t)=\prod_{a\in A,\ a\le t}\Bigl(1-\frac{D_n(a)}{N_n(a)}\Bigr) $$
と書ける($D_n(a)=0$ の因子は $1$)。$\{Y_i=a,\ \delta_i=1\}=\{T_i=a,\ C_i\ge a\}$、$\{Y_i\ge a\}=\{T_i\ge a,\ C_i\ge a\}$ と、$T_i$ と $C_i$ の独立性から
$$ p_a:=P(Y_1=a,\ \delta_1=1)=P(T_1=a)P(C_1\ge a),\qquad q_a:=P(Y_1\ge a)=P(T_1\ge a)P(C_1\ge a) $$
である。指示関数の列 $\mathbf 1_{\{Y_i=a,\delta_i=1\}}$ と $\mathbf 1_{\{Y_i\ge a\}}$ はそれぞれ独立で同じ分布に従うので、強大数の法則 により、確率 $1$ で $D_n(a)/n\to p_a$、$N_n(a)/n\to q_a$ である。$a\le t$ の $a\in A$ では仮定から $q_a>0$ なので、確率 $1$ の事象の上で、$n$ が大きければ $N_n(a)>0$ であり
$$ \frac{D_n(a)}{N_n(a)}=\frac{D_n(a)/n}{N_n(a)/n}\to\frac{p_a}{q_a}=\frac{P(T_1=a)}{P(T_1\ge a)}=h(a) $$
である。$A$ は有限集合なので、これらの確率 $1$ の事象の共通部分も確率 $1$ であり、その上で $\hat S_n(t)$ の有限積の表示は $\prod_{a\le t}(1-h(a))$ に収束する。これは prop-sa-discrete により $S(t)$ である。$\square$

証明の要は、$P(C\ge a)$ が分子と分母で約分されることである。打ち切りの分布が何であっても、それが寿命と独立である限り、ハザードの比 $p_a/q_a$ には現れない。逆に、打ち切りが寿命に依存すると約分が起こらず、推定量は別の値に近づく(反例の表の 1 行目)。寿命が連続分布の場合の一致性は、この記事では扱わない。

打ち切りがない場合と Nelson–Aalen 推定量との比較
  1. すべての $i$ で $\delta_i=1$ なら、$\hat S(t)=\frac1n\#\{i\mid Y_i>t\}$(経験分布関数を $F_n$ とすると $1-F_n(t)$)である。
  2. いつも $\hat S(t)\le e^{-\hat\Lambda(t)}$ である。
積が打ち消し合う

1:打ち切りがないと、時刻 $t_j$ のリスク集合から $d_j$ 人が死ぬと次のリスク集合になるので $n_{j+1}=n_j-d_j$、また $n_1=n$ である。よって $t_m\le t< t_{m+1}$ なら
$$ \hat S(t)=\prod_{j=1}^m\frac{n_j-d_j}{n_j}=\prod_{j=1}^m\frac{n_{j+1}}{n_j}=\frac{n_{m+1}}{n_1} $$
で、$n_{m+1}=n_m-d_m$ は $t_m$ より後に死ぬ人の数、すなわち $\#\{i\mid Y_i>t\}$ である($m=k$ のときは $n_{k+1}:=n_k-d_k$ と読む)。
2:$d_j\le n_j$ なので各因子 $1-d_j/n_j$ は $0$ 以上であり、$1-x\le e^{-x}$($x\in\mathbb R$)を各因子に使って掛け合わせれば $\prod_j(1-d_j/n_j)\le\prod_je^{-d_j/n_j}=e^{-\hat\Lambda(t)}$ である。$\square$

1 により、Kaplan–Meier 推定量は経験分布関数を打ち切りのあるデータへ広げたものである。打ち切りがなければ、その一致性は Glivenko–Cantelli の定理(Kolmogorov–Smirnov検定 の定理「Glivenko–Cantelliの定理」)に帰着する。
母数のモデルを当てはめるときも、尤度 def-sa-likelihood の形は同じで、密度の場合は $S(Y_i-0)-S(Y_i)$ を密度 $f(Y_i)$ に替える。

指数分布の最尤推定

寿命が指数分布 $S(t)=e^{-\lambda t}$ に従うとし、打ち切りは寿命と独立とする。死亡数 $d:=\sum_i\delta_i$ が $1$ 以上なら、尤度 $\prod_{\delta_i=1}\lambda e^{-\lambda Y_i}\prod_{\delta_i=0}e^{-\lambda Y_i}$ を最大にする $\lambda>0$ は
$$ \hat\lambda=\frac{d}{\sum_{i=1}^nY_i} $$
である。分母は全員の観測時間の和(打ち切られた人の時間も含む)である。

対数尤度は $\ell(\lambda)=d\log\lambda-\lambda\sum_iY_i$ で、$\ell'(\lambda)=d/\lambda-\sum_iY_i$ は $\lambda< \hat\lambda$ で正、$\lambda>\hat\lambda$ で負である。$d=0$ なら $\ell$ は単調減少で最大点はない。$\square$

計算の手順

Kaplan–Meier 推定量と Nelson–Aalen 推定量は次の手順で計算する。

  1. データ $(Y_i,\delta_i)$ を $Y_i$ の小さい順に並べる。同じ時刻に死亡と打ち切りがあるときは、死亡を先に置く(打ち切られた人はその時刻のリスク集合に入る。def-sa-km)。
  2. 死亡の時刻 $t_1< \cdots< t_k$ ごとに、リスク集合の大きさ $n_j$($Y_i\ge t_j$ の人数)と死亡数 $d_j$ を数える。打ち切りの時刻では何も計算しないが、次の時刻のリスク集合から外れる。
  3. ハザードの推定値 $d_j/n_j$ を計算し、$\hat S(t_j)=\hat S(t_{j-1})(1-d_j/n_j)$、$\hat\Lambda(t_j)=\hat\Lambda(t_{j-1})+d_j/n_j$ と更新する(def-sa-km)。
  4. $\hat S$ は死亡の時刻にだけ下がる右連続の階段関数として描く。打ち切りの時刻には印を付ける。
  5. 生存期間の中央値の推定値は、$\hat S(t)\le\frac12$ となる最小の $t$ とする。$\hat S$ が $\frac12$ まで下がらなければ、中央値は推定できないと答える。
  6. 最大の観測時刻 $Y_{\max}$ より先の $\hat S$ は使わない(thm-sa-km-mle の一意性は $[0,Y_{\max}]$ の上だけ)。
    場合やること結果の形
    最後のデータが死亡最後の因子が $1-d_k/n_k=0$$\hat S$ は $0$ まで下がる
    最後のデータが打ち切り何もしない$\hat S$ は正の値で止まり、その先は推定しない
    母数のモデル(指数分布)を当てはめるfml-sa-exp-mle で $\hat\lambda$ を求め、$\hat S$ と重ねて比べる$e^{-\hat\lambda t}$

例題

9 人のデータの Kaplan–Meier 推定量

観測時間(月)が $2,\ 3^+,\ 4,\ 4,\ 6^+,\ 7,\ 9^+,\ 10,\ 12^+$($^+$ は打ち切り)の 9 人のデータ。
使う公式:def-sa-km。
答え:

$t_j$$n_j$$d_j$$\hat S(t_j)$$\hat\Lambda(t_j)$$e^{-\hat\Lambda(t_j)}$
$2$$9$$1$$8/9\approx0.888889$$0.111111$$0.894839$
$4$$7$$2$$40/63\approx0.634921$$0.396825$$0.672451$
$7$$4$$1$$10/21\approx0.476190$$0.646825$$0.523706$
$10$$2$$1$$5/21\approx0.238095$$1.146825$$0.317644$

中央値の推定値は $7$ か月である($\hat S(7)\approx0.476\le\frac12$、$\hat S(6)\approx0.635$)。どの行でも $\hat S\le e^{-\hat\Lambda}$ である(prop-sa-no-censoring の 2)。

途中の計算を開く

時刻 $2$:全員 $9$ 人が観測中で $1$ 人が死亡、$\hat S=1-\frac19=\frac89$。時刻 $3$ に $1$ 人が打ち切られ、時刻 $4$ の直前には $7$ 人が残る。時刻 $4$:$2$ 人が死亡、$\hat S=\frac89\cdot\frac57=\frac{40}{63}$。時刻 $6$ に $1$ 人が打ち切られ、時刻 $7$ の直前には $4$ 人($7,9^+,10,12^+$)。$\hat S=\frac{40}{63}\cdot\frac34=\frac{10}{21}$。時刻 $9$ に $1$ 人が打ち切られ、時刻 $10$ の直前には $2$ 人。$\hat S=\frac{10}{21}\cdot\frac12=\frac5{21}$。最後の $12^+$ は打ち切りなので、$\hat S$ は $\frac5{21}$ で止まる。尤度の最大値は $\log L(\hat S)\approx-10.963011$ である。

同じデータに指数分布を当てはめる

使う公式:fml-sa-exp-mle。
答え:死亡数 $d=5$、観測時間の和 $\sum_iY_i=57$ なので $\hat\lambda=\frac5{57}\approx0.0877193$(1 か月あたり)。平均寿命の推定値は $1/\hat\lambda=11.4$ か月、中央値の推定値は $\log2/\hat\lambda\approx7.9019$ か月、12 か月の生存率の推定値は $e^{-12\hat\lambda}\approx0.349018$ である。

途中の計算を開く

$\sum_iY_i=2+3+4+4+6+7+9+10+12=57$。打ち切られた 4 人の時間 $3+6+9+12=30$ も分母に入る。死亡した 5 人の時間だけで割ると $\frac5{27}\approx0.185$ となり、ハザードを 2 倍以上に見積もる。

図: 例題 [ex-sa-km] のデータの Kaplan–Meier 推定量(実線の階段)、Nelson–Aalen 推定量から作った exp(-Λ̂)(破線の階段)、指数分布の当てはめ exp(-5t/57)(点線)。十字は打ち切りの時刻。横線は生存率 1/2 で、Kaplan–Meier 推定量は 7 か月で下回る。 図: 例題 [ex-sa-km] のデータの Kaplan–Meier 推定量(実線の階段)、Nelson–Aalen 推定量から作った exp(-Λ̂)(破線の階段)、指数分布の当てはめ exp(-5t/57)(点線)。十字は打ち切りの時刻。横線は生存率 1/2 で、Kaplan–Meier 推定量は 7 か月で下回る。
Kaplan–Meier 推定量は分布の形を仮定しないので、母数のモデルを当てはめたときの確かめに使える。モデルが合わなければ、両者は系統的にずれる。

使える条件と反例

各行は、条件 (i)(ii)(iv) のうち 1 つだけを外し、thm-sa-consistency か prop-sa-continuous の結論が崩れることを示す。

外す条件反例成り立たなくなること
(i) 打ち切りが寿命と独立$T$ は $1,2$ を確率 $\frac12$ ずつとり、$T=2$ の人だけ確率 $\frac12$ で時刻 $\frac12$ に打ち切る($T=1$ の人は打ち切らない)$\hat S_n(1)\to\frac13$ で、真の $S(1)=\frac12$ に近づかない(一致性の結論が崩れる)
(ii) 観測の範囲$T$ は $1,2$ を確率 $\frac12$ ずつ、$C\equiv\frac32$($T$ と独立)、$t=2$$\hat S_n(2)=\hat S_n(1)\to\frac12$ だが $S(2)=0$(一致性の結論が崩れる)
(iv) 密度をもつ$T\equiv1$$\Lambda(1)=h(1)=1$ で $e^{-\Lambda(1)}=e^{-1}\approx0.367879$ だが $S(1)=0$($S=e^{-\Lambda}$ が崩れる)
反例の確かめを開く

1 行目:$P(C\ge1)=P(C\ge2)=1-\frac14=\frac34>0$ なので (ii) は満たす。$p_1=P(Y=1,\delta=1)=\frac12$、$q_1=P(Y\ge1)=\frac12+\frac14=\frac34$ なので $D_n(1)/N_n(1)\to\frac23$、$\hat S_n(1)\to\frac13$ である。prf-sa-consistency の約分が起こらないのは、$P(C\ge1\mid T=1)=1$ と $P(C\ge1\mid T=2)=\frac12$ が違うからである。2 行目:$Y\le\frac32$ なので時刻 $2$ の死亡は観測されず、$\hat S_n(2)=\hat S_n(1)$ である。打ち切りは $T$ と独立なので $\hat S_n(1)\to S(1)=\frac12$。3 行目:$P(T\ge1)=1$、$P(T=1)=1$ で $h(1)=1$。離散の場合は prop-sa-discrete の積の公式 $S(1)=1-h(1)=0$ が正しい。

よくある誤り

誤り正しくはなぜ
打ち切られた人をデータから除くリスク集合に打ち切りの時刻まで入れるex-sa-km のデータで $t=7$ の生存率が $0.2$ になる(Kaplan–Meier では $0.476$)。長く生きた人ほど除かれやすい
打ち切りの時刻を死亡の時刻とみなす打ち切りは「その時刻より長く生きた」という情報同じデータで $t=7$ の生存率が $\frac39\approx0.333$ になり、低く見積もる
指数分布の $\hat\lambda$ で死亡した人の時間だけで割る全員の観測時間の和で割るex-sa-exp で $\frac5{27}$ と $\frac5{57}$
ハザード関数 $\lambda(t)$ を確率と読む$\lambda(t)$ は単位時間あたりの率で、$1$ を超えうるex-sa-weibull で $\lambda(1)=2$
最後の観測時刻より先の $\hat S$ を使うその先は推定できないthm-sa-km-mle の一意性は $[0,Y_{\max}]$ の上だけ
打ち切りが寿命と関係するのに Kaplan–Meier を使う打ち切りの仕組みを調べ、独立性を確かめる反例の表の 1 行目

補足

時刻ごとのハザードを推定するという考えは、2 群の生存を比べる検定(ログランク検定)や、説明変数がハザードを定数倍すると仮定する比例ハザードモデル(Cox比例ハザードモデル)の出発点になる。これらはこの記事では扱わない。打ち切りのない寿命のデータでは、Kaplan–Meier 推定量は経験生存関数に一致し(prop-sa-no-censoring)、分布の当てはまりの検定には Kolmogorov–Smirnov検定 が使える。打ち切りのあるデータの解析の例は ESL17 §18.6(pp. 674–675)にある。

関連項目

参考文献

[1]
Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2009, §18.6 High-Dimensional Regression: Supervised Principal Components(打ち切りのある生存時間のデータと Kaplan–Meier 推定量の図、Figure 18.11・18.12、pp. 674–675)

Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する