Baireのカテゴリー定理(Baire Category Theorem, BCT)は、位相空間論および関数解析学における基本定理の一つであり、完備距離空間や局所コンパクトHausdorff空間といった「良い」空間が、位相的な意味で「十分に厚みがある」ことを保証する定理である。具体的には、これらの空間は「疎な集合(中身がスカスカな集合)」を可算個集めた程度では埋め尽くせない(第2類集合である)ことを主張する。この定理は、構成的証明が困難な病的な対象(至る所微分不可能な連続関数など)の存在を示すための強力な道具として利用される。
Baireのカテゴリー定理は、空間が「位相的な厚み」を持つための十分条件を与える。最も標準的な完備距離空間における定式化は以下の通りである。
この定理が成立する空間(すなわち、疎集合の可算和の内部が常に空となる空間)は、一般にBaire空間(Baire space)と呼ばれる。
定理の理解には、集合の「大きさ」を位相的に分類する以下の用語が不可欠である。
位相空間 $X$ の部分集合 $A$ について:
この用語を用いれば、Baireのカテゴリー定理は「完備距離空間はそれ自身、第2類集合である」と簡潔に表現できる。
ここでは、解析学で最も応用される「共通部分の稠密性」の形式について、縮小閉球列を用いた厳密な証明を与える。
目標: 任意の空でない開集合 $W \subseteq X$ に対し、$W \cap \bigcap_{n=1}^{\infty} U_n \neq \emptyset$ を示す。
Step 1: 第1段階の構成
$U_1$ は稠密な開集合であるため、$W \cap U_1$ は空でない開集合である。
したがって、ある点 $x_1$ と半径 $0 < r_1 < 1$ を選び、以下の条件を満たす閉球をとることができる。
$$\overline{B}(x_1, r_1) \subseteq W \cap U_1$$
Step 2: 帰納的な構成
自然数 $n \ge 1$ に対し、閉球 $\overline{B}(x_n, r_n)$ が構成されたとする。
その内部 $B(x_n, r_n)$ と稠密開集合 $U_{n+1}$ の共通部分は空ではない。
よって、以下の条件を満たす新しい閉球 $\overline{B}(x_{n+1}, r_{n+1})$ をその中に選ぶことができる。
Step 3: 完備性の適用
中心の列 $\{x_n\}$ は、$m > n$ ならば $d(x_n, x_m) < 2r_n \to 0$ よりCauchy列である。
$X$ の完備性より、極限 $x = \lim_{n \to \infty} x_n$ が存在する。
任意の $n$ について、列の尾部は $\overline{B}(x_n, r_n)$ に含まれるため、極限点も $x \in \overline{B}(x_n, r_n)$ を満たす。
Step 4: 結論
構成条件より、すべての $n$ で $\overline{B}(x_n, r_n) \subseteq U_n$ であるから、$x \in \bigcap_{n=1}^{\infty} U_n$ である。
また $\overline{B}(x_1, r_1) \subseteq W$ より $x \in W$ である。
ゆえに共通部分は $W$ と交わるため、稠密である。 $\square$
Baireのカテゴリー定理は、具体的な構成が困難な対象の存在証明において「存在定理」として絶大な威力を発揮する。
「第1類集合(痩せている)」と「測度論における測度ゼロ(体積がない)」は、直感的には類似しているが、数学的には全く異なる概念であることに注意が必要である。
$\mathbb{R}$ において、以下のような直感に反する集合が存在する。