開集合(open set)とは、位相空間論における最も基礎的な概念であり、空間の「近さ」や「つながり」といった位相的構造(トポロジー)を決定する要素である。ユークリッド空間や距離空間においては、「境界を含まない、広がりのある集合」として直感的に理解される。例えば、数直線上の端点を含まない区間(開区間)は開集合の典型例である。一般の位相空間論においては、距離の概念に依存せず、公理的に与えられた「開集合系」の元として定義され、連続写像や収束などの解析的な概念を定義する基礎となる。
集合 $X$ とその部分集合族 $\mathcal{O}$ の組 $(X, \mathcal{O})$ が位相空間であるとき、$\mathcal{O}$ の元を $X$ の開集合と呼ぶ。
すなわち、位相空間論において「開集合」とは、あらかじめ位相として指定された集合族のメンバーのことである。
一般の定義に先立ち、なじみ深い距離空間(例えばユークリッド空間)における定義を見ることは有用である。
距離空間 $(X, d)$ において、部分集合 $U \subset X$ が開集合であるとは、その任意の点 $x \in U$ に対して、十分小さな半径 $\epsilon > 0$ を取れば、$x$ を中心とする開球 $B(x, \epsilon)$ が $U$ にすっぽり含まれることをいう。
$$\forall x \in U, \exists \epsilon > 0 \text{ s.t. } B(x, \epsilon) \subset U$$
これは「$U$ のどこの点に立っても、少し動く程度なら $U$ からはみ出さない」ことを意味し、境界を含んでいないという直観に対応する。
一般の位相空間では、開集合全体 $\mathcal{O}$ は以下の3つの公理を満たすことが要請される。
有限個の共通部分は開集合になるが、無限個の開集合の共通部分は必ずしも開集合にはならない。
集合 $A$ に含まれる最大の開集合を $A$ の開核(interior)または内部と呼び、$A^\circ$ や $\text{Int}(A)$ と書く。
$A$ が開集合であることは、$A = A^\circ$ が成り立つことと同値である。すなわち、開集合とは「すべての点が内点であるような集合」と言い換えられる。
すべての開集合を列挙するのは大変であるため、より少数の基本的な開集合の集まり(位相の基底)を使って開集合を表現することが多い。
例えば $\mathbb{R}$ の通常の位相では、「全ての開区間 $(a, b)$」が基底となる。任意の開集合は、これら開区間の和集合として表される。
ある集合が開集合であり、かつ閉集合(補集合が開集合)でもある場合、その集合を開かつ閉集合 (clopen set) と呼ぶ。