直交群

同義語：orthogonal group

概要

前提知識: 直交行列, 一般線形群, 双線形形式, 弧状連結空間

$n$ 次の直交行列、すなわち $A^{\top}A=I$ を満たす実正方行列の全体は、行列の積について群をなす。これを 直交群 $\mathrm{O}(n)$ といい、そのうち行列式が $1$ のものの全体を 特殊直交群 $\mathrm{SO}(n)$ という。$\mathrm{O}(n)$ は $\mathbb{R}^n$ の長さと角度を保つ 1 次変換の群であり、$\mathrm{SO}(n)$ は向きも保つもの、つまり回転の群である。個々の直交行列の形（標準形・鏡映の積への分解）は直交行列の記事で扱った。この記事では、それらを集めた群としての構造を調べる。
証明する主な結果は 4 つある。$\mathrm{O}(n)$ が行列式によって $\mathrm{SO}(n)$ と位数 $2$ の群の半直積に分かれること、中心が $\{\pm I\}$ であること（$\mathrm{SO}(n)$ の中心は $n$ の偶奇で変わる）、$\mathrm{O}(n)$ がコンパクトでちょうど 2 つの弧状連結成分をもつこと、そして $\mathrm{O}(n)$ が単位球面に推移的に作用し、球面が剰余類の空間 $\mathrm{O}(n)/\mathrm{O}(n-1)$ と同相になることである。最後に、内積を一般の対称双線形形式に替えた直交群を述べ、正定値性を外すと何が変わるかを見る。

定義

$\mathbb{R}^n$ の元は縦ベクトルとし、標準内積を $x\cdot y=x^{\top}y$ と書く。

直交群と特殊直交群

$n\ge1$ に対し
$$ \mathrm{O}(n):=\{A\in M_n(\mathbb{R})\mid A^{\top}A=I\},\qquad \mathrm{SO}(n):=\{A\in\mathrm{O}(n)\mid\det A=1\} $$
とおく。$\mathrm{O}(n)$ を $n$ 次の 直交群（orthogonal group）、$\mathrm{SO}(n)$ を $n$ 次の 特殊直交群（special orthogonal group）または 回転群 という。$\mathrm{O}(n,\mathbb{R})$、$\mathrm{O}_n(\mathbb{R})$ とも書く。有限次元の実内積空間 $V$ については、内積を保つ線形変換 $V\to V$ の全体を $\mathrm{O}(V)$ と書き、$V$ の直交群という。

$\mathrm{O}(n)$ が $\mathrm{GL}_n(\mathbb{R})$ の部分群であることは、$(AB)^{\top}AB=B^{\top}(A^{\top}A)B=I$ と $A^{-1}=A^{\top}$ による（回転・鏡映と行列の群の命題「直交群は群である」）。$\mathrm{SO}(n)=\mathrm{O}(n)\cap\mathrm{SL}_n(\mathbb{R})$ は特殊線形群との共通部分なので、これも部分群である。$\mathrm{O}(n)$ の元は $\mathbb{R}^n$ の内積・長さ・距離を保つ 1 次変換の行列とちょうど一致する（直交行列の定理「直交行列の特徴づけ」）。$V$ の正規直交基底を 1 つ選ぶと、内積を保つ線形変換は直交行列で表されるので、$\mathrm{O}(V)\cong\mathrm{O}(\dim V)$ である（直交行列の注意「内積空間の直交変換」）。
内積を、一般の対称双線形形式に替えることもできる。

対称双線形形式の直交群

$k$ を標数が $2$ でない体、$V$ を $k$ 上の有限次元ベクトル空間、$B\colon V\times V\to k$ を非退化な対称双線形形式とする。
$$ \mathrm{O}(V,B):=\{T\in\mathrm{GL}(V)\mid B(Tx,Ty)=B(x,y)\ (x,y\in V)\},\qquad \mathrm{SO}(V,B):=\{T\in\mathrm{O}(V,B)\mid\det T=1\} $$
を $B$ の直交群・特殊直交群という。とくに $V=\mathbb{R}^{p+q}$、$B(x,y)=x_1y_1+\dots+x_py_p-x_{p+1}y_{p+1}-\dots-x_{p+q}y_{p+q}$ のとき、$\mathrm{O}(V,B)$ を $\mathrm{O}(p,q)$ と書く。

$V=k^n$ で $B(x,y)=x^{\top}Gy$（$G$ は対称な正則行列、$B$ の Gram 行列）と書くと、$T=A$ が $B$ を保つ条件は $A^{\top}GA=G$ である。両辺の行列式をとると $(\det A)^2\det G=\det G$、$\det G\ne0$ なので $\det A=\pm1$ である。$\mathrm{O}(n)=\mathrm{O}(n,0)$ は $G=I$ の場合にあたる。$\mathrm{O}(V,B)$ が群であることは、$B$ を保つ変換の合成と逆変換がまた $B$ を保つことから分かる。

直感

$\mathrm{O}(n)$ の元は「原点を動かさない合同変換」であり、$\mathbb{R}^n$ の図形を形も大きさも変えずに動かす。行列式は向きを表し、$\det A=1$ の元は剛体を連続的に回して実現できる運動、$\det A=-1$ の元は鏡に映す操作を含む運動である。この「連続的に実現できる」という直感を正確に述べたのが、$\mathrm{SO}(n)$ が弧状連結で $\mathrm{O}(n)$ の弧状連結成分が 2 つであるという thm-og-topology である。
直交行列の列は長さ $1$ のベクトルなので、成分はすべて $-1$ 以上 $1$ 以下である。$\mathrm{O}(n)$ は $\mathbb{R}^{n^2}$ の中の有界な閉集合、すなわちコンパクトな図形である。一方、内積を不定値な形式（たとえば時空の Minkowski 形式）に替えると、保つべき「長さ」が負にもなりうるので、双曲線に沿っていくらでも遠くへ行く変換が現れ、群はコンパクトでなくなる（ex-og-o11）。

例と反例

次数の低い直交群

$\mathrm{O}(1)=\{1,-1\}$、$\mathrm{SO}(1)=\{1\}$ である。
$\mathrm{O}(2)$ の元は回転 $R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$ か鏡映 $S(\theta)=\begin{pmatrix}\cos\theta&\sin\theta\\\sin\theta&-\cos\theta\end{pmatrix}$ のどちらかであり（回転・鏡映と行列の群の定理「2 次の直交行列の分類」）、$\mathrm{SO}(2)=\{R(\theta)\}$ である。$R(\alpha)R(\beta)=R(\alpha+\beta)$ なので、$\theta\bmod2\pi\mapsto R(\theta)$ は円周の群 $\mathbb{R}/2\pi\mathbb{Z}$ から $\mathrm{SO}(2)$ への同型であり、$\mathrm{SO}(2)$ は可換である。一方 $S(0)R(\theta)S(0)=R(-\theta)$ なので、$\theta\ne0,\pi$ なら $S(0)$ と $R(\theta)$ は可換でなく、$\mathrm{O}(2)$ は可換でない。
$\mathrm{O}(2)$ の有限部分群は、巡回群か二面体群に同型である（回転・鏡映と行列の群の定理「$O(2)$ の有限部分群」）。鏡映を含む場合、その定理が与える形 $\{R(\frac{2\pi k}{m})\}\cup\{S(\frac{2\pi k}{m})\}$ は、$m=1,2$ でも二面体群の命題「正規形と位数」により $\operatorname{Dih}_m$ と同型である。
$\mathrm{SO}(3)$ の元は、ある軸のまわりの回転である（二重被覆群の定理「回転軸の定理」）。

置換行列と符号付き置換行列

$\{1,\dots,n\}$ の置換 $\sigma$ に対し、第 $j$ 列が $e_{\sigma(j)}$ の置換行列 $P_\sigma$ は直交行列であり、$\sigma\mapsto P_\sigma$ は単射な準同型 $S_n\to\mathrm{O}(n)$ である（$P_\sigma P_\tau e_j=e_{\sigma\tau(j)}$）。さらに、各列に $\pm1$ がちょうど 1 つずつ並ぶ行列（符号付き置換行列）の全体 $W_n$ も、列が正規直交基底をなすので $\mathrm{O}(n)$ の部分群であり、位数は $2^nn!$ である。対角成分が $\pm1$ の対角行列の全体を $\Delta_n\cong(\mathbb{Z}/2\mathbb{Z})^n$ とする。$P_\sigma\operatorname{diag}(\varepsilon_1,\dots,\varepsilon_n)P_\sigma^{-1}=\operatorname{diag}(\varepsilon_{\sigma^{-1}(1)},\dots,\varepsilon_{\sigma^{-1}(n)})$ なので $\Delta_n$ は $W_n$ の正規部分群であり、$\Delta_n$ と置換行列の群の共通部分は $\{I\}$、符号付き置換行列は $DP_\sigma$（$D\in\Delta_n$）と書けるので、$W_n$ は半直積 $\Delta_n\rtimes\{P_\sigma\}\cong(\mathbb{Z}/2\mathbb{Z})^n\rtimes S_n$ である。$W_n$ の元は立方体 $[-1,1]^n$ を自分自身に写す（座標の並べ替えと符号の反転は $\max_i\lvert x_i\rvert\le1$ を保つ）。$W_n$ はルート系の例「$B_{n}$ 型」の Weyl 群としても現れる。

不定値の形式の直交群 $\mathrm{O}(1,1)$

$G=\operatorname{diag}(1,-1)$ とし、$A=\begin{pmatrix}a&b\\c&d\end{pmatrix}$ が $A^{\top}GA=G$ を満たすとする。成分で書くと
$$ a^2-c^2=1,\qquad b^2-d^2=-1,\qquad ab-cd=0 $$
である。第 1 式から $\lvert a\rvert\ge1$ なので $a=\varepsilon\cosh t$、$c=\varepsilon\sinh t$（$\varepsilon=\pm1$、$t\in\mathbb{R}$）と一意に書け、第 2 式から同様に $d=\delta\cosh s$、$b=\delta\sinh s$（$\delta=\pm1$、$s\in\mathbb{R}$）と書ける。第 3 式は $\varepsilon\delta(\cosh t\sinh s-\sinh t\cosh s)=\varepsilon\delta\sinh(s-t)=0$ となるので $s=t$ である。したがって
$$ \mathrm{O}(1,1)=\left\{\begin{pmatrix}\varepsilon\cosh t&\delta\sinh t\\\varepsilon\sinh t&\delta\cosh t\end{pmatrix}\ \middle|\ \varepsilon,\delta\in\{\pm1\},\ t\in\mathbb{R}\right\} $$
であり（逆にこの形の行列は 3 つの式を満たす）、行列式は $\varepsilon\delta$ である。$(1,1)$ 成分の符号 $\varepsilon$ と $(2,2)$ 成分の符号 $\delta$ は連続関数なので、$\mathrm{O}(1,1)$ は 4 つの部分に分かれ、各部分は $t\in\mathbb{R}$ と同相である。とくに $\mathrm{O}(1,1)$ の弧状連結成分はちょうど 4 つで、$\mathrm{SO}(1,1)$（$\varepsilon=\delta$）も弧状連結でない。また $(1,1)$ 成分 $\cosh t$ は有界でないので、$\mathrm{O}(1,1)$ はコンパクトでない。

反例：複素数の直交群

$\mathrm{O}_2(\mathbb{C}):=\{A\in M_2(\mathbb{C})\mid A^{\top}A=I\}$ は群をなすが、直交行列の例「反例：複素数の成分で $Q^{\top}Q=I$ を満たす行列」の行列 $C_t=\begin{pmatrix}\cosh t&i\sinh t\\-i\sinh t&\cosh t\end{pmatrix}$（$t\in\mathbb{R}$）をすべて含む。$(1,1)$ 成分 $\cosh t$ は有界でないので、$\mathrm{O}_2(\mathbb{C})$ は $\mathbb{C}^4$ の有界な部分集合でなく、コンパクトでない。実数の成分という条件が、成分の有界性を保証していたのである。

性質

行列式による分解

$u\ne0$ に対する鏡映の行列 $H_u=I-\frac{2}{u\cdot u}uu^{\top}$（直交行列の定義「鏡映の行列」）は $\mathrm{O}(n)$ に属し、$\det H_u=-1$、$H_u^2=I$ である（同じ記事の例「鏡映の性質」）。

特殊直交群による分解

$n\ge1$ とし、$r\in\mathrm{O}(n)$ を鏡映（たとえば $r=H_{e_1}=\operatorname{diag}(-1,1,\dots,1)$）とする。

$\det\colon\mathrm{O}(n)\to\{\pm1\}$ は全射な準同型で、核は $\mathrm{SO}(n)$ である。とくに $\mathrm{SO}(n)$ は $\mathrm{O}(n)$ の指数 $2$ の正規部分群である。
$\mathrm{O}(n)$ のどの元も、$B\in\mathrm{SO}(n)$ と $\epsilon\in\{0,1\}$ によって $A=Br^{\epsilon}$ とただ 1 通りに書ける。すなわち $\mathrm{O}(n)$ は $\mathrm{SO}(n)$ と $\{I,r\}\cong\mathbb{Z}/2\mathbb{Z}$ の半直積 $\mathrm{SO}(n)\rtimes\{I,r\}$ である。
$n$ が奇数なら $-I\notin\mathrm{SO}(n)$ であり、写像 $\mathrm{SO}(n)\times\{\pm I\}\to\mathrm{O}(n)$、$(B,c)\mapsto Bc$ は群の同型である。

行列式の値で 2 つに分ける

1：$\det$ は積を保ち、$\mathrm{O}(n)$ の元の行列式は $\pm1$ である（直交行列の命題「直交行列の固有値と行列式」）。$\det I=1$、$\det r=-1$ なので全射であり、核は定義により $\mathrm{SO}(n)$ である。準同型の核は正規部分群であり、剰余群は $\{\pm1\}$ と同型なので指数は $2$ である（群準同型の定理「群の第1同型定理」）。
2：$\det A=1$ なら $A=A\cdot r^0$、$\det A=-1$ なら $B:=Ar^{-1}=Ar$ は行列式 $1$ なので $A=Br$ である。$Br^{\epsilon}=B'r^{\epsilon'}$ なら行列式を比べて $\epsilon=\epsilon'$、すると $B=B'$ である。$\mathrm{SO}(n)$ は正規部分群で、$\mathrm{SO}(n)\cap\{I,r\}=\{I\}$ なので、これは半直積の分解である（半直積の定理「内部半直積の判定」）。
3：$n$ が奇数なら $\det(-I)=(-1)^n=-1$ なので $-I\notin\mathrm{SO}(n)$ である。$\pm I$ はすべての行列と可換なので、写像 $(B,c)\mapsto Bc$ は準同型である。2 で $r$ の代わりに $-I$ を使うと（2 の証明は $\det r=-1$ と $r^2=I$ しか使っていない）、$\mathrm{O}(n)$ のどの元も $Bc$（$B\in\mathrm{SO}(n)$、$c\in\{\pm I\}$）とただ 1 通りに書けるので、この準同型は全単射である。$\square$

$n$ が偶数のときは $-I\in\mathrm{SO}(n)$ なので 3 の写像は単射でなく、実際 $\mathrm{O}(n)$ は $\mathrm{SO}(n)\times\mathbb{Z}/2\mathbb{Z}$ と同型でない（cor-og-not-product）。半直積の作用は、$r$ による共役 $B\mapsto rBr^{-1}$ である。$n=2$ では $rR(\theta)r^{-1}=R(-\theta)$ であり、$\mathrm{O}(2)$ は円周の群 $\mathrm{SO}(2)$ を反転で割り込ませた半直積になる。これは二面体群 $C_m\rtimes C_2$ の「$m=\infty$ の連続版」である。

中心

鏡映 $H_u$ を直交行列 $A$ で共役すると、
$$ AH_uA^{-1}=A\Bigl(I-\frac{2}{u\cdot u}uu^{\top}\Bigr)A^{\top}=I-\frac{2}{Au\cdot Au}(Au)(Au)^{\top}=H_{Au}\qquad(\ast) $$
となる（$A^{-1}=A^{\top}$、$Au\cdot Au=u\cdot u$）。つまり、鏡映面 $u^{\perp}$ を $A$ で動かした面 $(Au)^{\perp}$ に関する鏡映が得られる。$H_v$ で $-1$ 倍されるベクトル全体は直線 $\mathbb{R}v$ である（$H_vx=-x$ は $x=\frac{x\cdot v}{v\cdot v}v$ と同値）。

直交群の中心

$n\ge1$ なら $Z(\mathrm{O}(n))=\{I,-I\}$ である。
$n\ge3$ なら、$n$ が奇数のとき $Z(\mathrm{SO}(n))=\{I\}$、$n$ が偶数のとき $Z(\mathrm{SO}(n))=\{I,-I\}$ である。

すべての直線を保つ行列はスカラー

段 0（補題）：$A\in M_n(\mathbb{R})$ が $\mathbb{R}^n$ のすべての直線（$1$ 次元部分空間）$L$ について $AL\subset L$ を満たすなら、$A$ はスカラー行列である。実際、$Ae_i=\lambda_ie_i$ と書け、$i\ne j$ について $A(e_i+e_j)=\lambda_ie_i+\lambda_je_j$ が $e_i+e_j$ の定数倍なので $\lambda_i=\lambda_j$ である。
1：$\pm I$ がすべての行列と可換なことは明らか。$A\in Z(\mathrm{O}(n))$ とすると、すべての $u\ne0$ について $(\ast)$ から $H_{Au}=AH_uA^{-1}=H_u$ であり、両辺で $-1$ 倍されるベクトル全体を比べると $\mathbb{R}Au=\mathbb{R}u$ である。段 0 により $A=aI$ で、$A^{\top}A=a^2I=I$ から $a=\pm1$ である。
2：$u,v$ を長さ $1$ の直交するベクトルとし、$W=\operatorname{span}\{u,v\}$ とおく。$P:=H_uH_v$ は $\det P=1$ なので $\mathrm{SO}(n)$ に属し、$W$ 上では $-1$ 倍、$W^{\perp}$ 上では恒等写像である（$H_u$ は $u$ だけを反転し、$v\perp u$ を動かさない。$H_v$ も同様）。よって $P$ で $-1$ 倍されるベクトル全体は $W$ である。$A\in Z(\mathrm{SO}(n))$ とすると、$(\ast)$ から $P=APA^{-1}=H_{Au}H_{Av}$ であり、$Au,Av$ も長さ $1$ で直交するので、右辺で $-1$ 倍されるベクトル全体は $AW$ である。よって $AW=W$ である。どの $2$ 次元部分空間も正規直交基底をもつので、$A$ はすべての $2$ 次元部分空間を保つ。
$n\ge3$ なので、直線 $L=\mathbb{R}x$ に対し、$x,y,z$ が線形独立となる $y,z$ をとり、$W_1=\operatorname{span}\{x,y\}$、$W_2=\operatorname{span}\{x,z\}$ とおく。$W_1\ne W_2$ はともに $L$ を含む $2$ 次元部分空間なので $W_1\cap W_2=L$ であり、$AL\subset AW_1\cap AW_2=W_1\cap W_2=L$ となる。段 0 により $A=aI$、$A\in\mathrm{O}(n)$ から $a=\pm1$ である。$\det(-I)=(-1)^n$ なので、$-I\in\mathrm{SO}(n)$ は $n$ が偶数のときに限る。$\square$

$n=2$ では $\mathrm{SO}(2)$ は可換なので中心は $\mathrm{SO}(2)$ 全体であり、2 は成り立たない。証明では $n\ge3$ を、直線を 2 つの平面の交わりとして書くところで使った。

偶数次の直交群は直積に分かれない

$n$ が偶数なら、$\mathrm{O}(n)$ は直積 $\mathrm{SO}(n)\times\mathbb{Z}/2\mathbb{Z}$ と同型でない。

中心の大きさを比べる

直積の中心は中心の直積である（群の中心の命題「直積の中心」）。$n\ge4$ なら thm-og-center により $Z(\mathrm{SO}(n)\times\mathbb{Z}/2\mathbb{Z})=\{\pm I\}\times\mathbb{Z}/2\mathbb{Z}$ は位数 $4$ だが、$Z(\mathrm{O}(n))$ は位数 $2$ である。$n=2$ なら $\mathrm{SO}(2)\times\mathbb{Z}/2\mathbb{Z}$ は可換だが、$\mathrm{O}(2)$ は可換でない（ex-og-low）。同型な群の中心は同型なので、どちらの場合も同型でない。$\square$

コンパクト性と連結性

$M_n(\mathbb{R})=\mathbb{R}^{n^2}$ の位相を部分集合に入れる。

直交群の位相

$n\ge1$ とする。

$\mathrm{O}(n)$ と $\mathrm{SO}(n)$ はコンパクト空間である。
$\mathrm{SO}(n)$ は弧状連結である。
$\mathrm{O}(n)$ の弧状連結成分は $\mathrm{SO}(n)$ と $\mathrm{O}^-(n):=\{A\in\mathrm{O}(n)\mid\det A=-1\}$ のちょうど 2 つである。

標準形の角を 0 まで縮める

1：$A^{\top}A=I$ は成分についての多項式の等式の集まりなので、$\mathrm{O}(n)$ は $\mathbb{R}^{n^2}$ の閉集合である。$A$ の各列は長さ $1$ なので、成分の絶対値は $1$ 以下であり、$\mathrm{O}(n)$ は有界である。よって $\mathrm{O}(n)$ はコンパクトである（コンパクト空間の定理「有界閉集合とコンパクト性の一致」）。$\mathrm{SO}(n)=\mathrm{O}(n)\cap\det^{-1}(1)$ はコンパクト空間の閉部分集合なのでコンパクトである（同じ記事の命題「保存と閉性」）。
2：$Q\in\mathrm{SO}(n)$ とする。直交行列の定理「直交行列の標準形」により、$P\in\mathrm{O}(n)$ で $P^{\top}QP=\operatorname{diag}\bigl(R(\theta_1),\dots,R(\theta_k),I_p,-I_q\bigr)$ となるものがあり、$\det Q=(-1)^q=1$ なので $q$ は偶数である。$-I_2=R(\pi)$ なので、$-I_q$ を $q/2$ 個の $R(\pi)$ に置き換えて
$$ P^{\top}QP=\operatorname{diag}\bigl(R(\varphi_1),\dots,R(\varphi_m),I_p\bigr)\qquad(m=k+q/2) $$
と書ける。$s\in[0,1]$ に対し $\gamma(s):=P\operatorname{diag}\bigl(R(s\varphi_1),\dots,R(s\varphi_m),I_p\bigr)P^{\top}$ とおく。各成分は $s$ の連続関数であり、$\gamma(s)$ は直交行列の積なので直交行列で、行列式は $\det R(s\varphi_j)=1$ の積なので $1$ である。$\gamma(0)=PP^{\top}=I$、$\gamma(1)=Q$ なので、$\mathrm{SO}(n)$ のどの元も $I$ と道で結ばれる。
3：prop-og-split の鏡映 $r$ を左から掛ける写像 $A\mapsto rA$ は $\mathbb{R}^{n^2}$ の同相写像で、$\mathrm{SO}(n)$ を $\mathrm{O}^-(n)$ に移す。よって $\mathrm{O}^-(n)$ も弧状連結である。$\det$ は連続で $\mathrm{O}(n)$ 上では $\pm1$ の値しかとらないので、$\mathrm{SO}(n)$ の元と $\mathrm{O}^-(n)$ の元を結ぶ道があれば、その上で $\det$ が $1$ から $-1$ に飛ぶことになり、中間値の定理に反する。$\square$

$\mathrm{O}(n)$ と $\mathrm{SO}(n)$ は $\frac{n(n-1)}{2}$ 次元のコンパクトなLie群で、Lie 環はどちらも交代行列の全体 $\mathfrak{so}(n)=\{X\mid X^{\top}=-X\}$ である（Lie群の定理「古典群は行列 Lie 群である」）。$\mathrm{SO}(n)$ は弧状連結だが、単連結とは限らない。$\mathrm{SO}(3)$ の基本群は位数 $2$ であり（SO(3)とSU(2) の定理「回転群の基本群」）、2 対 1 の全射準同型 $\mathrm{SU}(2)\to\mathrm{SO}(3)$ がある（二重被覆群の定理「$\mathrm{SU}(2)$ による $\mathrm{SO}(3)$ の二重被覆」）。

球面への作用

$S^{n-1}:=\{x\in\mathbb{R}^n\mid x\cdot x=1\}$ を単位球面とする。$A\in\mathrm{O}(n)$ は長さを保つので $A(S^{n-1})\subset S^{n-1}$ であり、$(A,x)\mapsto Ax$ は $\mathrm{O}(n)$ の $S^{n-1}$ への群の作用である。$n\ge2$ のとき、$\mathrm{O}(n-1)$ を $B\mapsto\operatorname{diag}(B,1)$ によって $\mathrm{O}(n)$ の部分群とみなす。

球面への推移的な作用

$n\ge2$ とする。

$\mathrm{O}(n)$ と $\mathrm{SO}(n)$ は $S^{n-1}$ に推移的に作用する。
点 $e_n$ の安定化群は、$\mathrm{O}(n)$ では $\mathrm{O}(n-1)$、$\mathrm{SO}(n)$ では $\mathrm{SO}(n-1)$ である。
写像 $\mathrm{O}(n)/\mathrm{O}(n-1)\to S^{n-1}$、$A\,\mathrm{O}(n-1)\mapsto Ae_n$ は、左辺に商位相を入れると同相写像である。$\mathrm{SO}(n)/\mathrm{SO}(n-1)\to S^{n-1}$ についても同じである。

正規直交基底の最後の列に置く

1：$x\in S^{n-1}$ とする。長さ $1$ のベクトル $x$ だけからなる正規直交系を、正規直交基底 $f_1,\dots,f_{n-1},x$ に延長できる（Gram–Schmidtの直交化の定理「Gram–Schmidtの直交化の基本定理」）。これらを列に並べた行列 $A$ は直交行列で、$Ae_n=x$ である。$\det A=-1$ なら第 1 列 $f_1$ を $-f_1$ に替える（$n\ge2$ なので第 1 列は第 $n$ 列と異なる）と、$Ae_n=x$ のまま $\det A=1$ になる。よって $\mathrm{SO}(n)$ の元で $e_n$ を $x$ に移せ、どちらの作用も推移的である。
2：$A\in\mathrm{O}(n)$ が $Ae_n=e_n$ を満たすとすると、第 $n$ 列は $e_n$ である。$A$ の行も正規直交基底をなす（直交行列の定理「直交行列の特徴づけ」）ので、第 $n$ 行は長さ $1$ で第 $n$ 成分が $1$ であり、ほかの成分は $0$ である。よって $A=\operatorname{diag}(B,1)$ と書け、$A^{\top}A=\operatorname{diag}(B^{\top}B,1)=I$ から $B\in\mathrm{O}(n-1)$ である。逆にこの形の行列は $e_n$ を動かさない。$\det A=\det B$ なので、$\mathrm{SO}(n)$ の中の安定化群は $\mathrm{SO}(n-1)$ である。
3：1・2 と群の作用の系「推移的な作用と剰余類」により、この写像は全単射である。写像 $\mathrm{O}(n)\to S^{n-1}$、$A\mapsto Ae_n$ は連続で、各剰余類の上で一定なので、商位相の定義により剰余類の空間からの写像も連続である。$\mathrm{O}(n)$ はコンパクト（thm-og-topology）なので、その連続像である $\mathrm{O}(n)/\mathrm{O}(n-1)$ はコンパクトである。$S^{n-1}\subset\mathbb{R}^n$ は Hausdorff 空間である。コンパクト空間の閉集合はコンパクトで、その連続像はコンパクト、Hausdorff 空間のコンパクト集合は閉集合なので（コンパクト空間の命題「保存と閉性」）、この連続な全単射は閉集合を閉集合に移し、逆写像も連続である。$\mathrm{SO}(n)$ についても同じ議論が使える。$\square$

3 は、球面 $S^{n-1}$ が直交群の剰余類の空間として得られることを述べており、$S^{n-1}$ は直交群の作用で「どの点も同じように見える」空間である（n次元球面の注意「Lie 群構造と等質空間」）。$n=2$ では $\mathrm{SO}(1)=\{1\}$ なので $\mathrm{SO}(2)\to S^1$、$R(\theta)\mapsto(-\sin\theta,\cos\theta)^{\top}$ が同相写像であり、$\mathrm{SO}(2)$ が円周と同相であることが分かる。

一般の双線形形式の直交群

def-og-form の $\mathrm{O}(V,B)$ は、$B$ によって性質が大きく変わる。$k=\mathbb{R}$ では、非退化な対称双線形形式は適当な基底で $\operatorname{diag}(I_p,-I_q)$ を Gram 行列にもつ形に書け、$(p,q)$ は形式だけで決まる（2次形式の定理「平方完成による対角化」で対角化し、各係数を正の数の平方で割る。$(p,q)$ の一意性は同じ記事の定理「実2次形式の係数の符号の不変性」）。したがって $\mathrm{O}(V,B)\cong\mathrm{O}(p,q)$ である。$B$ と $-B$ を保つ変換は同じなので $\mathrm{O}(p,q)\cong\mathrm{O}(q,p)$ であり、$\mathrm{O}(n,0)=\mathrm{O}(n)$ が正定値の場合である。$p\ge1$、$q\ge1$ なら、第 $1$ 座標と第 $p+1$ 座標の組に ex-og-o11 の行列を置き、残りを単位行列にした行列が $\mathrm{O}(p,q)$ に属し、その成分 $\cosh t$ は有界でないので、$\mathrm{O}(p,q)$ はコンパクトでない。$(p,q)=(1,1)$ では弧状連結成分が 4 つある（ex-og-o11）。相対性理論の Lorentz 群は $\mathrm{O}(1,3)$ であり、その単位元を含む成分は $\mathrm{SL}(2,\mathbb{C})$ で二重に被覆される（二重被覆群の例「Lorentz 群の二重被覆」、SL(2,C)とSO^+(1,3)）。
標数 $2$ でない一般の体でも、$B(u,u)\ne0$ となる $u$ に対する鏡映 $s_u(x):=x-2\frac{B(x,u)}{B(u,u)}u$ は $\mathrm{O}(V,B)$ に属して行列式は $-1$ であり、$\mathrm{O}(V,B)$ のどの元も高々 $\dim V$ 個の鏡映の積である（Cartan–Dieudonné の定理。Voi21 Theorem 4.5.7、p. 56。標準内積の場合は直交行列の定理「鏡映の積への分解」で証明されている）。

条件を外した反例

外す条件	反例	成り立たなくなること
形式が正定値（$\operatorname{diag}(1,-1)$ に替える）	$\mathrm{O}(1,1)$	コンパクトであること、弧状連結成分が 2 つであること
成分が実数（$A^{\top}A=I$ を複素行列で考える）	$\mathrm{O}_2(\mathbb{C})$	コンパクトであること
行列式が $1$（$\mathrm{SO}(n)$ を $\mathrm{O}(n)$ に広げる）	$\mathrm{O}(n)$	弧状連結であること
$n\ge3$（thm-og-center の 2）	$\mathrm{SO}(2)$	中心が $\{\pm I\}$ に含まれること
$n$ が奇数（prop-og-split の 3）	$\mathrm{O}(2)$	直積 $\mathrm{SO}(n)\times\mathbb{Z}/2\mathbb{Z}$ への分解

反例：表の各行の確かめ

1 行目は ex-og-o11、2 行目は ex-og-complex で確かめた。3 行目は thm-og-topology の 3 である。4 行目：$\mathrm{SO}(2)$ は可換なので中心は $\mathrm{SO}(2)$ 全体であり、たとえば $R(\frac\pi2)$ は $\pm I$ でないのに中心に属する。5 行目は cor-og-not-product の $n=2$ の場合である。

補足

有限体の上の直交群

有限体 $\mathbb{F}_q$（$q$ は奇数）の上でも $\mathrm{O}_n(\mathbb{F}_q):=\{A\mid A^{\top}A=I\}$ は有限群であり、行列式で $\mathrm{SO}_n(\mathbb{F}_q)$ と $\{\pm1\}$ に分かれることは prop-og-split の 1・2 と同じ議論で示せる（鏡映 $\operatorname{diag}(-1,1,\dots,1)$ が行列式 $-1$ をもつ）。たとえば $n=2$ では、$A^{\top}A=I$ の行列は $\begin{pmatrix}a&-\epsilon b\\b&\epsilon a\end{pmatrix}$（$a^2+b^2=1$、$\epsilon=\pm1$）の形であり、$\mathbb{F}_3$ では $a^2+b^2=1$ の解は $(\pm1,0),(0,\pm1)$ の $4$ 個なので、$\lvert\mathrm{O}_2(\mathbb{F}_3)\rvert=8$ である。

文献

直交群 $\mathrm{O}(n)$ の定義と、直交行列が長さ・内積を保つ行列であることの特徴づけは Jud25 §12.1.3（p. 213）と Theorem 12.1.8（p. 214）、特殊直交群 $\mathrm{SO}(n)$ の定義は同書 p. 216 にある。一般の非退化 2 次形式の等長変換が鏡映の積であることは Voi21 Theorem 4.5.7（§4.5、p. 56）にある。この記事の命題・定理は、引用した記事の定理を除いて記事の中で証明した。