回転・鏡映と行列の群

$A\in O(n)$ なら $\det(A^{\mathsf T})\det A=\det I=1$ で、$\det A^{\mathsf T}=\det A$ から $(\det A)^2=1$ である。特に $A$ は正則で、$A^{\mathsf T}A=I$ から $A^{-1}=A^{\mathsf T}$、したがって $AA^{\mathsf T}=I$ でもある。$A,B\in O(n)$ なら $(AB)^{\mathsf T}AB=B^{\mathsf T}A^{\mathsf T}AB=B^{\mathsf T}B=I$、$(A^{-1})^{\mathsf T}A^{-1}=AA^{\mathsf T}=I$ なので、$O(n)$ は積と逆元で閉じ、$I$ を含む。$\det(AB)=\det A\det B$ と $\det A^{-1}=(\det A)^{-1}$ から $SO(n)$ も閉じている。$\square$

1 ⇒ 2：内積は長さで $x\cdot y=\frac14\bigl(|x+y|^2-|x-y|^2\bigr)$ と書ける（右辺を展開すればよい）。$A(x\pm y)=Ax\pm Ay$ なので
$$ Ax\cdot Ay=\tfrac14\bigl(|A(x+y)|^2-|A(x-y)|^2\bigr)=\tfrac14\bigl(|x+y|^2-|x-y|^2\bigr)=x\cdot y $$
である。
2 ⇒ 3：$Ax\cdot Ay=x\cdot(A^{\mathsf T}Ay)$ なので、$x=e_i$, $y=e_j$（基本ベクトル）とすると $A^{\mathsf T}A$ の $(i,j)$ 成分は $e_i\cdot e_j=\delta_{ij}$ である。
3 ⇔ 4：$A^{\mathsf T}A$ の $(i,j)$ 成分は $a_i^{\mathsf T}a_j=a_i\cdot a_j$ である。
3 ⇒ 1：$|Ax|^2=x\cdot(A^{\mathsf T}Ax)=x\cdot x=|x|^2$ である。$\square$

$y=0$ として $|f(x)|=|x|$ である。$|f(x)-f(y)|^2=|x-y|^2$ の両辺を展開して比べると $f(x)\cdot f(y)=x\cdot y$ である。特に $a_i:=f(e_i)$ は $a_i\cdot a_j=\delta_{ij}$ を満たすので、$a_1,\dots,a_n$ を列とする行列 $A$ は thm-rrg-isometry の 4 により直交行列である。$Ax=\sum_ix_ia_i$ と $f(x)\cdot a_i=f(x)\cdot f(e_i)=x\cdot e_i=x_i$ から
$$ |f(x)-Ax|^2=|f(x)|^2-2\sum_ix_i\,f(x)\cdot a_i+|Ax|^2=|x|^2-2|x|^2+|x|^2=0 $$
であり、$f(x)=Ax$ である。後半は、距離を保つ $f$ に対し $x\mapsto f(x)-f(0)$ に前半を使えばよい。$\square$

thm-rrg-isometry の 4 により、$A$ の第 1 列 $a_1$ は長さ $1$ なので、ある $\theta$ で $a_1=\begin{pmatrix}\cos\theta\\ \sin\theta\end{pmatrix}$ と書け、$\theta$ は $2\pi$ の整数倍を除いて一意である。第 2 列 $a_2=\begin{pmatrix}p\\ q\end{pmatrix}$ は $a_1$ と直交するので $p\cos\theta+q\sin\theta=0$ であり、$(p,q)=\lambda(-\sin\theta,\cos\theta)$ となる $\lambda$ がある（$\lambda:=q\cos\theta-p\sin\theta$ とおけばよい）。$|a_2|=1$ から $\lambda=\pm1$ であり、$\lambda=1$ なら $A=R(\theta)$、$\lambda=-1$ なら $A=S(\theta)$ である。$\det R(\theta)=\cos^2\theta+\sin^2\theta=1$、$\det S(\theta)=-\cos^2\theta-\sin^2\theta=-1$ なので、どちらになるかは $\det A$ で決まる。
鏡映であること：加法定理から
$$ S(\theta)u=\begin{pmatrix}\cos\theta\cos\frac\theta2+\sin\theta\sin\frac\theta2\\ \sin\theta\cos\frac\theta2-\cos\theta\sin\frac\theta2\end{pmatrix}=\begin{pmatrix}\cos\frac\theta2\\ \sin\frac\theta2\end{pmatrix} $$
であり、同様に $S(\theta)u^\perp=\begin{pmatrix}\sin\frac\theta2\\ -\cos\frac\theta2\end{pmatrix}=-u^\perp$ である。$u,u^\perp$ は直交する長さ $1$ のベクトルなので、任意の $x$ は $x=(x\cdot u)u+(x\cdot u^\perp)u^\perp$ と書け、$S(\theta)x=(x\cdot u)u-(x\cdot u^\perp)u^\perp$ である。これは $x$ の $u^\perp$ 方向の成分だけを反転する写像、すなわち方向 $u$ の直線に関する鏡映であり、2 回続ければもとに戻る。$\square$

第 1 式は ex-rrg-addition で計算した。$S(0)=\begin{pmatrix}1&0\\ 0&-1\end{pmatrix}$ であり、直接の計算で $R(\alpha)S(0)=S(\alpha)$、$S(0)R(\beta)S(0)=R(-\beta)$ である。$S(0)^2=I$ なので後者から $S(0)R(\beta)=R(-\beta)S(0)$ である。よって
$$ R(\alpha)S(\beta)=R(\alpha)R(\beta)S(0)=S(\alpha+\beta),\quad S(\alpha)R(\beta)=R(\alpha)R(-\beta)S(0)=S(\alpha-\beta), $$
$$ S(\alpha)S(\beta)=R(\alpha)S(0)R(\beta)S(0)=R(\alpha)R(-\beta)=R(\alpha-\beta) $$
である。1 は第 1 式から、3 は上で示した。2：$S(\alpha)$, $S(\beta)$ の軸の偏角は $\frac\alpha2$, $\frac\beta2$ なので、$S(\beta)$ の軸から $S(\alpha)$ の軸へ測った角は $\frac\alpha2-\frac\beta2$ であり、積の角 $\alpha-\beta$ はその 2 倍である。順序を替えると測る向きが逆になり、角は $\beta-\alpha$ になる。4：$S(\alpha)S(\beta)=R(\alpha-\beta)$ と $S(\beta)S(\alpha)=R(\beta-\alpha)$ は、$\alpha-\beta$ が $\pi$ の整数倍でなければ異なる。$\square$

加法定理から、$R(\alpha)$ は偏角 $\varphi$ の単位ベクトルを偏角 $\alpha+\varphi$ のものに、$S(\alpha)$ は偏角 $\alpha-\varphi$ のものに移す。よって $R(\frac{2\pi k}n)v_j=v_{j+k}$, $S(\frac{2\pi k}n)v_j=v_{k-j}$ であり、これらは $V$ を $V$ に移すので $\operatorname{Dih}_n$ に入る。
逆に $A\in \operatorname{Dih}_n$ とする。thm-rrg-o2 により $A=R(\theta)$ または $A=S(\theta)$ であり、どちらの場合も $Av_0$ は偏角 $\theta$ の単位ベクトルである。$Av_0\in V$ なので、ある $k$ で $Av_0=v_k$ となり、$\theta$ は $\frac{2\pi k}n$ と $2\pi$ の整数倍だけ違う。したがって $A$ は 1 の $2n$ 個のどれかである。$\det$ が $1$ か $-1$ かと、$\theta$ が $2\pi$ を法として決まることから、$2n$ 個は相異なる。
2：prop-rrg-products から $r^k=R(\frac{2\pi k}n)$, $r^ks=R(\frac{2\pi k}n)S(0)=S(\frac{2\pi k}n)$, $r^n=R(2\pi)=I$, $s^2=I$, $srs=R(-\frac{2\pi}n)=r^{-1}$ である。一意性は 1 の相異なることによる。3 は 1 の前半で示した。
4：$srs=r^{-1}$ から $sr=r^{-1}s$ である。$rs=sr$ なら $rs=r^{-1}s$ となり $r^2=I$、すなわち $R(\frac{4\pi}n)=I$ となるが、$n\ge3$ では $0<\frac{4\pi}n<2\pi$ なのでそうならない。$\square$

1：$H:=G\cap SO(2)$ は部分群である。$H=\{I\}$ なら $m=1$ で正しい。そうでなければ、$H$ の元 $R(\theta)$（$0<\theta<2\pi$）の角のうち最小のものを $\theta_0$ とする。$R(\theta)\in H$（$0\le\theta<2\pi$）について $\theta=q\theta_0+\rho$（$q$ は整数、$0\le\rho<\theta_0$）と割ると、$R(\rho)=R(\theta)R(\theta_0)^{-q}\in H$ なので、最小性から $\rho=0$ である。$M\theta_0\ge2\pi$ となる最小の正の整数 $M$ をとると $R(M\theta_0-2\pi)=R(\theta_0)^M\in H$ で $0\le M\theta_0-2\pi<\theta_0$ なので、同様に $M\theta_0=2\pi$ である。よって $H=\{R(\frac{2\pi k}M):0\le k< M\}$ で、$M=m$ である。
2：$A\in G$ が $\det A=-1$ なら $S(\beta)A\in H$ なので（$S(\beta)^{-1}=S(\beta)$）、1 によりある $k$ で $S(\beta)A=R(\frac{2\pi k}m)$、したがって $A=S(\beta)R(\frac{2\pi k}m)=S(\beta-\frac{2\pi k}m)$ である（prop-rrg-products）。逆に $S(\beta)R(\frac{2\pi k}m)\in G$ なので、鏡映全体は主張の $m$ 個である。prop-rrg-products により $P^{-1}S(\gamma)P=R(-\frac\beta2)S(\gamma-\frac\beta2)=S(\gamma-\beta)$、回転は $P$ と可換なので、最後の主張を得る。$\square$

答は「正多角形の頂点の集合」である。
まず、$S$ は円周上にある。$S$ の点の位置ベクトルの平均を $G$（重心）とする。直線に関する対称移動は $x\mapsto Mx+b$ の形（$M$ は鏡映の行列。prop-rrg-linear）なので、点の平均を点の平均に移す。$S$ を $S$ に移す対称移動は $G$ を $G$ に移すので、$G$ はすべての対称軸の上にある。特に $G$ は線分 $AB$ の垂直二等分線上にあり $GA=GB$ である。よって $S$ は $G$ を中心とする円周上にある。
次に、隣り合う弧が等しい。$S$ の点を円周に沿って順に $A_1,\dots,A_m$（$m\ge3$、添字は $m$ を法とする）とする。$A_{i-1}A_{i+1}$ の垂直二等分線 $\ell$ は中心 $G$ を通り、$\ell$ に関する対称移動は円を円に移し、$A_{i-1}$ と $A_{i+1}$ を入れ替える。$A_{i-1}$ から $A_i$ を経て $A_{i+1}$ に至る弧は $\ell$ に関して対称で、その内部にある $S$ の点は $A_i$ だけなので、$A_i$ は動かず、$\ell$ 上にある。すると弧 $A_{i-1}A_i$ と弧 $A_iA_{i+1}$ は互いに移り合い、長さが等しい。これがすべての $i$ で成り立つので、$S$ は正 $m$ 角形の頂点である。
逆に、正 $m$ 角形の頂点を $v_0,\dots,v_{m-1}$ とする（相似変換で単位円に内接させてよい）。thm-rrg-dihedral の 3 により、$\operatorname{Dih}_m$ の元 $r^{j+k}s$ は $v_j$ と $v_k$ を入れ替える鏡映なので、その軸は線分 $v_jv_k$ の垂直二等分線であり、頂点の集合を自身に移す。$\square$