$V$ をエルミート積 $\angleb{\Bu, \Bu}$ をもつベクトル空間とする。
$V$ 上の線形変換 $f\colon V \to V$ がユニタリー変換 (unitary transformation) であるとは、任意の $\Bu, \Bv\in V$ について
$$\label{eq1} \angleb{f(\Bu), f(\Bv)}=\angleb{\Bu, \Bv} \tag{1}$$
が成り立つことをいう。
$V$ 上の線形変換 $f\colon V \to V$ について、つぎの3つの条件は互いに同値である。
$f$ がユニタリー変換で、$\Bu$ が単位ベクトルならば
$$\wenvert{f(\Bu)}^2=\angleb{f(\Bu), f(\Bu)}=\angleb{\Bu, \Bu}=\wenvert{\Bu}^2=1$$
より $f(\Bv)$ も単位ベクトルとなる。
$\Bu\in V$ が単位ベクトルならば $f(\Bu)$ も単位ベクトルとなるとする。
任意の $\Bv\in V$ について、$k=\wenvert{\Bv}$, $\Bv=k\Bu$ とおくと、$\Bu$ は単位ベクトルなので、$f(\Bu)$ も単位ベクトルである。
$f(\Bv)=kf(\Bu)$ となるので
$$\wenvert{f(\Bv)}^2=k^2 \wenvert{f(\Bu)}^2=k^2=\wenvert{\Bv}^2$$
より、$\wenvert{f(\Bv)}=\wenvert{\Bv}$ が成り立つ。
最後に、任意の $\Bv\in V$ について、$\wenvert{f(\Bv)}=\wenvert{\Bv}$ が成り立つとすると、
$\Bu, \Bv\in V$ について
\begin{equation*}\begin{split}
4\angleb{f(\Bu), f(\Bv)}= ~ & \angleb{f(\Bu+\Bv), f(\Bu+\Bv)}-\angleb{f(\Bu-\Bv), f(\Bu-\Bv)} \\
= ~ & \angleb{\Bu+\Bv, \Bu+\Bv}-\angleb{\Bu-\Bv, \Bu-\Bv} \\
= ~ & 4\angleb{\Bu, \Bv} \\
\end{split}\end{equation*}
より \eqref{eq1} が成り立つ。
このことから、ユニタリー変換はノルムを保存する変換として特徴づけられる。
$f$ がユニタリー変換であるとき、$\angleb{\Bu, \Bv}=0$ ならば $\angleb{f(\Bu), f(\Bv)}=0$ となる。すなわち $f$ は互いに直交するベクトルを
互いに直交するベクトルに移す。それで、とくに $V$ が $\R$ 上のベクトル空間であるとき $f$ を 直交変換 (orthogonal transformation) ともいう。
しかし、互いに直交するベクトルを互いに直交するベクトルに移す線形変換がユニタリー変換であるとは限らない。たとえばスカラー倍 $f(\Bv)=k\Bv$ も互いに直交するベクトルを互いに直交するベクトルに移すが、$k\neq \pm 1$ のとき、$f$ はユニタリー変換ではない。
$V$ 上の正規直交基底 $\Bu_1, \ldots, \Bu_n$ を一組とり、この基底に関する $f$ の表現行列を $A$ とおく。
$f$ がユニタリー変換であることは $A^* A=A A^*=E$ が成り立つことと同値である。
$f$ がユニタリー変換であるとする。
$A=(a_{ij})$ とおくと、各 $i=1, \ldots, n$ について
$f(\Bu_i)=a_{1i} \Bu_1+\cdots +a_{ni}\Bu_n$
となるので、$1\leq i, j\leq n$ について
$$\angleb{f(\Bu_i), f(\Bu_j)}=a_{1i} \overline{a_{1j}}+\cdots +a_{ni} \overline{a_{nj}}$$
が成り立つ。各 $i$ について
$$\abs{a_{1i}}^2+\cdots +\abs{a_{ni}}^2=\angleb{f(\Bu_i), f(\Bu_i)}=\angleb{\Bu_i, \Bu_i}=1$$
が成り立つ。また、$1\leq i, j\leq n$ かつ i\neq j$ のとき、
$$a_{1i} \overline{a_{1j}}+\cdots +a_{ni} \overline{a_{nj}}=\angleb{f(\Bu_i), f(\Bu_j)}=\angleb{\Bu_i, \Bu_j}=0$$
となる。よって $
き、$f^*$ の表現行列を $B=(b_{ij})$ とおくと任意の $1\leq i, j\leq n$ について、
$$f(\Bu_i)=a_{1i}\Bu_1+\cdots +a_{ni}\Bu_n, f^*(\Bu_j)=b_{1j}\Bu_1+\cdots +b_{nj}\Bu_n$$
となるから、$A A^*=E$ が成り立つ。
逆に、$A A^*=E$ が成り立つとする。$A=(a_{ij})$ とおくと、各 $i=1, \ldots, n$ について
$$\angleb{f(\Bu_i), f(\Bu_i)}=\angleb{\sum_{s=1}^n a_{si}\Bu_s, \sum_{t=1}^n a_{ti}\Bu_t}=\abs{a_{1i}}^2+\cdots +\abs{a_{ni}}^2=1$$
が成り立つ。また、$1\leq i, j\leq n$ かつ $i\neq j$ のとき、
$$\angleb{f(\Bu_i), f(\Bu_j)}=\angleb{\sum_{s=1}^n a_{si}\Bu_s, \sum_{t=1}^n a_{tj}\Bu_t}=a_{1i} \overline{a_{1j}}+\cdots +a_{ni} \overline{a_{nj}}=0$$
が成り立つ。
よって、任意の $\Bv=k_1 \Bu_1+\cdots +k_n \Bu_n\in V$ について
$$\angleb{f(\Bv), f(\Bv)}=\angleb{\sum_i k_i f(\Bu_i), \sum_j k_j f(\Bu_j)}=\abs{k_1}^2+\cdots +\abs{k_n}^2=\angleb{\Bv, \Bv}$$
となるので、
定理1
より、$f$ はユニタリー変換である。
それで、$A^* A=A A^*=E$ となる行列 $A$ をユニタリー行列 (unitary matrix) という。
とくに $A$ が実行列で $^t A A=A (^t A)=E$ となる行列 $A$ を直交行列 (orthogonal matrix) という。