Hilbertの有限性定理(不変式論)

同義語：Hilbert's finiteness theorem不変式環の有限生成定理

概要

前提知識: 群の表現, 多項式環, 次数付き環, Hilbertの基底定理, 有限生成代数

変数の置換で変わらない多項式は、基本対称式 $e_1,\dots,e_n$ の多項式として書ける（対称多項式）。より一般に、群 $G$ が変数に 1 次の置き換えで作用するとき、その作用で変わらない多項式（不変式）の全体は環をなす。不変式論では、この不変式環を有限個の生成元と関係で書き表すことが基本の問題になる。Hilbertの有限性定理（Hilbert's finiteness theorem）は、群の作用に「平均をとる操作」（Reynolds 作用素）があれば、不変式環は有限生成であることを述べる。Hilbert は 1890 年に、Hilbertの基底定理を使う抽象的な議論でこの形の有限性を示した（Mil15 Theorem 14.53 の題）。
この記事では、Reynolds 作用素を定義して主定理を証明し、Reynolds 作用素がある場合として、表現が完全可約な場合、有限群の場合、コンパクト群の場合を扱う。さらに、ユニタリ群への帰着（Weyl のユニタリ・トリック）により $\mathrm{GL}_m(\mathbb C)$ の有理表現にも定理が当てはまることを示す。例として、符号の作用、トーラスの作用、行列の共役による作用の不変式環を計算する。最後に、条件を外すと有限生成性が成り立たない例を挙げる。

線形な作用と不変式環

以下、$k$ を体、$S=k[x_1,\dots,x_n]$ を多項式環とし、$S_d$ を $d$ 次斉次式の空間とする（$S_0=k$）。

線形な作用・不変式環・Reynolds 作用素

群 $G$ が $S$ に $k$ 代数の自己同型として作用し、各 $g\in G$ が $S_1$ を $S_1$ に移すとき、この作用を 線形な作用 という。このとき各 $g$ は次数を保ち、各 $S_d$ は $G$ の有限次元表現である。
不変式環 を $S^G:=\{f\in S\mid\text{すべての }g\in G\text{ で }gf=f\}$ と定める。
$k$ 線形写像 $\mathcal R\colon S\to S^G$ で、すべての $f\in S$、$h\in S^G$ について
$$ \mathcal R(f)=f\quad(f\in S^G),\qquad \mathcal R(hf)=h\,\mathcal R(f) $$
を満たすものを、作用の Reynolds 作用素 という。すなわち、$S^G$ 加群としての $S$ から $S^G$ への射影である。

線形な作用は、表現 $\rho\colon G\to\mathrm{GL}_n(k)$ から次のように作られる。変数の列ベクトルを $x={}^t(x_1,\dots,x_n)$ とし、$g\in G$ について $(gf)(x):=f(\rho(g)^{-1}x)$（変数への 1 次式の代入）とおく。$\rho(g)^{-1}$ を使うのは $(gh)f=g(hf)$ を成り立たせるためである。
$g$ は次数を保つので、$f\in S^G$ の斉次成分もすべて不変である。よって $S^G=\bigoplus_d(S^G\cap S_d)$ は $k$ を含む次数付き部分環である。$S^G$ が有限生成代数であるか、すなわち有限個の不変式 $f_1,\dots,f_r$ があって、すべての不変式が $f_1,\dots,f_r$ の多項式で書けるかが問題である。

主定理

Hilbertの有限性定理

$R\subset S$ を $k$ を含む次数付き部分 $k$ 代数（$R=\bigoplus_d(R\cap S_d)$）とする。$R$ 線形な写像 $\mathcal R\colon S\to R$ で $\mathcal R|_R=\mathrm{id}_R$ となるものがあれば、$R$ は正の次数の斉次元の有限個で $k$ 代数として生成される。とくに、Reynolds 作用素をもつ線形な作用の不変式環 $S^G$ は有限生成 $k$ 代数である。

生成元を基底定理で選ぶ

$R_+:=\bigoplus_{d>0}(R\cap S_d)$ とし、$R_+$ が生成する $S$ のイデアルを $I=R_+S$ とおく。$S$ は Noether 環なので（Hilbertの基底定理）、$I$ は $R_+$ の斉次元の有限個 $f_1,\dots,f_r$ で生成される（$I$ は $R_+$ の斉次元の全体で生成され、Noether 環のイデアルの生成系からは有限個の生成系を選べる）。$R=k[f_1,\dots,f_r]$ を示す。$R$ は次数付きなので、斉次元 $h\in R\cap S_d$ が $k[f_1,\dots,f_r]$ に入ることを $d$ についての帰納法で示せばよい。
$d=0$ なら $h\in k$ である。$d>0$ なら $h\in R_+\subset I$ なので、$h=\sum_i s_if_i$（$s_i\in S$）と書ける。両辺に $\mathcal R$ を施すと、$\mathcal R$ は $R$ 線形で $\mathcal R(h)=h$ なので
$$ h=\sum_{i=1}^r\mathcal R(s_i)\,f_i\qquad(\mathcal R(s_i)\in R) $$
となる。両辺の $d$ 次の斉次成分をとると、$h=\sum_ia_if_i$、ただし $a_i$ は $\mathcal R(s_i)$ の $d-\deg f_i$ 次の斉次成分である（$d< \deg f_i$ なら $a_i=0$）。$R$ は次数付きなので $a_i\in R$ で、$\deg f_i>0$ から $a_i$ の次数は $d$ より小さい。帰納法の仮定から $a_i\in k[f_1,\dots,f_r]$ であり、$h\in k[f_1,\dots,f_r]$ を得る。$\square$

証明が示すのは、「$R_+$ が生成する $S$ のイデアルの生成元が、そのまま $R$ の代数としての生成元になる」ということである。基底定理は $S$ のイデアルの有限生成性を保証するだけで、部分環の有限生成性は保証しない。その差を埋めるのが $\mathcal R$ である。証明は生成元の存在を示すだけで、生成元を具体的に与えはしない。

Reynolds 作用素の作り方

完全可約な場合

群の表現の定義「部分表現・既約表現・完全可約」の意味で、各 $S_d$ が完全可約（$0$ または既約な部分表現の直和）なら、Reynolds 作用素が作れる。自明表現とは、$G$ のすべての元が恒等写像として作用する 1 次元の表現である。

完全可約な表現の不変部分への射影

$G$ の $S$ への線形な作用で、各 $S_d$ が完全可約であるとする。$U_d$ を $S_d$ の既約な部分表現のうち自明表現と同型でないものすべての和とすると、$S_d=S_d^G\oplus U_d$ であり、この分解に沿った射影 $S_d\to S_d^G$ を足し合わせた $\mathcal R\colon S\to S^G$ は Reynolds 作用素である。

既約な成分ごとに見る

直和であることと、不変式による掛け算が $U_d$ を $U_{d+e}$ に移すことを示す。

詳しい証明を開く

$S_d=W_1\oplus\cdots\oplus W_m$ を既約な部分表現への分解とする。$W_i$ が自明表現と同型なら $W_i=kw$ で $w$ は不変なので $W_i\subset S_d^G$、そうでなければ $W_i\subset U_d$ である。よって $S_d=S_d^G+U_d$ である。

次に $S_d^G\cap U_d=0$ を示す。$U_d$ は有限次元なので、自明でない既約な部分表現 $X_1,\dots,X_l$ で $U_d=X_1\oplus\cdots\oplus X_l$ となるものがとれる（既約な部分表現を 1 つずつ加え、それまでの和に含まれないものだけを残す。既約な $X$ とそれまでの和との共通部分は不変部分空間なので $0$ か $X$ である）。$v\in S_d^G\cap U_d$ を $v=\sum_jv_j$（$v_j\in X_j$）と書くと、$g\in G$ について $\sum_jgv_j=gv=v=\sum_jv_j$ で $gv_j\in X_j$ なので、直和性から $gv_j=v_j$ となる。$v_j\ne0$ なら $kv_j$ は $X_j$ の $0$ でない不変部分空間なので $X_j=kv_j$ は自明表現になり、矛盾する。よって $v=0$ である。

$\mathcal R$ は $S^G$ の上で恒等写像である。$\mathcal R(hf)=h\mathcal R(f)$ は、線形性から $h\in S_e^G$、$f\in S_d$ の場合に示せばよい。掛け算 $\mu_h\colon S_d\to S_{d+e}$、$f\mapsto hf$ は $g(hf)=(gh)(gf)=h(gf)$ から表現の射である。$\mu_h$ は $S_d^G$ を $S_{d+e}^G$ に移す。自明でない既約な部分表現 $X\subset S_d$ について、$\ker(\mu_h|_X)$ は $X$ の不変部分空間なので $0$ か $X$ であり、$\mu_h(X)$ は $0$ か $X$ と同型な既約表現で、どちらの場合も $U_{d+e}$ に含まれる。よって $\mu_h(U_d)\subset U_{d+e}$ である。$f=f_0+u$（$f_0\in S_d^G$、$u\in U_d$）と書くと $hf=hf_0+hu$ で $hf_0\in S_{d+e}^G$、$hu\in U_{d+e}$ なので、$\mathcal R(hf)=hf_0=h\mathcal R(f)$ である。$\square$

有限群とコンパクト群

完全可約性を経ずに、群の上の平均で直接 Reynolds 作用素を作れる場合がある。

平均による Reynolds 作用素

$G$ が有限群で、$k$ の標数が $\lvert G\rvert$ を割らないとき、$\mathcal R(f):=\dfrac1{\lvert G\rvert}\sum_{g\in G}gf$ は Reynolds 作用素である。
$k=\mathbb R$ または $\mathbb C$ とし、$K$ をコンパクト Hausdorff 群、$\rho\colon K\to\mathrm{GL}_n(k)$ を連続な準同型とする。$(gf)(x)=f(\rho(g)^{-1}x)$ による $S$ への作用について、$\mu$ を $\mu(K)=1$ の左 Haar 測度とすると、$\mathcal R(f):=\int_K(gf)\,d\mu(g)$（係数ごとの積分）は Reynolds 作用素である。

1：$h\in G$ について $h\mathcal R(f)=\frac1{\lvert G\rvert}\sum_g(hg)f=\mathcal R(f)$（$g\mapsto hg$ は $G$ の全単射）なので $\mathcal R(f)\in S^G$ である。$f\in S^G$ なら各項が $f$ で $\mathcal R(f)=f$ である。$h\in S^G$ なら $g(hf)=h\,gf$ なので $\mathcal R(hf)=h\mathcal R(f)$ である。
2：Haar 測度の存在は Haar測度の定理「コンパクト群のHaar測度の存在」による。$f\in S_d$ について、$g\mapsto gf$ は有限次元空間 $S_d$ への連続写像で（$\rho(g)^{-1}$ の成分は $g$ について連続）、$K$ はコンパクトなので積分は係数ごとに定まり、$\mathcal R(f)\in S_d$ である。$h\in K$ の作用は $S_d$ の線形写像なので積分と交換し、左不変性から $h\mathcal R(f)=\int_K(hg)f\,d\mu(g)=\int_Kgf\,d\mu(g)=\mathcal R(f)$ となる。残りは 1 と同じで、$\mu(K)=1$ から $f\in S^G$ のとき $\mathcal R(f)=f$ である。$\square$

1 の場合は、標数が $\lvert G\rvert$ を割っても不変式環は有限生成である（有限生成代数の系「有限群の不変式環（Noether の定理）」）。こちらは整拡大を使う別の証明による。

一般線形群：ユニタリ群への帰着

$\mathrm{GL}_m(\mathbb C)$ はコンパクトでないが、コンパクトな部分群 $\mathrm U(m)$ と同じ不変式をもつので、prop-hf-average の 2 が使える。準同型 $\rho\colon\mathrm{GL}_m(\mathbb C)\to\mathrm{GL}_n(\mathbb C)$ の行列の成分が、$g$ の成分と $1/\det g$ の多項式であるとき、$\rho$ を 有理表現 という。このとき $S_d$ への作用の行列の成分も、$g$ の成分と $1/\det g$ の多項式である（$g^{-1}$ の成分は余因子を $\det g$ で割ったもの）。

ユニタリ群への帰着

$W$ を $\mathrm{GL}_m(\mathbb C)$ の有限次元表現で、作用の行列の成分が $g$ の成分と $1/\det g$ の多項式であるものとする。このとき $W^{\mathrm{GL}_m(\mathbb C)}=W^{\mathrm U(m)}$ である。とくに、有理表現 $\rho$ から作った $S$ への作用について $S^{\mathrm{GL}_m(\mathbb C)}=S^{\mathrm U(m)}$ であり、これは有限生成 $\mathbb C$ 代数である。

歪 Hermite 行列の実構造

$\mathrm U(m)$ で不変な $w$ について、関数 $F(g)=\lambda(gw-w)$（$\lambda$ は $W$ の線形汎関数）が $\mathrm U(m)$ で消えるなら $\mathrm{GL}_m(\mathbb C)$ 全体で消えることを、指数写像で示す。

詳しい証明を開く

$\supset$ を示せばよい。$w\in W^{\mathrm U(m)}$ と $W$ の線形汎関数 $\lambda$ をとり、$F(g):=\lambda(gw-w)$ とおく。仮定から、十分大きい $N$ について $\tilde F:=(\det g)^NF$ は $g$ の成分の多項式で、$M_m(\mathbb C)$ 全体の上の多項式関数とみなせる。$\tilde F$ は $\mathrm U(m)$ の上で $0$ である。

歪 Hermite 行列（$Z^*=-Z$）の全体 $\mathfrak u(m)$ は実ベクトル空間で、$Z=\frac{Z-Z^*}2+i\cdot\frac{Z+Z^*}{2i}$ と書くと 2 つの項はどちらも歪 Hermite なので、$\mathfrak u(m)$ の実基底 $B_1,\dots,B_{m^2}$ は $M_m(\mathbb C)$ の複素基底でもある。$\varphi(w_1,\dots,w_{m^2}):=\tilde F(\exp(\sum_jw_jB_j))$ は、$\exp$ の級数と多項式の合成なので、$0$ の近くで収束する複素冪級数で表される。$w$ が実数なら $\sum_jw_jB_j$ は歪 Hermite で、その指数はユニタリ行列なので $\varphi(w)=0$ である。実数の点の近傍で $0$ になる冪級数は、係数（$0$ での偏微分係数を実の方向にとったもの）がすべて $0$ なので、$\varphi$ は $0$ の近くで恒等的に $0$ である。

$\|g-I\|< 1$ なら、対数の級数 $\log g:=\sum_{j\ge1}(-1)^{j+1}(g-I)^j/j$ が収束して $\exp(\log g)=g$ となり、$g\to I$ のとき $\log g\to0$ である。よって $\tilde F$ は $I$ のある近傍で $0$ になる。$\mathbb C^{m^2}$ の空でない開集合で $0$ になる多項式は（その点での偏微分係数がすべて $0$ なので）零多項式であり、$\tilde F=0$、したがって $\mathrm{GL}_m(\mathbb C)$ の上で $F=0$ である。$\lambda$ は任意なので $gw=w$ である。

後半：上の注意により各 $S_d$ は仮定を満たすので、$S^{\mathrm{GL}_m(\mathbb C)}=S^{\mathrm U(m)}$ である。$\mathrm U(m)$ はコンパクト Hausdorff 群で、$\rho|_{\mathrm U(m)}$ は連続なので、prop-hf-average の 2 と thm-hf-main により有限生成である。$\square$

例

符号の作用

$k$ の標数を $2$ でないとし、$G=\{\pm1\}$ を $S=k[x,y]$ に $f(x,y)\mapsto f(-x,-y)$ で作用させる。単項式 $x^ay^b$ は $(-1)^{a+b}$ 倍されるので、不変式は次数が偶数の単項式の 1 次結合であり、
$$ S^G=k[x^2,\,xy,\,y^2] $$
となる（次数 $2l$ の単項式は 2 次の単項式 $l$ 個の積）。Reynolds 作用素は $\mathcal R(f)=\frac12\bigl(f(x,y)+f(-x,-y)\bigr)$ で、奇数次の部分を消す写像である。生成元 $u=x^2$、$v=xy$、$w=y^2$ は $uw=v^2$ を満たし、$S^G$ は多項式環でない。実際、$S^G$ の商体は $k(x^2,y^2)$ と $k(x,y)$ の間にあるので超越次数は $2$ で、$S^G$ が多項式環なら 2 変数の多項式環 $k[z_1,z_2]$ と同型である。$\mathfrak n:=\bigoplus_{d>0}S^G_d$ は $S^G/\mathfrak n=k$ となる極大イデアルで、次数 $2l\ge4$ の単項式は 2 次の単項式の積なので $\mathfrak n^2=\bigoplus_{d\ge4}S^G_d$ であり、$\mathfrak n/\mathfrak n^2\cong S^G_2$ は 3 次元である。ところが $k[z_1,z_2]$ の極大イデアルで剰余体が $k$ のものは $(z_1-a,z_2-b)$ の形で、それを自身の 2 乗で割った空間は 2 次元なので、矛盾する。幾何的には $\operatorname{Spec}S^G$ は平面を $\pm1$ で割った 2 次錐であり、頂点は通常2重点である（同じ記事の例「2次錐と高次元の例」）。

トーラスの作用と単項式

$k$ を無限体とし、$G=k^\times$ を $(tf)(x,y)=f(t^{-1}x,ty)$ で $k[x,y]$ に作用させる（$\rho(t)=\operatorname{diag}(t,t^{-1})$）。$x^ay^b$ は $t^{b-a}$ 倍される。$f=\sum c_{ab}x^ay^b$ が不変なら、各 $(a,b)$ ですべての $t$ について $c_{ab}(t^{b-a}-1)=0$ であり、$a\ne b$ なら $t^{\lvert b-a\rvert}=1$ の根は有限個なので $c_{ab}=0$ となる。よって $S^G=k[xy]$ である。各 $S_d$ は単項式の張る 1 次元の不変部分空間の直和なので完全可約で、prop-hf-semisimple の $\mathcal R$ は $a=b$ の単項式だけを残す写像である。
同じ議論で、$r$ 次元のトーラス $(k^\times)^r$ が重み $w_1,\dots,w_n\in\mathbb Z^r$ で変数に作用するとき、不変式環は $\sum_i\alpha_iw_i=0$ を満たす $\alpha\in\mathbb N^n$ の単項式 $x^\alpha$ で張られ、thm-hf-main により有限生成である。単項式で張られる環の有限個の生成元に現れる単項式は再び不変式で、それらが環を生成するので、方程式 $\sum_i\alpha_iw_i=0$ の $\mathbb N^n$ での解の全体は、有限個の解の和で尽くされる。

行列の共役と特性多項式の係数

$k$ を無限体とし、$\mathrm{GL}_n(k)$ を $n$ 次正方行列の成分 $x_{ij}$ の多項式環 $S=k[x_{ij}]$ に $(gf)(X)=f(g^{-1}Xg)$ で作用させる。$\det(TI-X)=T^n-c_1T^{n-1}+\cdots+(-1)^nc_n$ で $c_1,\dots,c_n\in S$ を定めると（$c_1$ は跡、$c_n$ は行列式）、
$$ S^{\mathrm{GL}_n(k)}=k[c_1,\dots,c_n] $$
で、$c_1,\dots,c_n$ は代数的に独立である。特性多項式が共役で変わらないので $c_i$ は不変式である。

逆の包含の確かめを開く

$f$ を不変式とする。置換行列による共役は対角行列の対角成分を並べ替えるので、$\varphi(t):=f(\operatorname{diag}(t_1,\dots,t_n))$ は対称多項式であり、対称多項式の定理「対称多項式の基本定理」により $\varphi=P(e_1,\dots,e_n)$ となる多項式 $P$ がある。$c_i(\operatorname{diag}(t))=e_i(t)$ なので、$F:=f-P(c_1,\dots,c_n)$ は対角行列の上で $0$ になる不変式である。$F$ の次数を $m$ とし、$g^{-1}=\operatorname{adj}(g)/\det g$ を使うと、$H(g,t):=(\det g)^mF(g\operatorname{diag}(t)g^{-1})$ は $g$ の成分と $t$ の多項式である。$g\in\mathrm{GL}_n(k)$、$t\in k^n$ では不変性から $H(g,t)=(\det g)^mF(\operatorname{diag}(t))=0$ なので、$(\det g)H$ は $k$ のすべての点で $0$ になり、$k$ が無限体なので零多項式である。よって $H=0$ で、代数閉包 $\bar k$ の上でも、対角化できる行列の上で $F=0$ となる。

$\Delta(t):=\prod_{i< j}(t_i-t_j)^2$ も対称多項式なので $\Delta=D(e_1,\dots,e_n)$ と書け、$\delta:=D(c_1,\dots,c_n)\in S$ とおく。$\bar k$ 上の行列 $X$ の固有値を $\lambda_i$ とすると $\delta(X)=\prod_{i< j}(\lambda_i-\lambda_j)^2$ なので、$\delta(X)\ne0$ なら固有値は相異なり、$X$ は対角化できる。よって $F\delta$ は $M_n(\bar k)$ の全体で $0$ で、零多項式である。$\delta(\operatorname{diag}(t))=\Delta(t)\ne0$ から $\delta\ne0$ で、$S$ は整域なので $F=0$ である。代数的独立性は、$Q(c_1,\dots,c_n)=0$ を対角行列に制限すると $Q(e_1,\dots,e_n)=0$ となり、基本定理の一意性から $Q=0$ となることによる。

$k=\mathbb C$ なら、有限生成であることだけは prop-hf-unitary からも分かる（共役による作用は有理表現から来る）。上の確かめは生成元を具体的に与え、無限体なら標数によらない。$c_1,\dots,c_n$ がすべて $0$ になる行列は冪零行列であり、$0$ でない冪零行列は、Hilbert–Mumfordの判定法の例「行列の共役」で $\mathrm{SL}_n$ の共役作用の不安定な点として現れる。

条件を外した反例

外す条件	反例	成り立たなくなること
$S$ から $R$ への $R$ 線形な射影（thm-hf-main）	$R=k+x\,k[x,y]\subset k[x,y]$	$R$ が有限生成
Reynolds 作用素（thm-hf-main の後半）	永田雅宜（Masayoshi Nagata）の例（13 次元のベクトル群の 32 変数への線形な作用）	$S^G$ が有限生成
変数が有限個	自明な群の $k[x_1,x_2,\dots]$ への作用	$S^G$ が有限生成

表の各行の確かめ

1 行目は次数の比較で、2 行目は永田の構成で、3 行目は変数の数え上げで確かめられる。

詳しい確かめを開く

1 行目：$R$ は $k$ と $x$ で割り切れる多項式の全体で、$x$ の倍数どうしの積は $x^2$ の倍数なので部分環であり、$R=\bigoplus_d(R\cap S_d)$ である。$R_+=x\,k[x,y]$ について $R_+^2\subset x^2k[x,y]$ である。$R$ が有限個の元で生成されるなら、定数項を引いて生成元 $g_1,\dots,g_r\in R_+$ がとれ、$R_+=\sum_ikg_i+R_+^2\subset\sum_ikg_i+x^2k[x,y]$ となる。ところが $x,xy,xy^2,\dots$ は $x^2k[x,y]$ を法として 1 次独立なので、これは $r$ が有限であることに反する。よって $R$ は有限生成でなく、thm-hf-main により $R$ 線形な射影 $S\to R$ も存在しない。

2 行目：$a_{ij}$（$i=1,2,3$、$j=1,\dots,16$）を素体上代数的に独立な元とし、$k$ をそれらを含む体（たとえば $\mathbb C$）とする。$k^{16}$ の中でベクトル $(a_{i1},\dots,a_{i,16})$（$i=1,2,3$）に直交するベクトル $b$ の全体 $V^*$ は 13 次元の部分空間である。$G$ を、$k[x_1,\dots,x_{16},t_1,\dots,t_{16}]$ の 1 次の置き換え $t_j\mapsto t_j$、$x_j\mapsto x_j+b_jt_j$（$b\in V^*$）の全体とすると、$G$ の不変式環は有限生成でない（Nag60 §1 の主張、pp. 459–462。証明は平面の 16 個の一般の点を通る曲線についての補題による）。この記事では証明しない。$G$ は加法群 $V^*$ と同型な可換群で、thm-hf-main により、この作用は Reynolds 作用素をもたず、prop-hf-semisimple によりある $S_d$ は完全可約でない。

3 行目：自明な群の作用では $S^G=S$ で、恒等写像が Reynolds 作用素である。$k[x_1,x_2,\dots]$ の有限個の元は有限個の変数しか含まないので、それらの多項式で書けない変数が残り、有限生成でない。thm-hf-main の証明で使った基底定理が成り立たないことにあたる。

完全可約でないが有限生成な例

$k$ の標数を $0$ とし、加法群 $G=(k,+)$ の $t$ を $f(x,y)\mapsto f(x,y+tx)$ で $k[x,y]$ に作用させる。$f$ が不変なら $f(x,y+tx)-f(x,y)$ は $t,x,y$ の多項式として $0$ で（$k$ は無限体）、その $t$ の係数 $x\,\partial f/\partial y$ も $0$ なので $f\in k[x]$ である。よって $S^G=k[x]$ は有限生成である。一方 $S_1=kx\oplus ky$ の不変な直線は、$t(ax+by)=(a+bt)x+by$ から $kx$ だけで、$S_1$ は完全可約でない。$k[x]$ 線形な射影 $\sum_ja_j(x)y^j\mapsto a_0(x)$ が Reynolds 作用素になるので、prop-hf-semisimple の完全可約性は Reynolds 作用素があるための十分条件にすぎない。

補足

線形簡約群。 代数群 $G$ のすべての有限次元表現が完全可約なとき、$G$ を 線形簡約 という（Mil15 Definition 14.48）。線形簡約な $G\subset\mathrm{GL}_n$ の不変式環は有限生成である（Mil15 Theorem 14.53。証明は prop-hf-semisimple の射影と thm-hf-main の議論と同じ）。標数 $0$ の体上では、単位元の連結成分が簡約群であることと線形簡約であることが同値で、$\mathrm{GL}_n$・$\mathrm{SL}_n$ などに定理が当てはまる。標数 $p>0$ では、線形簡約なのは単位元の連結成分がトーラスで、成分の個数が $p$ で割り切れない群に限られる（どちらも Mil15 Aside 14.52、この記事では証明しない）。たとえば標数 $2$ の $\mathrm{SL}_2$ には完全可約でない表現がある（Mil15 Example 14.51）。
Hilbert の第 14 問題。 Hilbert の第 14 問題は、不変式環を含むより一般の部分環の有限生成性を問うものである。永田は、「線形な変換の群の多項式環での不変式環は有限生成か」という元の形でも答えが否定的であることを、上の反例で示した（Nag60 の序文、p. 459）。
商空間として。 $S^G$ が有限生成なら $\operatorname{Spec}S^G$ はアフィン多様体（スキーム）で、$\operatorname{Spec}S$ を $G$ で割った商の候補になる。有限群の場合は有限群による商で扱う。

文献

主定理の証明は Mil15 Theorem 14.53（pp. 241–242）と同じで、Reynolds 作用素の構成も同所の Definition 14.48 の後の段落（p. 241）にある。この記事の thm-hf-main は、群を使わず「$R$ 線形な射影」だけで述べた形にした。prop-hf-unitary の証明はユニタリ・トリックを多項式の恒等式の形で書いたものである。永田の反例は Nag60 にある。