浮動小数点数(floating-point number)とは、基数 $\beta$、精度 $p$、指数の範囲 $[e_{\min},e_{\max}]$ を固定したとき、$\pm M\beta^{e-p+1}$($M$ は $\beta^{p}$ 未満の整数で、指数が範囲内にあり、正規化数では $M\ge\beta^{p-1}$)の形に書ける有限個の実数と零のことである。最近接丸めの相対誤差は、結果が正規化数の範囲にあるとき単位丸め $u=\frac12\beta^{1-p}$ 以下である。倍精度は $\beta=2$、$p=53$ で、$u=2^{-53}$ である。
浮動小数点数(floating-point number)は、計算機で実数を近似するために使う、$\pm m\times\beta^e$ の形の有限個の数である。$m$ の桁数と指数 $e$ の範囲を固定するので、大きさの違う数を同じ相対精度で扱える。その代わり、ほとんどの実数は正確には表せない。たとえば倍精度で $0.1+0.2$ を計算すると $0.30000000000000004$ になり、$0.3$ を格納した値とは等しくならない。
この記事では、数の体系を定義し(def-fp-system)、IEEE 754 の形式を表にする。そのうえで、誤差(数値解析) の定義「標準浮動小数点モデル」で仮定した式 $\mathrm{fl}(x\circ y)=(x\circ y)(1+\delta)$ を、最近接丸めの定義から証明する(thm-fp-rounding、cor-fp-model)。さらに、近い数の引き算は丸めなしで正確であること(thm-fp-sterbenz)と、それでも有効数字が失われる理由(prop-fp-cancellation)を示す。
整数 $\beta\ge2$(基数)、$p\ge2$(精度)、$e_{\min}< e_{\max}$ を固定する。次の 3 種類の実数の集合を $F=F(\beta,p,e_{\min},e_{\max})$ と書く。
$N_{\min}:=\beta^{e_{\min}}$ は正規化数の最小の絶対値、$N_{\max}:=\beta^{e_{\max}+1}(1-\beta^{-p})$ は $F$ の最大値、$\tau:=\beta^{e_{\min}-p+1}$ は最小の正の元である。
$[\beta^e,\beta^{e+1})$ の中の $F$ の元は等間隔で、間隔は $\beta^{e-p+1}$ である。これを ulp(unit in the last place)という。$[0,\beta^{e_{\min}+1})$ の中の元はすべて間隔 $\tau$ で並ぶ。指数が 1 つ上がるごとに間隔が $\beta$ 倍になるので、絶対的な間隔は不揃いだが、$x$ に対する間隔の比はほぼ一定である。
$\lvert x\rvert\le N_{\max}$ の実数 $x$ に対し、$\mathrm{rd}(x)\in F$ を $x$ に最も近い $F$ の元とする。候補が 2 つあるときは、$M$ が偶数のものをとる(零は $M=0$ とみなす)。これを 最近接丸め(偶数への丸め)という。$x\circ y$($\circ\in\{+,-,\times,/\}$)の 計算結果 を $x\odot y:=\mathrm{rd}(x\circ y)$ と書く。$\oplus$、$\ominus$、$\otimes$ なども同様である。
IEEE 754 は、四則演算と平方根の結果を、正確な値を丸めたものと定める。最近接丸めでは、$\lvert x\rvert>N_{\max}+\frac12\beta^{e_{\max}-p+1}$ のとき結果は $\pm\infty$ になり、$N_{\max}$ との間の $x$ は $\pm N_{\max}$ になる。等号のときは、$\beta$ が偶数なら $\pm\infty$、奇数なら $\pm N_{\max}$ になる。丸めの向きを下向き・上向きに切り替えることもでき、区間演算 はこれを使う。
$F$ の元はすべて $\mathbb{Z}[1/\beta]$ に入る。とくに $\beta=2$ なら、既約分数 $a/b$ が $F$ に入るには $b$ が 2 の冪でなければならない。$\frac1{10}$ は $e_{\min},e_{\max},p$ をどう選んでも 2 進の系には入らない。
IEEE 754 の 2 進形式は次のとおりである。$\beta=2$ で、$\varepsilon_M:=\beta^{1-p}$、$u:=\frac12\beta^{1-p}$ とする(次節で説明する)。
| 形式 | 符号+指数+仮数のビット数 | $p$ | $e_{\min}$ | $e_{\max}$ | $N_{\max}$ | $N_{\min}$ | $\tau$ | $\varepsilon_M$ | $u$ |
|---|---|---|---|---|---|---|---|---|---|
| binary32(単精度) | $1+8+23$ | $24$ | $-126$ | $127$ | $3.40\times10^{38}$ | $1.18\times10^{-38}$ | $1.40\times10^{-45}$ | $1.19\times10^{-7}$ | $5.96\times10^{-8}$ |
| binary64(倍精度) | $1+11+52$ | $53$ | $-1022$ | $1023$ | $1.80\times10^{308}$ | $2.23\times10^{-308}$ | $4.94\times10^{-324}$ | $2.22\times10^{-16}$ | $1.11\times10^{-16}$ |
| binary128(4 倍精度) | $1+15+112$ | $113$ | $-16382$ | $16383$ | $1.19\times10^{4932}$ | $3.36\times10^{-4932}$ | $6.48\times10^{-4966}$ | $1.93\times10^{-34}$ | $9.63\times10^{-35}$ |
正規化数の先頭の桁は常に $1$ なので、仮数の欄には残りの $p-1$ ビットだけを置く(隠れビット)。倍精度の指数の欄 $E$ は次のように解釈する。
| 指数の欄 $E$ | 仮数の欄 | 値 |
|---|---|---|
| $1\le E\le2046$ | $f$ | 正規化数 $\pm(1+f2^{-52})2^{E-1023}$ |
| $0$ | $f\ne0$ | 非正規化数 $\pm f2^{-1074}$ |
| $0$ | $0$ | $\pm0$(比較では等しい) |
| $2047$ | $0$ | $\pm\infty$ |
| $2047$ | $f\ne0$ | NaN(非数。$0/0$、$\sqrt{-1}$ などの結果) |
$u:=\frac12\beta^{1-p}$ を 単位丸め(unit roundoff)という。
$x$ を実数とする。
$F$ は符号で対称で、$\mathrm{rd}$ も奇関数なので、$x>0$ としてよい。
(1) $\beta^e\le x< \beta^{e+1}$ となる整数 $e$ をとると、$e_{\min}\le e\le e_{\max}$ である。$s:=\beta^{e-p+1}$ とおく。$\beta^e$ から $\beta^{e+1}$ までの $s$ の倍数のうち $N_{\max}$ 以下のものは $F$ の元で、$x\le N_{\max}$ なので $x$ は隣り合う 2 つの元の間にある。よって $\lvert\mathrm{rd}(x)-x\rvert\le\frac s2=u\beta^e$ である($s=2u\beta^e$ に注意する)。
$x\ge\beta^e(1+u)$ のとき、$\beta^e\le\frac x{1+u}$ なので
$$
\frac{\lvert\mathrm{rd}(x)-x\rvert}x\le\frac{u\beta^e}x\le\frac u{1+u}
$$
である。$\beta^e\le x< \beta^e(1+u)$ のとき、$t:=x-\beta^e$ は $0\le t< u\beta^e=\frac s2$ を満たすので、最も近い元は $\beta^e$ であり、誤差は $t$ である。$t\mapsto\frac t{\beta^e+t}$ は増加なので
$$
\frac{\lvert\mathrm{rd}(x)-x\rvert}x=\frac t{\beta^e+t}< \frac{u\beta^e}{\beta^e+u\beta^e}=\frac u{1+u}
$$
である。どちらの場合も $\delta:=(\mathrm{rd}(x)-x)/x$ が条件を満たす。
(2) $0\le x< N_{\min}$ の範囲で、$\tau$ の倍数は $N_{\min}$ まですべて $F$ の元である。$x$ は間隔 $\tau$ の 2 つの元の間にあるので、誤差は $\frac\tau2$ 以下である。
(3) $\lvert x\rvert\ge N_{\min}$ なら (1) の $\delta$ と $\eta=0$ をとる。$\lvert x\rvert< N_{\min}$ なら $\delta=0$、$\eta=\mathrm{rd}(x)-x$ をとる。$\square$
1 の評価は等号をとれる。$\beta=2$ で $x=1+2^{-p}$ は $1$ と次の元 $1+2^{1-p}$ のちょうど中点で、偶数への丸めで $\mathrm{rd}(x)=1$ となり、相対誤差は $\frac u{1+u}$ である。
$x,y\in F$、$\circ\in\{+,-,\times,/\}$(割り算では $y\ne0$)とし、$N_{\min}\le\lvert x\circ y\rvert\le N_{\max}$ とする。このとき
$$
x\odot y=(x\circ y)(1+\delta),\qquad\lvert\delta\rvert\le u
$$
である。倍精度では $u=2^{-53}\approx1.11\times10^{-16}$ である。
$x\odot y=\mathrm{rd}(x\circ y)$ に thm-fp-rounding の 1 を当て、$\frac u{1+u}\le u$ を使う。$\square$
誤差(数値解析) の定義「標準浮動小数点モデル」と、そこから導かれる命題「丸め誤差の積の評価」は、結果が正規化数の範囲にある限り、この系で成り立つ。
同じ名前で違う量を指す文献がある。計算の前に、どれを使っているかを確かめる。
| 記号の例 | 定義 | 倍精度 | 意味 |
|---|---|---|---|
| $\varepsilon_M=\beta^{1-p}$ | $1$ と $1$ の次の元の差 | $2^{-52}\approx2.22\times10^{-16}$ | $1$ での ulp |
| $u=\frac12\beta^{1-p}$ | 最近接丸めの相対誤差の上界 | $2^{-53}\approx1.11\times10^{-16}$ | thm-fp-rounding |
| $\min\{x>0:1\oplus x>1\}$ | $F$ の中でそれを満たす最小の元 | $2^{-53}(1+2^{-52})$ | どちらとも違う |
3 行目が $2^{-53}$ でないのは、$1+2^{-53}$ が中点で、偶数への丸めで $1$ になるからである。誤差(数値解析) の $\varepsilon_{\mathrm{mach}}=2^{-d}$ は $d=p-1$ とした $\varepsilon_M$ で、$u=\varepsilon_{\mathrm{mach}}/2$ である。
$m$ を $0\le m< \beta^p$ の整数、$e$ を $e_{\min}\le e\le e_{\max}$ の整数とすると、$m\beta^{e-p+1}\in F$ である。
$m=0$ なら零である。$m\ge1$ とする。$j\in\{0,1,\dots,e-e_{\min}\}$ のうち $m\beta^j< \beta^p$ を満たす最大のものをとり、$M:=m\beta^j$、$e':=e-j$ とおくと、$m\beta^{e-p+1}=M\beta^{e'-p+1}$ である。$M\ge\beta^{p-1}$ なら、これは指数 $e'$ の正規化数である。$M< \beta^{p-1}$ なら、$j$ の最大性から $j=e-e_{\min}$ であり(そうでなければ $M\beta< \beta^p$ となる)、$e'=e_{\min}$ なので非正規化数である。$\square$
$x,y\in F$ を正の数とし、$\dfrac y2\le x\le2y$ とする。このとき $x-y\in F$ であり、したがって $x\ominus y=x-y$ である。
$F$ は符号で対称で、$x$ と $y$ の役割は対称なので、$x\ge y$ としてよい。$y=Ms$、$s=\beta^{e-p+1}$ と書く。正規化数なら $e$ は指数、非正規化数なら $e=e_{\min}$ で、どちらも $M< \beta^p$ である。$x\ge y$ なので $x$ の指数は $e$ 以上であり、$x$ も $s$ の整数倍である。よって $x-y=ks$($k\ge0$ は整数)と書ける。$x\le2y$ より $x-y\le y$ なので $k\le M< \beta^p$ である。lem-fp-grid により $x-y\in F$ である。$\square$
この定理は Sterbenz の補題 として知られる。非正規化数があることで、次も成り立つ。非正規化数で $0$ までの間を埋めるこの仕組みを 段階的アンダーフロー という。
$x,y\in F$ について $\lvert x\pm y\rvert< \beta^{e_{\min}+1}$ なら、$x\pm y\in F$ である。とくに、$x\ne y$ なら $x\ominus y\ne0$ である。
$F$ の元はすべて $\tau$ の整数倍なので、$x\pm y=k\tau$($k$ は整数)である。$\lvert k\rvert\tau< \beta^{e_{\min}+1}$ より $\lvert k\rvert< \beta^p$ なので、lem-fp-grid を $e=e_{\min}$ で使うと $\lvert x\pm y\rvert\in F$ である。後半:$\lvert x-y\rvert\ge\beta^{e_{\min}+1}$ なら、引き算の結果は丸めても $0$ にならない。そうでなければ前半より $x\ominus y=x-y\ne0$ である。$\square$
thm-fp-sterbenz によると、近い数の引き算そのものは誤差を生まない。問題は、引く前の数にすでに含まれている誤差である。
実数 $a\ne b$ の近似 $x=a(1+\delta_1)$、$y=b(1+\delta_2)$($\lvert\delta_i\rvert\le u$)について
$$
\frac{\lvert(x-y)-(a-b)\rvert}{\lvert a-b\rvert}\le u\,\frac{\lvert a\rvert+\lvert b\rvert}{\lvert a-b\rvert}
$$
である。
$(x-y)-(a-b)=a\delta_1-b\delta_2$ の絶対値は $u(\lvert a\rvert+\lvert b\rvert)$ 以下である。$\square$
$\frac{\lvert a\rvert+\lvert b\rvert}{\lvert a-b\rvert}$ は引き算の 条件数 である。これが $10^k$ なら、$k$ 桁の相対精度を失うことがある。このとき結果を「引き算が不正確」と考えるのは誤りで、失われた情報は入力の丸めで既に失われている。対策は、近い数の引き算が起きないように式を書き換えることである。
| 式 | 危ない範囲 | 書き換え | 根拠 |
|---|---|---|---|
| $x^2+bx+c=0$ の小さいほうの解($b^2\gg\lvert c\rvert$) | $\lvert b\rvert$ と $\sqrt{b^2-4c}$ が近い | 大きいほうの解 $x_1$ を求め、$x_2=c/x_1$ | 解と係数の関係 |
| $1-\cos x$ | $\lvert x\rvert$ が小さい | $2\sin^2\frac x2$ | 倍角の公式 |
| $e^x-1$ | $\lvert x\rvert$ が小さい | 標準の関数 $\mathrm{expm1}$ | 級数 $x+\frac{x^2}2+\cdots$ を直接計算する |
| $\sqrt{1+h}-1$ | $\lvert h\rvert$ が小さい | $\dfrac h{\sqrt{1+h}+1}$ | 誤差(数値解析) の例「有理化による桁落ちの回避」 |
$\beta=2$、$p=3$、$e_{\min}=-1$、$e_{\max}=2$ とする。正規化数は $\frac12,\frac58,\frac34,\frac78$;$1,\frac54,\frac32,\frac74$;$2,\frac52,3,\frac72$;$4,5,6,7$ の 16 個、非正規化数は $\frac18,\frac14,\frac38$ の 3 個である。$N_{\max}=7$、$N_{\min}=\frac12$、$\tau=\frac18$、$u=\frac18$ である。
丸めの例:$1+\frac18$ は $1$($M=4$)と $\frac54$($M=5$)の中点なので $1\oplus\frac18=1$ である。よって
$$
\Bigl(1\oplus\frac18\Bigr)\oplus\frac18=1,\qquad1\oplus\Bigl(\frac18\oplus\frac18\Bigr)=\frac54
$$
となり、加法は結合的でない。$\frac58\ominus\frac12=\frac18$ は正確である(thm-fp-gradual)。
上:F(2,3,-1,2) の非負の数を数直線に並べた図で、正規化数と非正規化数と零を色で分ける。下:x に対する丸めの相対誤差のグラフで、上界の水平線の下で山が並ぶ
図の上は、間隔が 2 の冪を越えるごとに 2 倍になり、$0$ の近くでは非正規化数が等間隔に埋めることを示す。下では、相対誤差の山が $\frac u{1+u}=\frac19$ で頭打ちになる。
倍精度で $0.1$ を格納する。$2^{-4}\le0.1< 2^{-3}$ なので $e=-4$、間隔は $2^{-56}$ である。$0.1\times2^{56}=7205759403792793.6$ を丸めて $M=7205759403792794$ とする。格納された数は
$$
x=M2^{-56}=0.1000000000000000055511151\ldots
$$
で、ビット列は 16 進で $\texttt{3FB999999999999A}$ である。$0.2$ の格納値は $2x$ である。
和の正確な値は $3M2^{-56}=0.3000000000000000166533\ldots$ で、$[2^{-2},2^{-1})$ の間隔 $2^{-54}$ で測ると $3M/4=5404319552844595.5$ である。ちょうど中点なので、偶数の $5404319552844596$ に丸められ、$0.1\oplus0.2=0.3000000000000000444\ldots$ となる。
一方、$0.3\times2^{54}=5404319552844595.2$ なので、$0.3$ の格納値の仮数は $5404319552844595$ で、値は $0.29999999999999998889\ldots$ である。2 つは 1 ulp 違うので、比較は等しくならない。
$a=1+10^{-12}$、$b=1$ とする。$x=\mathrm{rd}(a)$ は $\frac12\le\frac xb\le2$ を満たすので、$x\ominus1$ は正確である(thm-fp-sterbenz)。ところが結果は $1.000088900582341\times10^{-12}$ で、$10^{-12}$ との相対誤差は $8.89\times10^{-5}$ である。prop-fp-cancellation の上界は $u(2+10^{-12})\times10^{12}\approx2.22\times10^{-4}$ で、実際の値はその中にある。16 桁近かった精度が 4 桁まで落ちたが、原因は $x$ の丸めであり、引き算ではない。
$x^2-10^8x+1=0$ の解は $x_1\approx10^8$、$x_2=1.0000000000000001\times10^{-8}$(有効数字 17 桁)である。解の公式をそのまま使うと
$$
\frac{10^8-\sqrt{10^{16}-4}}2\ \text{の計算結果}=7.450580596923828\times10^{-9}
$$
となり、相対誤差は $25\%$ である。$x_1=\frac{10^8+\sqrt{10^{16}-4}}2$ を先に求め、$x_2=1/x_1$ とすると $1.0\times10^{-8}$ となり、相対誤差は $7.9\times10^{-17}$ である。
倍精度で計算し、真の値との相対誤差を比べる。
| 計算 | $x$ | そのままの結果 | 相対誤差 | 書き換えの結果 | 相対誤差 |
|---|---|---|---|---|---|
| $1-\cos x$ | $1.2\times10^{-5}$ | $7.199996154838573\times10^{-11}$ | $5.3\times10^{-7}$ | $7.199999999913601\times10^{-11}$ | $4.4\times10^{-17}$ |
| $1-\cos x$ | $10^{-8}$ | $0$ | $1$ | $5.0000000000000005\times10^{-17}$ | $10^{-16}$ 以下 |
| $e^x-1$ | $10^{-10}$ | $1.000000082740371\times10^{-10}$ | $8.3\times10^{-8}$ | $1.00000000005\times10^{-10}$ | $3.4\times10^{-17}$ |
各行は定理の条件を 1 つだけ外す。実数の計算で成り立つことのうち、浮動小数点の計算で成り立たなくなるものも含める。数値は倍精度である。
| 外す条件 | 反例 | 成り立たなくなる結論 |
|---|---|---|
| $\lvert x\rvert\ge N_{\min}$(cor-fp-model) | $2^{-600}\otimes2^{-600}=0$ | 相対誤差は $\delta=-1$ で、$\lvert\delta\rvert\le u$ でない |
| $\lvert x\rvert\le N_{\max}$(cor-fp-model) | $2^{600}\otimes2^{600}=+\infty$ | 有限の値にならない |
| $\frac y2\le x\le2y$(thm-fp-sterbenz) | $x=1$、$y=2^{-60}$ | $x-y\notin F$ で、$x\ominus y=1$ |
| 非正規化数の存在(thm-fp-gradual) | 非正規化数を $0$ に潰す演算で $x=2^{-1022}(1+2^{-52})$、$y=2^{-1022}$ | $x\ne y$ だが結果は $0$ |
| 正確な加法(結合法則) | $0.1$、$0.2$、$0.3$ | $(0.1\oplus0.2)\oplus0.3=0.6000000000000001$、$0.1\oplus(0.2\oplus0.3)=0.6$ |
| 正確な加法(零の一意性) | $x=2^{53}$、$y=1$ | $x\oplus y=x$ だが $y\ne0$ |
| 有限の数($x=x$) | NaN | NaN は自分自身と等しくない |
4 行目:$x-y=2^{-1074}=\tau$ は非正規化数である。これを $0$ に潰すと、$x\ne y$ なのに $x-y$ の判定が $0$ になり、$x\ne y$ を確かめてから $1/(x-y)$ を計算するプログラムが $0$ で割る。
6 行目:$2^{53}+1$ は $2^{53}$ と $2^{53}+2$ の中点で、偶数の側 $2^{53}$ に丸められる。倍精度の整数が正確なのは絶対値 $2^{53}$ までである。
結合法則が成り立たないことは 誤差(数値解析) の例「反例:浮動小数点の加法は結合的でない」でも扱う。
| 誤り | 正しくは | なぜ |
|---|---|---|
2 つの計算結果を == で比べる | 許容差で比べる | $0.1\oplus0.2\ne\mathrm{rd}(0.3)$ |
| $\varepsilon_M$ と $u$ を混同する | 文献ごとに定義を確かめる。$\varepsilon_M=2u$ | 節「機械イプシロン」 |
| 桁落ちは引き算の丸め誤差だとする | 近い数の引き算は正確で、入力の誤差が拡大する | thm-fp-sterbenz、prop-fp-cancellation |
| 倍精度なら結果は常に 16 桁正しいとする | 1 回の演算の相対誤差が $u$ 以下なだけで、結果の精度は条件数で決まる | prop-fp-cancellation |
| 十進で有限の小数は正確に格納されるとする | 2 進では分母が 2 の冪の数だけが有限桁になる | def-fp-system |
| $x\ne y$ なら $x\ominus y\ne0$ はどの環境でも成り立つとする | 成り立つのは段階的アンダーフローが有効なとき | thm-fp-gradual |
丸めの誤差も浮動小数点数で正確に表せる。Rum10 の Algorithm 3.1 は、倍精度の最近接丸めで桁あふれが起きないとき、$a,b\in F$ に対して $x=a\oplus b$、$z=x\ominus a$、$e=x\ominus z$、$f=b\ominus z$、$y=(a\ominus e)\oplus f$ を計算するもので、同論文の Theorem 3.2 によると $x+y=a+b$ が正確に成り立つ。この定理はこの記事では証明しない。$a=\mathrm{rd}(0.1)$、$b=\mathrm{rd}(0.2)$ では $y=-2^{-55}$ である。
Mathpediaは寄付と、参考文献の書籍リンク(Amazonアソシエイト)の紹介料で運営されています。 支援について / 寄付する