海濱的城邦艾斯塔拉（Estara）以豐饒的漁場聞名。三個月前，一支商隊遠航出海，至今杳無音訊。國王要做的只有一件事：確定旗艦現在在何處——那是一個沒人知道的角度 $\theta$，指向海圖上某個確切的位置。

$\theta$ 藏在厚厚的海霧之後，誰也看不見它，但所有人都想知道它在哪裡。

一、霧中的觀測

城邦沿海岸線建了十座燈塔。每夜，各塔的守塔人向王宮遞呈密報：「今夜，我望見旗艦的信號燈在這個角度。」

問題是霧太厚。每位守塔人望見的角度都偏離真相，偏多少沒人知道，只知道偏誤像鐘形的山丘分佈——小偏誤居多，大偏誤罕見，而且每位守塔人的偏誤彼此獨立。若真值是 $\theta$，某位守塔人報出的角度 $x$ 服從：

$$ p(x \mid \theta) = \frac{1}{\sqrt{2\pi},\sigma}\exp!\left(-\frac{(x-\theta)^2}{2\sigma^2}\right) $$

$\sigma$ 就是霧的濃度。霧越濃，一報角度越不可信。

國王把密報堆在案上，召來全城的算數師：「告訴我旗艦在哪。你們愛怎麼算就怎麼算——取平均、加權、任何你們發明的魔法公式。我只問一件事：你們最多會錯多遠？」

二、三十七種算法，同一堵牆

算數師們交出了三十七種估法。笨的，直接把十份密報取平均；聰明的，加權、迭代，甚至用三座燈塔的交叉回聲。

國王讓每一種算法對一千個假想的夜晚重演。結果驚人：

• 再聰明的算法，平均起來的平方誤差——統計學家叫它變異數——總在某一處停下，怎麼精修都下不去。
• 三十七條曲線，在最低點全部撞上了同一堵牆。

國王不信：「再聰明一點！」第四十種、第五十種……每一種算法，牆都擋在那裡。

這堵牆有一個名字。牆後站著一位白鬍子的智者，城邦人對它俯首稱「費雪（Fisher）」。他從不現身，只在每座燈塔的牆上留下一行小字：

「此牆高 $\dfrac{1}{n \cdot I(\theta)}$。欲矮牆：增燈塔，或磨利望遠鏡。」

$n$ 是燈塔數（觀測份數），$I(\theta)$ 是牆上那行字的第二個量——費雪自稱它是「信息稅」。

三、信息稅是什麼

城邦的稅吏想不通：「真理為何要收稅？」

費雪的回答刻在燈塔的石階上：

「把 $\theta$ 微微移動一小格，觀察各燈塔的報告會跟著變動多少。動得越多，信息越多，稅越重，牆越低。」

若霧中望見的角度幾乎不隨旗艦位置改變（望遠鏡太鈍），$I(\theta)$ 就小，牆就高——再多觀測也是白費。若換上銳利的鏡，報告隨真值劇烈變動，$I(\theta)$ 大，牆塌。

對高斯霧，石階上寫著：

$$ I(\theta) = \mathbb{E}!\left[\left(\frac{\partial}{\partial\theta}\ln p(x\mid\theta)\right)^2\right] = \frac{1}{\sigma^2} $$

霧越薄（$\sigma$ 越小），信息稅越重，牆越低。觀測的品質，直接決定了精度的物理下限。

四、摸牆的領航人

國王問：「有誰能恰好站在牆上，一步不多、一步不少？」

有。那個人被叫作「高效者」——他的估法恰好取到牆上那格：

$$ \mathrm{Var}(\hat\theta) = \frac{1}{n, I(\theta)} $$

在高斯霧裡，這位高效者正是最笨的那個算數師——樣本平均。十座燈塔的報告直接平均，恰好摸牆。聰明反被聰明誤：加權、迭代，全都離牆更遠。

其餘城邦（非高斯的世界）沒有估法能摸到牆。但國王發現一個規律：燈塔蓋得越多，所有算數師都沿著 $\dfrac{1}{n}$ 的斜率無聲地靠向牆。其中那位最被信賴的算數師——用「最大可能」（哪組 $\theta$ 讓今夜這封封密報最有可能發生）反推真值的最大似然算數師——燈塔夠多時，永遠第一個站上牆。

統計學家把「隨觀測數增長而觸到牆」的算法叫漸近高效；把「有限觀測下就恰好摸牆」的估法叫有效估計量。

五、想抄近道的國王

國王的寵臣獻計：「故意偏一點！若我總往東偏 $b$，也許總誤差更小。」

費雪在石階上又添一行：「偏，是另一種遊戲。」偏置估計量可以矮於無偏之牆，代價是「每次都朝同一邊錯」。想贏，得把偏置一併算進總誤差（均方誤差）——那是另一篇長篇寓言的故事。今日的王宮只記一句：對無偏估計，無牆可抄。

六、揭曉

百年後，艾斯塔拉的燈塔石階上刻著兩行字，各屬於兩位數學家——拉奧（Rao）與克拉美（Cramér），二人於 1945 與 1946 年間各自獨立地得到了同一結論：

$$ \mathrm{Var}(\hat\theta) ;\geq; \frac{1}{n, I(\theta)} $$

這堵牆，叫做——

克拉美—拉奧下界（Cramér–Rao Lower Bound）

而牆上那行「信息稅」，叫做 費雪信息量（Fisher Information）。

概念解說

1. 定理本體

設 $X_1, \dots, X_n$ 為來自 $p(x\mid\theta)$ 的獨立同分佈觀測，費雪信息量定義為

$$ I(\theta) = \mathbb{E}{\theta}!\left[\left(\frac{\partial}{\partial\theta}\ln p(X\mid\theta)\right)^2\right] = -\mathbb{E}{\theta}!\left[\frac{\partial^2}{\partial\theta^2}\ln p(X\mid\theta)\right] $$

（兩式在正則條件下相等。）若 $\hat\theta$ 是無偏估計量（$\mathbb{E}[\hat\theta]=\theta$），則

$$ \mathrm{Var}(\hat\theta) ;\geq; \frac{1}{n,I(\theta)} $$

證明只有兩步：對 $\mathbb{E}[\hat\theta-\theta]=0$ 兩側對 $\theta$ 微分，得到「score × 估計誤差」的恆等式，再套 Cauchy–Schwarz 不等式。定理只用了「無偏」與「正則」兩條假設，所以它套在幾乎任何實驗上。

2. 高斯例：故事中的霧

$p(x\mid\theta)\sim\mathcal{N}(\theta,\sigma^2)$ 時，$I(\theta)=1/\sigma^2$，下界為 $\sigma^2/n$。樣本平均 $\bar X$ 的變異數恰好等於 $\sigma^2/n$——它是有效估計量：高斯族中不存在比它更好的無偏估法。故事裡「最笨的算數師恰好摸牆」不是比喻，是高斯分佈的定理。

3. 為什麼重要

• 實驗設計：$I(\theta)$ 是「花多少觀測換多少精度」的匯率。加燈塔（$n$）是 $1/n$ 線性收斂；磨望遠鏡（$\sigma$）是平方收斂——先磨鏡，再加塔。
• 機器學習：最大似然估計的漸近分佈是 $\mathcal{N}!\left(\theta,,[n,I(\theta)]^{-1}\right)$——MLE 的誤差橢由費雪信息量（多參數時為費雪信息矩陣）畫出。貝葉斯推論裡的後驗不確定度、自然梯度（用費雪信息矩陣的逆做梯度步）都同出一源。
• 測距與定位：雷達、GPS、天文定位的精度下界都由它算出；低於下界的「超解析」聲稱，要麼偏置、要麼非正則、要麼算錯。
• 資訊幾何：統計族被費雪信息度量彎曲成流形，Cramér–Rao 下界是這套幾何的直接推論。

4. 邊界情形（研究生要記的坑）

• 有偏置 $b(\theta)$ 時，下界改成 $\mathrm{MSE} \ge \dfrac{\big(1+b’(\theta)\big)^2}{n,I(\theta)}$——故事第五節那「另一種遊戲」。
• 分佈族不正則（參數決定支撐集，如均勻分佈的端點）時定理前提失效，下界可能不再是 $1/(nI)$ 量級。
• Fano 不等式把它推到有偏/離散世界：錯誤率受觀測與真值間的互信息壓制——同一堵牆的另一面。

隱喻對照表