統計學 on Intellectual Guides

研究生知識寓言：霧港的燈塔與神牆

Sun, 18 Oct 2026 08:00:00 +0800

海濱的城邦艾斯塔拉（Estara）以豐饒的漁場聞名。三個月前，一支商隊遠航出海，至今杳無音訊。國王要做的只有一件事：確定旗艦現在在何處——那是一個沒人知道的角度 $\theta$，指向海圖上某個確切的位置。

$\theta$ 藏在厚厚的海霧之後，誰也看不見它，但所有人都想知道它在哪裡。

一、霧中的觀測

城邦沿海岸線建了十座燈塔。每夜，各塔的守塔人向王宮遞呈密報：「今夜，我望見旗艦的信號燈在這個角度。」

問題是霧太厚。每位守塔人望見的角度都偏離真相，偏多少沒人知道，只知道偏誤像鐘形的山丘分佈——小偏誤居多，大偏誤罕見，而且每位守塔人的偏誤彼此獨立。若真值是 $\theta$，某位守塔人報出的角度 $x$ 服從：

$$ p(x \mid \theta) = \frac{1}{\sqrt{2\pi},\sigma}\exp!\left(-\frac{(x-\theta)^2}{2\sigma^2}\right) $$

$\sigma$ 就是霧的濃度。霧越濃，一報角度越不可信。

國王把密報堆在案上，召來全城的算數師：「告訴我旗艦在哪。你們愛怎麼算就怎麼算——取平均、加權、任何你們發明的魔法公式。我只問一件事：你們最多會錯多遠？」

二、三十七種算法，同一堵牆

算數師們交出了三十七種估法。笨的，直接把十份密報取平均；聰明的，加權、迭代，甚至用三座燈塔的交叉回聲。

國王讓每一種算法對一千個假想的夜晚重演。結果驚人：

再聰明的算法，平均起來的平方誤差——統計學家叫它變異數——總在某一處停下，怎麼精修都下不去。
三十七條曲線，在最低點全部撞上了同一堵牆。

國王不信：「再聰明一點！」第四十種、第五十種……每一種算法，牆都擋在那裡。

這堵牆有一個名字。牆後站著一位白鬍子的智者，城邦人對它俯首稱「費雪（Fisher）」。他從不現身，只在每座燈塔的牆上留下一行小字：

「此牆高 $\dfrac{1}{n \cdot I(\theta)}$。欲矮牆：增燈塔，或磨利望遠鏡。」

$n$ 是燈塔數（觀測份數），$I(\theta)$ 是牆上那行字的第二個量——費雪自稱它是「信息稅」。

三、信息稅是什麼

城邦的稅吏想不通：「真理為何要收稅？」

費雪的回答刻在燈塔的石階上：

「把 $\theta$ 微微移動一小格，觀察各燈塔的報告會跟著變動多少。動得越多，信息越多，稅越重，牆越低。」

若霧中望見的角度幾乎不隨旗艦位置改變（望遠鏡太鈍），$I(\theta)$ 就小，牆就高——再多觀測也是白費。若換上銳利的鏡，報告隨真值劇烈變動，$I(\theta)$ 大，牆塌。

對高斯霧，石階上寫著：

$$ I(\theta) = \mathbb{E}!\left[\left(\frac{\partial}{\partial\theta}\ln p(x\mid\theta)\right)^2\right] = \frac{1}{\sigma^2} $$

霧越薄（$\sigma$ 越小），信息稅越重，牆越低。觀測的品質，直接決定了精度的物理下限。

四、摸牆的領航人

國王問：「有誰能恰好站在牆上，一步不多、一步不少？」

有。那個人被叫作「高效者」——他的估法恰好取到牆上那格：

$$ \mathrm{Var}(\hat\theta) = \frac{1}{n, I(\theta)} $$

在高斯霧裡，這位高效者正是最笨的那個算數師——樣本平均。十座燈塔的報告直接平均，恰好摸牆。聰明反被聰明誤：加權、迭代，全都離牆更遠。

其餘城邦（非高斯的世界）沒有估法能摸到牆。但國王發現一個規律：燈塔蓋得越多，所有算數師都沿著 $\dfrac{1}{n}$ 的斜率無聲地靠向牆。其中那位最被信賴的算數師——用「最大可能」（哪組 $\theta$ 讓今夜這封封密報最有可能發生）反推真值的最大似然算數師——燈塔夠多時，永遠第一個站上牆。

統計學家把「隨觀測數增長而觸到牆」的算法叫漸近高效；把「有限觀測下就恰好摸牆」的估法叫有效估計量。

五、想抄近道的國王

國王的寵臣獻計：「故意偏一點！若我總往東偏 $b$，也許總誤差更小。」

費雪在石階上又添一行：「偏，是另一種遊戲。」偏置估計量可以矮於無偏之牆，代價是「每次都朝同一邊錯」。想贏，得把偏置一併算進總誤差（均方誤差）——那是另一篇長篇寓言的故事。今日的王宮只記一句：對無偏估計，無牆可抄。

六、揭曉

百年後，艾斯塔拉的燈塔石階上刻著兩行字，各屬於兩位數學家——拉奧（Rao）與克拉美（Cramér），二人於 1945 與 1946 年間各自獨立地得到了同一結論：

$$ \mathrm{Var}(\hat\theta) ;\geq; \frac{1}{n, I(\theta)} $$

這堵牆，叫做——

克拉美—拉奧下界（Cramér–Rao Lower Bound）

而牆上那行「信息稅」，叫做 費雪信息量（Fisher Information）。

概念解說

1. 定理本體

設 $X_1, \dots, X_n$ 為來自 $p(x\mid\theta)$ 的獨立同分佈觀測，費雪信息量定義為

$$ I(\theta) = \mathbb{E}{\theta}!\left[\left(\frac{\partial}{\partial\theta}\ln p(X\mid\theta)\right)^2\right] = -\mathbb{E}{\theta}!\left[\frac{\partial^2}{\partial\theta^2}\ln p(X\mid\theta)\right] $$

（兩式在正則條件下相等。）若 $\hat\theta$ 是無偏估計量（$\mathbb{E}[\hat\theta]=\theta$），則

$$ \mathrm{Var}(\hat\theta) ;\geq; \frac{1}{n,I(\theta)} $$

證明只有兩步：對 $\mathbb{E}[\hat\theta-\theta]=0$ 兩側對 $\theta$ 微分，得到「score × 估計誤差」的恆等式，再套 Cauchy–Schwarz 不等式。定理只用了「無偏」與「正則」兩條假設，所以它套在幾乎任何實驗上。

2. 高斯例：故事中的霧

$p(x\mid\theta)\sim\mathcal{N}(\theta,\sigma^2)$ 時，$I(\theta)=1/\sigma^2$，下界為 $\sigma^2/n$。樣本平均 $\bar X$ 的變異數恰好等於 $\sigma^2/n$——它是有效估計量：高斯族中不存在比它更好的無偏估法。故事裡「最笨的算數師恰好摸牆」不是比喻，是高斯分佈的定理。

3. 為什麼重要

實驗設計：$I(\theta)$ 是「花多少觀測換多少精度」的匯率。加燈塔（$n$）是 $1/n$ 線性收斂；磨望遠鏡（$\sigma$）是平方收斂——先磨鏡，再加塔。
機器學習：最大似然估計的漸近分佈是 $\mathcal{N}!\left(\theta,,[n,I(\theta)]^{-1}\right)$——MLE 的誤差橢由費雪信息量（多參數時為費雪信息矩陣）畫出。貝葉斯推論裡的後驗不確定度、自然梯度（用費雪信息矩陣的逆做梯度步）都同出一源。
測距與定位：雷達、GPS、天文定位的精度下界都由它算出；低於下界的「超解析」聲稱，要麼偏置、要麼非正則、要麼算錯。
資訊幾何：統計族被費雪信息度量彎曲成流形，Cramér–Rao 下界是這套幾何的直接推論。

4. 邊界情形（研究生要記的坑）

有偏置 $b(\theta)$ 時，下界改成 $\mathrm{MSE} \ge \dfrac{\big(1+b’(\theta)\big)^2}{n,I(\theta)}$——故事第五節那「另一種遊戲」。
分佈族不正則（參數決定支撐集，如均勻分佈的端點）時定理前提失效，下界可能不再是 $1/(nI)$ 量級。
Fano 不等式把它推到有偏/離散世界：錯誤率受觀測與真值間的互信息壓制——同一堵牆的另一面。

隱喻對照表

故事元素	對應概念
艾斯塔拉城邦	統計實驗（觀測一個未知參數的系統）
失蹤旗艦的位置 $\theta$	待估計的未知參數（真值）
濃霧（偏誤服從高斯）	觀測噪聲 $p(x\mid\theta)$，$\sigma$ 為霧的濃度
十座燈塔的守塔人	$n$ 份獨立同分佈觀測（samples）
每夜遞上的角度密報	觀測值 $x$
國王問「最多會錯多遠」	估計量變異數 $\mathrm{Var}(\hat\theta)$（無偏情形）
三十七種算法	各種無偏估計量（平均、加權、MLE…）
所有算法都撞上的「神牆」	克拉美—拉奧下界 $\dfrac{1}{n,I(\theta)}$
智者「費雪」	Ronald Fisher，費雪信息量的命名者
信息稅 $I(\theta)$	費雪信息量：真值微移時觀測分佈變動之劇烈度（似然曲線的彎曲度）
磨利望遠鏡（$\sigma$ 變小）	實驗品質提升 → $I(\theta)=1/\sigma^2$ 增大 → 牆降低
「高效者」恰好站在牆上	有效估計量：變異數恰好達到下界
最笨的「直接平均」摸牆	高斯族下樣本平均 $\bar X$ 是有效估計量
燈塔越多，算數師沿 $1/n$ 靠牆	$n$ 份觀測使下界按 $1/n$ 收縮
「最大可能」算數師第一個上牆	最大似然估計（MLE）的漸近高效性：$\hat\theta_{ML} \xrightarrow{a.d.} \mathcal{N}!\left(\theta,[nI]^{-1}\right)$
寵臣「故意偏一點」	偏置估計量：可矮於無偏牆，但誤差朝同一方向系統性偏離（另一種 MSE 遊戲）

研究生知識寓言：兩座鐘樓的失落配方

Sat, 17 Oct 2026 08:00:00 +0800

在海濱城市「貝爾維亞（Bellvia）」，立著兩座古老的鐘樓：北鐘樓與南鐘樓。

兩座鐘樓的鐘，分别出自兩位傳奇鐘匠之手。北鐘樓的鐘匠叫「銅心」，南鐘樓的叫「錫影」。每位鐘匠都守著一盞秘密的合金配方——多少比例的銅、多少比例的錫，熔出來的鐘才有正確的音調。配方寫在密典裡，由鐘樓深處的密庫保管。

然而兩位鐘匠先後過世，密典隨密庫一同燒毀了。

城市還留著兩樣東西：

鐘本身：兩座鐘樓歷年共鑄了幾百口鐘。有的還掛在鐘樓上，更多的早已散到全城的教堂、港口與廣場。
一份音調簿：末代鐘吏留下的一張清單，記載每口鐘的「音調」——一個數字，鐘聲的基頻。數字越低，鐘聲越深沉。

市議會給新任鐘吏出了一道題：「不用原配方，把兩位鐘匠的配方重現出來——每座鐘樓鐘聲的典型音調、離散程度，以及當年各鑄了多少口鐘。」

問題在於：音調簿只記了音調，沒有記每口鐘屬於哪座鐘樓。幾百口鐘混在一起，兩家鐘匠的產品音調相近，老匠人也只能靠鐘身一絲「銅味」或「錫味」的微妙線索來分辨——而且，往往分辨不准。

一、第一種直覺：硬分

年輕見習鐘吏「魯賓（Rubin）」提了個直截了當的辦法：

「先把所有鐘硬分兩堆——音調低的歸北樓，音調高的歸南樓。再各自算平均，不就成了？」

老鐘吏「萊爾德（Laird）」搖了搖頭：

「你根本不知道北、南的分界在哪，你憑什麼決定『從哪裡切』？切在 400Hz 呢，北樓那些偏輕、偏高的鐘就被分進南樓，把南樓的平均壓低；明天你按新平均再切，分組又換了。切一刀，兩邊的平均都跟著歪，越切越亂。城市需要的不是一次下錯就鎖死的猜測，而是一個越跑越接近真相的過程。」

二、尋鐘人的日夜法

老鐘吏的導師「丹普斯特（Dempster）」沉思了三個晚上，教了魯賓一套「日夜法」：

夜間（軟讀）：不強求口口鐘「非北即南」。對每一口鐘，只問一個問題——「按我們現在相信的配方，這口鐘是北樓鑄的機率有多大？」然後把兩個數字寫在鐘的牌子上：「北 70%、南 30%」。鐘的音調越接近北樓的配方，北的比例越高；兩個數字永遠加總 100%。

白天（重估）：拿著夜間的百分比，重新算配方——

新的北樓配方 = 每口鐘音調 × 它的「北」百分比，全部加總，再除以北百分比的總和；
南樓配方，照同樣的加權法重算；
每座鐘樓鐘聲的「離散程度」（音調偏離配方的幅度），也照權重重估；
順手估出「兩座鐘樓各鑄了多少口」：北樓的份額 = 北百分比總和 ÷ 鐘的總數。

算完，用新配方在夜裡重新讀鐘，讀完再在白天重估配方。如此循環。

三、怪事：確信只升不降

循環了幾周，怪事發生了。

萊爾德同時記著第二本簿子——「確信簿」：每一夜，他根據當夜的軟讀與當下的配方，算出這几百個音調「出自這兩份配方」的整體確信度。結果是：

第一輪 → 第二輪 → 第三輪 → 第四輪……這個數字每一輪都上升，有時只升一點，但從不下降。

魯賓很驚訝：「我每輪都改了配方、也改了讀法，怎麼總體確信度永遠不跌？」

丹普斯特回答：

「因為夜間做的是**『在當前配方下最合理的讀法』，白天做的是『在當前讀法下最合理的配方』。每一步只做一件事：讓總確信變高。就像一個人在山坡上走路，他可能迷路，但每一步都不往下走**。老前輩管這個性質叫琴生不等式——對數的期望，永遠不大於期望的對數。所以每輪算出的確信，都是真相之下的一個『地板』，而每一輪，地板不是被墊高，就是被守住。」

四、停止的鐘聲

大約第七天，兩本簿子都不動了：配方不再變，百分比不再變，確信度也不再上升。

城市宣布勝利：兩份失落的配方，尋回來了！

但那晚，另一個見習鐘吏從鄰鎮過來。他的日夜法一模一樣，只是起手的初值猜得不同——他一開始就賭「北樓原來是高的那批」。等他跑完日夜法，他也停下了——但停在另一對配方上：兩座鐘樓的典型音調互換了一點，份額也調了調。

「你們兩個都停了，也都一路上升，卻停在不同的地方。萊爾德合上確信簿，「日夜法『停止』的地方，不是鐘匠寫下的真配方，而是**『從你那個起點出發、最可能的那份配方』**。」

城市最後的處理方式：從不同的起點各跑幾遍，收斂後比確信度，取確信最高的那個解當成最終答案。

五、揭曉

故事說到這裡，你猜到這是在描述什麼概念了嗎？

這是統計推論與機器學習領域中一顆研究生級的基石：期望–最大化算法（Expectation–Maximization, EM），由 Dempster、Laird、Rubin 於 1977 年系統化（所以故事裡的三位老者都用了真名）。

兩位鐘匠、兩座鐘樓 = 混合模型（mixture model）的兩個「成分」（本故事是兩個高斯分量）。
鐘的音調 = 觀察得到的資料 $x$；每口鐘屬於哪座鐘樓 = 潛變量 $z$（成分歸屬），我們看得到資料，卻看不到歸屬。
夜間軟讀「北 70% 南 30%」 = E-step：在當前參數下，算出每個資料點的「責任」$\gamma(z) = \mathbb{E}[z \mid x, \theta]$，即它屬於各成分的後驗機率。
白天用加權重估配方 = M-step：把責任當權重，閉式解出新的均值、變數與混合比例 $\pi$。
「確信只升不降」 = EM 的單調性定理：每一輪迭代都不會降低觀察資料的對數似然。琴生不等式保證 E-step 構造出一個下界，M-step 再把下界抬到新參數的實際似然上。
兩位見習停在不同的配方 = EM 收斂到對數似然的局部極大值，不保證是全域最大值；對初值敏感，實務上用多次隨機重啟取最佳。

它的應用遍佈在「有觀察資料、又有看不見的隱藏原因」之處：高斯混合模型（soft clustering）、隱藏馬可夫模型（Baum–Welch 算法就是 EM 的特例）、因子分析、潛在類模型，以及所有含有缺失資料的最大似然估計。

隱喻對照表

故事元素	對應概念
兩座鐘樓（北樓、南樓）	混合模型的两个成分（K=2 的高斯混合）
失落的秘密合金配方	待估參數：均值 $\mu_1,\mu_2$、變數 $\sigma_1^2,\sigma_2^2$、混合比例 $\pi_1,\pi_2$
音調簿上幾百口鐘的音調	觀察資料 $x$（一維量測）
不知道每口鐘屬於哪座鐘樓	潛變量 $z$（成分歸屬）不可觀察
「硬分兩堆」一切就歪	對潛變量做硬指派沒有閉式最優解——切在哪裡全憑猜
夜間：牌子寫「北 70%、南 30%」	E-step：計算後驗責任 $\gamma(z) = \mathbb{E}[z \mid x, \theta]$
白天：用百分比加權重估配方、離散、份額	M-step：$\theta \leftarrow \arg\max_{\theta}, \mathbb{E}[\log p(x,z \mid \theta)]$（高斯混合下有閉式解）
日夜循環	EM 迭代：E → M → E → M …
確信簿裡的「整體確信度」	觀察資料的對數似然（EM 的 ELBO 下界）
「確信只升不降」	EM 單調性定理（琴生不等式保證）
「數字不再變動」的停止	收斂到固定點（非凸時即局部極大）
兩位見習從不同起點、停在不同配方	對初值敏感、局部最優問題；實務上多重重啟（multi-start）取最佳
「從你起點出發、最可能的那份配方」	EM 找的是觀察資料的 MLE，不是「真相」
老鐘吏丹普斯特、萊爾德、見習魯賓	Dempster–Laird–Rubin（1977），EM 經典論文的三位作者
「從不同起點跑幾遍、取確信最高的」	多重重啟（multi-start）實務策略

一句話總結：當資料背後的「隱藏原因」看不見時，不要強行一槌定音——先「軟猜」每個資料點的歸屬，再用歸屬「重擬」模型，日夜循環；每一輪確信只升不降，直到數字停止變動——這就是期望–最大化算法（EM）。