研究生知識寓言：兩座鐘樓的失落配方

Sat, 17 Oct 2026 08:00:00 +0800

在海濱城市「貝爾維亞（Bellvia）」，立著兩座古老的鐘樓：北鐘樓與南鐘樓。

兩座鐘樓的鐘，分别出自兩位傳奇鐘匠之手。北鐘樓的鐘匠叫「銅心」，南鐘樓的叫「錫影」。每位鐘匠都守著一盞秘密的合金配方——多少比例的銅、多少比例的錫，熔出來的鐘才有正確的音調。配方寫在密典裡，由鐘樓深處的密庫保管。

然而兩位鐘匠先後過世，密典隨密庫一同燒毀了。

城市還留著兩樣東西：

鐘本身：兩座鐘樓歷年共鑄了幾百口鐘。有的還掛在鐘樓上，更多的早已散到全城的教堂、港口與廣場。
一份音調簿：末代鐘吏留下的一張清單，記載每口鐘的「音調」——一個數字，鐘聲的基頻。數字越低，鐘聲越深沉。

市議會給新任鐘吏出了一道題：「不用原配方，把兩位鐘匠的配方重現出來——每座鐘樓鐘聲的典型音調、離散程度，以及當年各鑄了多少口鐘。」

問題在於：音調簿只記了音調，沒有記每口鐘屬於哪座鐘樓。幾百口鐘混在一起，兩家鐘匠的產品音調相近，老匠人也只能靠鐘身一絲「銅味」或「錫味」的微妙線索來分辨——而且，往往分辨不准。

一、第一種直覺：硬分

年輕見習鐘吏「魯賓（Rubin）」提了個直截了當的辦法：

「先把所有鐘硬分兩堆——音調低的歸北樓，音調高的歸南樓。再各自算平均，不就成了？」

老鐘吏「萊爾德（Laird）」搖了搖頭：

「你根本不知道北、南的分界在哪，你憑什麼決定『從哪裡切』？切在 400Hz 呢，北樓那些偏輕、偏高的鐘就被分進南樓，把南樓的平均壓低；明天你按新平均再切，分組又換了。切一刀，兩邊的平均都跟著歪，越切越亂。城市需要的不是一次下錯就鎖死的猜測，而是一個越跑越接近真相的過程。」

二、尋鐘人的日夜法

老鐘吏的導師「丹普斯特（Dempster）」沉思了三個晚上，教了魯賓一套「日夜法」：

夜間（軟讀）：不強求口口鐘「非北即南」。對每一口鐘，只問一個問題——「按我們現在相信的配方，這口鐘是北樓鑄的機率有多大？」然後把兩個數字寫在鐘的牌子上：「北 70%、南 30%」。鐘的音調越接近北樓的配方，北的比例越高；兩個數字永遠加總 100%。

白天（重估）：拿著夜間的百分比，重新算配方——

新的北樓配方 = 每口鐘音調 × 它的「北」百分比，全部加總，再除以北百分比的總和；
南樓配方，照同樣的加權法重算；
每座鐘樓鐘聲的「離散程度」（音調偏離配方的幅度），也照權重重估；
順手估出「兩座鐘樓各鑄了多少口」：北樓的份額 = 北百分比總和 ÷ 鐘的總數。

算完，用新配方在夜裡重新讀鐘，讀完再在白天重估配方。如此循環。

三、怪事：確信只升不降

循環了幾周，怪事發生了。

萊爾德同時記著第二本簿子——「確信簿」：每一夜，他根據當夜的軟讀與當下的配方，算出這几百個音調「出自這兩份配方」的整體確信度。結果是：

第一輪 → 第二輪 → 第三輪 → 第四輪……這個數字每一輪都上升，有時只升一點，但從不下降。

魯賓很驚訝：「我每輪都改了配方、也改了讀法，怎麼總體確信度永遠不跌？」

丹普斯特回答：

「因為夜間做的是**『在當前配方下最合理的讀法』，白天做的是『在當前讀法下最合理的配方』。每一步只做一件事：讓總確信變高。就像一個人在山坡上走路，他可能迷路，但每一步都不往下走**。老前輩管這個性質叫琴生不等式——對數的期望，永遠不大於期望的對數。所以每輪算出的確信，都是真相之下的一個『地板』，而每一輪，地板不是被墊高，就是被守住。」

四、停止的鐘聲

大約第七天，兩本簿子都不動了：配方不再變，百分比不再變，確信度也不再上升。

城市宣布勝利：兩份失落的配方，尋回來了！

但那晚，另一個見習鐘吏從鄰鎮過來。他的日夜法一模一樣，只是起手的初值猜得不同——他一開始就賭「北樓原來是高的那批」。等他跑完日夜法，他也停下了——但停在另一對配方上：兩座鐘樓的典型音調互換了一點，份額也調了調。

「你們兩個都停了，也都一路上升，卻停在不同的地方。萊爾德合上確信簿，「日夜法『停止』的地方，不是鐘匠寫下的真配方，而是**『從你那個起點出發、最可能的那份配方』**。」

城市最後的處理方式：從不同的起點各跑幾遍，收斂後比確信度，取確信最高的那個解當成最終答案。

五、揭曉

故事說到這裡，你猜到這是在描述什麼概念了嗎？

這是統計推論與機器學習領域中一顆研究生級的基石：期望–最大化算法（Expectation–Maximization, EM），由 Dempster、Laird、Rubin 於 1977 年系統化（所以故事裡的三位老者都用了真名）。

兩位鐘匠、兩座鐘樓 = 混合模型（mixture model）的兩個「成分」（本故事是兩個高斯分量）。
鐘的音調 = 觀察得到的資料 $x$；每口鐘屬於哪座鐘樓 = 潛變量 $z$（成分歸屬），我們看得到資料，卻看不到歸屬。
夜間軟讀「北 70% 南 30%」 = E-step：在當前參數下，算出每個資料點的「責任」$\gamma(z) = \mathbb{E}[z \mid x, \theta]$，即它屬於各成分的後驗機率。
白天用加權重估配方 = M-step：把責任當權重，閉式解出新的均值、變數與混合比例 $\pi$。
「確信只升不降」 = EM 的單調性定理：每一輪迭代都不會降低觀察資料的對數似然。琴生不等式保證 E-step 構造出一個下界，M-step 再把下界抬到新參數的實際似然上。
兩位見習停在不同的配方 = EM 收斂到對數似然的局部極大值，不保證是全域最大值；對初值敏感，實務上用多次隨機重啟取最佳。

它的應用遍佈在「有觀察資料、又有看不見的隱藏原因」之處：高斯混合模型（soft clustering）、隱藏馬可夫模型（Baum–Welch 算法就是 EM 的特例）、因子分析、潛在類模型，以及所有含有缺失資料的最大似然估計。

隱喻對照表

故事元素	對應概念
兩座鐘樓（北樓、南樓）	混合模型的两个成分（K=2 的高斯混合）
失落的秘密合金配方	待估參數：均值 $\mu_1,\mu_2$、變數 $\sigma_1^2,\sigma_2^2$、混合比例 $\pi_1,\pi_2$
音調簿上幾百口鐘的音調	觀察資料 $x$（一維量測）
不知道每口鐘屬於哪座鐘樓	潛變量 $z$（成分歸屬）不可觀察
「硬分兩堆」一切就歪	對潛變量做硬指派沒有閉式最優解——切在哪裡全憑猜
夜間：牌子寫「北 70%、南 30%」	E-step：計算後驗責任 $\gamma(z) = \mathbb{E}[z \mid x, \theta]$
白天：用百分比加權重估配方、離散、份額	M-step：$\theta \leftarrow \arg\max_{\theta}, \mathbb{E}[\log p(x,z \mid \theta)]$（高斯混合下有閉式解）
日夜循環	EM 迭代：E → M → E → M …
確信簿裡的「整體確信度」	觀察資料的對數似然（EM 的 ELBO 下界）
「確信只升不降」	EM 單調性定理（琴生不等式保證）
「數字不再變動」的停止	收斂到固定點（非凸時即局部極大）
兩位見習從不同起點、停在不同配方	對初值敏感、局部最優問題；實務上多重重啟（multi-start）取最佳
「從你起點出發、最可能的那份配方」	EM 找的是觀察資料的 MLE，不是「真相」
老鐘吏丹普斯特、萊爾德、見習魯賓	Dempster–Laird–Rubin（1977），EM 經典論文的三位作者
「從不同起點跑幾遍、取確信最高的」	多重重啟（multi-start）實務策略

一句話總結：當資料背後的「隱藏原因」看不見時，不要強行一槌定音——先「軟猜」每個資料點的歸屬，再用歸屬「重擬」模型，日夜循環；每一輪確信只升不降，直到數字停止變動——這就是期望–最大化算法（EM）。