在海濱城市「貝爾維亞（Bellvia）」，立著兩座古老的鐘樓：北鐘樓與南鐘樓。
兩座鐘樓的鐘，分别出自兩位傳奇鐘匠之手。北鐘樓的鐘匠叫「銅心」，南鐘樓的叫「錫影」。每位鐘匠都守著一盞秘密的合金配方——多少比例的銅、多少比例的錫，熔出來的鐘才有正確的音調。配方寫在密典裡，由鐘樓深處的密庫保管。
然而兩位鐘匠先後過世，密典隨密庫一同燒毀了。
城市還留著兩樣東西：
- 鐘本身：兩座鐘樓歷年共鑄了幾百口鐘。有的還掛在鐘樓上，更多的早已散到全城的教堂、港口與廣場。
- 一份音調簿：末代鐘吏留下的一張清單，記載每口鐘的「音調」——一個數字，鐘聲的基頻。數字越低，鐘聲越深沉。
市議會給新任鐘吏出了一道題：「不用原配方，把兩位鐘匠的配方重現出來——每座鐘樓鐘聲的典型音調、離散程度，以及當年各鑄了多少口鐘。」
問題在於：音調簿只記了音調，沒有記每口鐘屬於哪座鐘樓。幾百口鐘混在一起，兩家鐘匠的產品音調相近，老匠人也只能靠鐘身一絲「銅味」或「錫味」的微妙線索來分辨——而且，往往分辨不准。
一、第一種直覺：硬分
年輕見習鐘吏「魯賓（Rubin）」提了個直截了當的辦法：
「先把所有鐘硬分兩堆——音調低的歸北樓，音調高的歸南樓。再各自算平均，不就成了？」
老鐘吏「萊爾德（Laird）」搖了搖頭：
「你根本不知道北、南的分界在哪，你憑什麼決定『從哪裡切』？切在 400Hz 呢，北樓那些偏輕、偏高的鐘就被分進南樓，把南樓的平均壓低；明天你按新平均再切，分組又換了。切一刀，兩邊的平均都跟著歪，越切越亂。城市需要的不是一次下錯就鎖死的猜測，而是一個越跑越接近真相的過程。」
二、尋鐘人的日夜法
老鐘吏的導師「丹普斯特（Dempster）」沉思了三個晚上，教了魯賓一套「日夜法」：
夜間（軟讀）：不強求口口鐘「非北即南」。對每一口鐘，只問一個問題——「按我們現在相信的配方，這口鐘是北樓鑄的機率有多大？」然後把兩個數字寫在鐘的牌子上：「北 70%、南 30%」。鐘的音調越接近北樓的配方，北的比例越高；兩個數字永遠加總 100%。
白天（重估）：拿著夜間的百分比，重新算配方——
- 新的北樓配方 = 每口鐘音調 × 它的「北」百分比，全部加總，再除以北百分比的總和；
- 南樓配方，照同樣的加權法重算；
- 每座鐘樓鐘聲的「離散程度」（音調偏離配方的幅度），也照權重重估；
- 順手估出「兩座鐘樓各鑄了多少口」：北樓的份額 = 北百分比總和 ÷ 鐘的總數。
算完，用新配方在夜裡重新讀鐘，讀完再在白天重估配方。如此循環。
三、怪事：確信只升不降
循環了幾周，怪事發生了。
萊爾德同時記著第二本簿子——「確信簿」：每一夜，他根據當夜的軟讀與當下的配方，算出這几百個音調「出自這兩份配方」的整體確信度。結果是：
第一輪 → 第二輪 → 第三輪 → 第四輪……這個數字每一輪都上升，有時只升一點，但從不下降。
魯賓很驚訝：「我每輪都改了配方、也改了讀法，怎麼總體確信度永遠不跌？」
丹普斯特回答：
「因為夜間做的是**『在當前配方下最合理的讀法』，白天做的是『在當前讀法下最合理的配方』。每一步只做一件事：讓總確信變高。就像一個人在山坡上走路，他可能迷路，但每一步都不往下走**。老前輩管這個性質叫琴生不等式——對數的期望，永遠不大於期望的對數。所以每輪算出的確信，都是真相之下的一個『地板』，而每一輪，地板不是被墊高，就是被守住。」
四、停止的鐘聲
大約第七天，兩本簿子都不動了：配方不再變，百分比不再變，確信度也不再上升。
城市宣布勝利：兩份失落的配方，尋回來了！
但那晚，另一個見習鐘吏從鄰鎮過來。他的日夜法一模一樣，只是起手的初值猜得不同——他一開始就賭「北樓原來是高的那批」。等他跑完日夜法，他也停下了——但停在另一對配方上：兩座鐘樓的典型音調互換了一點，份額也調了調。
「你們兩個都停了，也都一路上升，卻停在不同的地方。萊爾德合上確信簿，「日夜法『停止』的地方，不是鐘匠寫下的真配方，而是**『從你那個起點出發、最可能的那份配方』**。」
城市最後的處理方式：從不同的起點各跑幾遍，收斂後比確信度，取確信最高的那個解當成最終答案。
五、揭曉
故事說到這裡，你猜到這是在描述什麼概念了嗎？
這是統計推論與機器學習領域中一顆研究生級的基石：期望–最大化算法（Expectation–Maximization, EM），由 Dempster、Laird、Rubin 於 1977 年系統化（所以故事裡的三位老者都用了真名）。
- 兩位鐘匠、兩座鐘樓 = 混合模型（mixture model）的兩個「成分」（本故事是兩個高斯分量）。
- 鐘的音調 = 觀察得到的資料 $x$；每口鐘屬於哪座鐘樓 = 潛變量 $z$（成分歸屬），我們看得到資料，卻看不到歸屬。
- 夜間軟讀「北 70% 南 30%」 = E-step：在當前參數下，算出每個資料點的「責任」$\gamma(z) = \mathbb{E}[z \mid x, \theta]$，即它屬於各成分的後驗機率。
- 白天用加權重估配方 = M-step：把責任當權重，閉式解出新的均值、變數與混合比例 $\pi$。
- 「確信只升不降」 = EM 的單調性定理：每一輪迭代都不會降低觀察資料的對數似然。琴生不等式保證 E-step 構造出一個下界，M-step 再把下界抬到新參數的實際似然上。
- 兩位見習停在不同的配方 = EM 收斂到對數似然的局部極大值，不保證是全域最大值；對初值敏感，實務上用多次隨機重啟取最佳。
它的應用遍佈在「有觀察資料、又有看不見的隱藏原因」之處：高斯混合模型（soft clustering）、隱藏馬可夫模型（Baum–Welch 算法就是 EM 的特例）、因子分析、潛在類模型，以及所有含有缺失資料的最大似然估計。
隱喻對照表
| 故事元素 | 對應概念 |
|---|---|
| 兩座鐘樓（北樓、南樓） | 混合模型的两个成分（K=2 的高斯混合） |
| 失落的秘密合金配方 | 待估參數：均值 $\mu_1,\mu_2$、變數 $\sigma_1^2,\sigma_2^2$、混合比例 $\pi_1,\pi_2$ |
| 音調簿上幾百口鐘的音調 | 觀察資料 $x$（一維量測） |
| 不知道每口鐘屬於哪座鐘樓 | 潛變量 $z$（成分歸屬）不可觀察 |
| 「硬分兩堆」一切就歪 | 對潛變量做硬指派沒有閉式最優解——切在哪裡全憑猜 |
| 夜間：牌子寫「北 70%、南 30%」 | E-step：計算後驗責任 $\gamma(z) = \mathbb{E}[z \mid x, \theta]$ |
| 白天：用百分比加權重估配方、離散、份額 | M-step：$\theta \leftarrow \arg\max_{\theta}, \mathbb{E}[\log p(x,z \mid \theta)]$（高斯混合下有閉式解） |
| 日夜循環 | EM 迭代：E → M → E → M … |
| 確信簿裡的「整體確信度」 | 觀察資料的對數似然（EM 的 ELBO 下界） |
| 「確信只升不降」 | EM 單調性定理（琴生不等式保證） |
| 「數字不再變動」的停止 | 收斂到固定點（非凸時即局部極大） |
| 兩位見習從不同起點、停在不同配方 | 對初值敏感、局部最優問題；實務上多重重啟（multi-start）取最佳 |
| 「從你起點出發、最可能的那份配方」 | EM 找的是觀察資料的 MLE，不是「真相」 |
| 老鐘吏 丹普斯特、萊爾德、見習 魯賓 | Dempster–Laird–Rubin（1977），EM 經典論文的三位作者 |
| 「從不同起點跑幾遍、取確信最高的」 | 多重重啟（multi-start）實務策略 |
一句話總結：當資料背後的「隱藏原因」看不見時，不要強行一槌定音——先「軟猜」每個資料點的歸屬，再用歸屬「重擬」模型，日夜循環；每一輪確信只升不降，直到數字停止變動——這就是期望–最大化算法（EM）。