<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>無監督學習 on Intellectual Guides</title><link>https://ckw19810413.github.io/tags/%E7%84%A1%E7%9B%A3%E7%9D%A3%E5%AD%B8%E7%BF%92/</link><description>Recent content in 無監督學習 on Intellectual Guides</description><generator>Hugo -- gohugo.io</generator><language>zh-TW</language><lastBuildDate>Sat, 10 Oct 2026 08:00:00 +0800</lastBuildDate><atom:link href="https://ckw19810413.github.io/tags/%E7%84%A1%E7%9B%A3%E7%9D%A3%E5%AD%B8%E7%BF%92/index.xml" rel="self" type="application/rss+xml"/><item><title>研究生知識寓言：無名卷軸與隱形主題之謎</title><link>https://ckw19810413.github.io/blog/2026-10-10-lda-fable/</link><pubDate>Sat, 10 Oct 2026 08:00:00 +0800</pubDate><guid>https://ckw19810413.github.io/blog/2026-10-10-lda-fable/</guid><description>&lt;p&gt;在古老的亞歷山大圖書館深處，新上任的館長艾拉拉面臨著一項不可能的任務。&lt;/p&gt;
&lt;p&gt;前朝帝國覆滅後，留下了數以萬計的珍貴羊皮卷軸。然而，這些卷軸既沒有書名，也沒有作者，更沒有任何分類標籤。國王下令，艾拉拉必須在一個月內將這幾萬份卷軸完美地分門別類，歸入十個大書架中。如果無法完成，她將被剝奪館長之位。&lt;/p&gt;
&lt;p&gt;「要讀完這幾萬份卷軸，就算給我一百年也辦不到啊！」館員們哀嚎著。&lt;/p&gt;
&lt;p&gt;但艾拉拉沒有驚慌。她盯著羊皮紙上密密麻麻的文字，陷入了沉思。幾天後，她向館員們發表了一個奇特的「分類哲學」：&lt;/p&gt;
&lt;p&gt;「我們不需要讀懂整篇文章。我們只需要假設兩件事：第一，每份卷軸都不是單一的內容，而是由幾種『隱形主題』混合而成的；第二，每個『隱形主題』，其實就是一群特別喜歡聚在一起的『詞彙』。」&lt;/p&gt;
&lt;p&gt;館員們聽得一頭霧水。艾拉拉隨即下達了一個看似瘋狂的指令：
「現在，給每一份卷軸裡的每一個詞，隨機塗上一種顏色（總共十種顏色，代表十個書架）。完全憑直覺，隨便塗！」&lt;/p&gt;
&lt;p&gt;館員們照做了。結果當然是一團糟，每份卷軸都像被打翻的調色盤，五顏五色，毫無邏輯。&lt;/p&gt;
&lt;p&gt;「很好，」艾拉拉笑著說，「現在，我們開始『校正』。你們每個人拿起一份卷軸，盯著裡面的一個詞，比如『劍』這個詞。在決定『劍』究竟該塗什麼顏色時，你們要同時考慮兩個問題：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;這份卷軸的主人，偏好什麼顏色？&lt;/strong&gt;（看看這份卷軸裡，目前哪種顏色的詞最多）&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;這個詞本身，在所有卷軸中偏好什麼顏色？&lt;/strong&gt;（看看所有卷軸裡的『劍』，目前大多被塗成了什麼顏色）」&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;「將這兩個偏好結合起來，為這個『劍』重新塗上最合理的顏色。然後，換下一個詞，重複這個過程。對所有的卷軸、所有的詞，一遍又一遍地做。」&lt;/p&gt;
&lt;p&gt;起初，館員們覺得這簡直是在浪費時間。但當他們重複了幾十遍這個繁瑣的過程後，奇蹟發生了。&lt;/p&gt;
&lt;p&gt;顏色開始自行「聚攏」。
那些被塗成「紅色」的詞，漸漸都變成了「劍」、「盾牌」、「士兵」、「戰役」；而紅色佔比極高的卷軸，顯然都在講述戰爭。
那些被塗成「綠色」的詞，漸漸變成了「小麥」、「雨水」、「收成」、「土壤」；而綠色佔比高的卷軸，顯然是農業指南。
有些卷軸則是 70% 的紅色與 30% 的綠色混雜——那是一份講述「軍隊糧草補給」的文獻。&lt;/p&gt;
&lt;p&gt;一個月後，國王來驗收成果。十個書架井然有序，每個書架代表一個清晰的主題，而每份卷軸都根據其顏色的比例，被精準地放置在合適的位置。國王驚嘆於艾拉拉的智慧，而艾拉拉卻知道，她從頭到尾都沒有真正「閱讀」過任何一份卷軸。&lt;/p&gt;
&lt;hr&gt;
&lt;h3 id="揭曉與概念解析"&gt;揭曉與概念解析
&lt;/h3&gt;&lt;p&gt;這個故事所描述的，正是機器學習與自然語言處理（NLP）中非常經典的研究生水平概念：&lt;strong&gt;潛在狄利克雷分配（Latent Dirichlet Allocation，簡稱 LDA）&lt;/strong&gt;，這是一種用於**主題模型（Topic Modeling）**的無監督學習演算法。&lt;/p&gt;
&lt;p&gt;在我們面對海量且沒有標籤的文本（例如幾萬篇新聞報導、數百萬條評論）時，我們很難人工去閱讀並分類。LDA 的核心思想正是艾拉拉的那兩個假設：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;文件是主題的混合（Documents are probability distributions over latent topics）&lt;/strong&gt;：一篇文章可能 70% 在講體育，30% 在講經濟（例如一支球隊的商業收購案）。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;主題是詞彙的混合（Topics are probability distributions over words）&lt;/strong&gt;：在「體育」這個主題下，「籃球」、「得分」出現的機率很高；而在「經濟」主題下，「美元」、「股票」出現的機率很高。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;演算法一開始確實是瞎猜的（隨機分配）。但透過一種名為 &lt;strong&gt;吉布斯採樣（Gibbs Sampling）&lt;/strong&gt; 的統計學方法（故事中的「校正」過程），演算法會不斷地根據「這篇文章目前的主題分佈」以及「這個詞在所有文章中的主題分佈」來更新每個詞的主題歸屬。經過多次迭代，模型最終會收斂，找出隱藏在文字背後的結構。&lt;/p&gt;
&lt;h3 id="故事中的隱喻對應"&gt;故事中的隱喻對應
&lt;/h3&gt;&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;無名卷軸&lt;/strong&gt;：對應 &lt;strong&gt;文庫 / 文檔集合（Corpus / Documents）&lt;/strong&gt;。這些是沒有人工標籤的原始數據。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;十種顏色 / 隱形主題&lt;/strong&gt;：對應 &lt;strong&gt;潛在主題（Latent Topics）&lt;/strong&gt;。我們預先設定想要尋找的主題數量（超參數 $K$），但模型一開始並不知道這些主題具體是什麼。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;隨機塗色&lt;/strong&gt;：對應 LDA 演算法初始化時，對每個詞隨機分配一個主題。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;「這份卷軸偏好什麼顏色」&lt;/strong&gt;：對應 &lt;strong&gt;文件-主題分佈（Document-Topic Distribution, 常用 $\theta$ 表示）&lt;/strong&gt;。評估當前文件對某個主題的包含程度。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;「這個詞偏好什麼顏色」&lt;/strong&gt;：對應 &lt;strong&gt;主題-詞彙分佈（Topic-Word Distribution, 常用 $\phi$ 或 $\beta$ 表示）&lt;/strong&gt;。評估某個主題對當下這個詞的生成機率。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;不斷重新塗色並收斂的過程&lt;/strong&gt;：對應 &lt;strong&gt;吉布斯採樣（Gibbs Sampling）&lt;/strong&gt; 或變分推斷（Variational Inference）。這是一個迭代優化的過程，透過局部條件機率不斷更新，最終讓整體分佈達到穩定狀態。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;透過 LDA，我們無需人工閱讀，就能讓機器自動從混沌的字海中，萃取出人類能理解的「意義」與「主題」。這正是統計機器學習的迷人之處！&lt;/p&gt;</description></item></channel></rss>