EM algorithm

第一次聽到EM時, 我還只是個碩一新生,
跟著翁老師去數學系聽seminar,
講題是什麼, 不知道, 也沒懂過,
只記得講者不斷地提到EM,
我小小聲地問翁老師: 什麼是EM?
老師很簡潔也很正確地回答: E就是取期望值, 然後M就是去求極大.
完全地不知所云

然後就時光飛逝, EM 跟我的生活毫無瓜葛, 直到今年,
修Statistical theory時,
知道了這是一種求incomplete data MLE的方法,
先在假設參數為已知的某值下,
計算sufficient statistics的期望值 (E-step),
然後假設我們觀察到的資料等於此期望值,
求取使得likelihood極大的參數值 (M-step),
然後不斷地重複這兩步驟(迭代), 直到結果不再變動(收斂),
即求到我們所要的 MLE.

這個學期修missing data, 除了學著寫EM的程式外,
也學了不少只能用來唬人的術語, 例如ECM, PX-EM等

也許我的學習就像是EM, 不斷地向上逼近,
只是逼近的速度非常非常地緩慢.