2000年9月編號爲40的《經濟學人》中曾發表一篇題爲“讚揚貝葉斯”( In Praise of Bayes)的文章,其中對貝葉斯學習的描述如下:
貝葉斯方法的精髓在於其提供了一種數學法則來解釋當有一系列證據出現的情況下,你該如何改變自己現有的信念。換句話說,它讓科學家能夠將新的數據與他們現有的知識或專長結合起來。
一個典型的例子就是,假設一個天賦異稟的新生兒看到了他人生中第一次的日出,接着會想知道太陽是否會再次升起。他賦予這兩個可能的結果同等的先驗概率,並且在袋子裏放入一粒白色彈珠和一粒黑色彈珠來代表此種情況。
第二天當太陽昇起時,這個孩子在衰子裏又放入一粒白色彈珠。此時,從袋子裏隨機拿出一粒白色彈珠的概率(也就是孩子對將來太陽會升起的信念程度)就從1/2增加到了2/3。
當太陽再一天升起後,孩子再放入一粒白色的彈珠,此時概率(信念的程度)從2/3上升到3/4,依此類推。慢慢地,最初認爲太陽每天早晨指不定是否升起信念擾慢慢地被修正爲幾乎可以斷定太陽永遠會再次升起。