決策樹

　　決策樹和聚類很相近。決策樹是一種關(guān)于觀察（observation）的預(yù)測模型，可以得到一些結(jié)論。結(jié)論在決策樹上被表示成樹葉，而節(jié)點則是觀察分叉的決策點。決策樹來自決策樹學習算法，其中數(shù)據(jù)集會根據(jù)屬性值測試（attribute value tests）而被分成不同的子集，這個分割過程被稱為遞歸分區(qū)（recursive partitioning）。

　　考慮下圖中的示例。在這個數(shù)據(jù)集中，我可以基于三個因素觀察到某人是否有生產(chǎn)力。使用一個決策樹學習算法，我可以通過一個指標來識別屬性（其中一個例子是信息增益）。在這個例子中，心情（mood）是生產(chǎn)力的主要影響因素，所以我根據(jù) Good Mood 一項是 Yes 或 No 而對這個數(shù)據(jù)集進行了分割。但是，在 Yes 這邊，還需要我根據(jù)其它兩個屬性再次對該數(shù)據(jù)集進行切分。表中不同的顏色對應(yīng)右側(cè)中不同顏色的葉節(jié)點。

圖 5：一個簡單的數(shù)據(jù)集及其得到的決策樹

　　決策樹的一個重要性質(zhì)在于它們的內(nèi)在的組織能力，這能讓你輕松地（圖形化地）解釋你分類一個項的方式。流行的決策樹學習算法包括 C4.5 以及分類與回歸樹（Classification and Regression Tree）。

基于規(guī)則的系統(tǒng)

　　最早的基于規(guī)則和推理的系統(tǒng)是 Dendral，于 1965 年被開發(fā)出來，但直到 1970 年代，所謂的專家系統(tǒng)（expert systems）才開始大行其道?；谝?guī)則的系統(tǒng)會同時存有所需的知識的規(guī)則，并會使用一個推理系統(tǒng)（reasoning system）來得出結(jié)論。

　　基于規(guī)則的系統(tǒng)通常由一個規(guī)則集合、一個知識庫、一個推理引擎（使用前向或反向規(guī)則鏈）和一個用戶接口組成。下圖中，我使用了知識「蘇格拉底是人」、規(guī)則「如果是人，就會死」以及一個交互「誰會死？」

圖 6：基于規(guī)則的系統(tǒng)

　　基于規(guī)則的系統(tǒng)已經(jīng)在語音識別、規(guī)劃和控制以及疾病識別等領(lǐng)域得到了應(yīng)用。上世紀 90 年代人們開發(fā)的一個監(jiān)控和診斷大壩穩(wěn)定性的系統(tǒng) Kaleidos 至今仍在使用。

機器學習

　　機器學習是人工智能和計算機科學的一個子領(lǐng)域，也有統(tǒng)計學和數(shù)學優(yōu)化方面的根基。機器學習涵蓋了有監(jiān)督學習和無監(jiān)督學習領(lǐng)域的技術(shù)，可用于預(yù)測、分析和數(shù)據(jù)挖掘。機器學習不限于深度學習這一種。但在這一節(jié)，我會介紹幾種使得深度學習變得如此高效的算法。

圖 7：機器學習方法的時間線

反向傳播

　　神經(jīng)網(wǎng)絡(luò)的強大力量源于其多層的結(jié)構(gòu)。單層感知器的訓練是很直接的，但得到的網(wǎng)絡(luò)并不強大。那問題就來了：我們?nèi)绾斡柧毝鄬泳W(wǎng)絡(luò)呢？這就是反向傳播的用武之地。

　　反向傳播是一種用于訓練多層神經(jīng)網(wǎng)絡(luò)的算法。它的工作過程分為兩個階段。第一階段是將輸入傳播通過整個神經(jīng)網(wǎng)絡(luò)直到最后一層（稱為前饋）。第二階段，該算法會計算一個誤差，然后從最后一層到第一層反向傳播該誤差（調(diào)整權(quán)重）。

圖 8：反向傳播示意圖

　　在訓練過程中，該網(wǎng)絡(luò)的中間層會自己進行組織，將輸入空間的部分映射到輸出空間。反向傳播，使用監(jiān)督學習，可以識別出輸入到輸出映射的誤差，然后可以據(jù)此調(diào)整權(quán)重（使用一個學習率）來矯正這個誤差。反向傳播現(xiàn)在仍然是神經(jīng)網(wǎng)絡(luò)學習的一個重要方面。隨著計算資源越來越快、越來越便宜，它還將繼續(xù)在更大和更密集的網(wǎng)絡(luò)中得到應(yīng)用。