機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。它的應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語言理解、模式識(shí)別、計(jì)算機(jī)視覺、智能機(jī)器人等領(lǐng)域。其中尤其典型的是專家系統(tǒng)中的知識(shí)獲取瓶頸問題，人們一直在努力試圖采用機(jī)器學(xué)習(xí)的方法加以克服。

　　學(xué)習(xí)能力是智能行為的一個(gè)非常重要的特征，但至今對(duì)學(xué)習(xí)的機(jī)理尚不清楚。人們?cè)鴮?duì)機(jī)器學(xué)習(xí)給出各種定義。H.A.Simon認(rèn)為，學(xué)習(xí)是系統(tǒng)所作的適應(yīng)性變化，使得系統(tǒng)在下一次完成同樣或類似的任務(wù)時(shí)更為有效。R.s.Michalski認(rèn)為，學(xué)習(xí)是構(gòu)造或修改對(duì)于所經(jīng)歷事物的表示。從事專家系統(tǒng)研制的人們則認(rèn)為學(xué)習(xí)是知識(shí)的獲取。這些觀點(diǎn)各有側(cè)重，第一種觀點(diǎn)強(qiáng)調(diào)學(xué)習(xí)的外部行為效果，第二種則強(qiáng)調(diào)學(xué)習(xí)的內(nèi)部過程，而第三種主要是從知識(shí)工程的實(shí)用性角度出發(fā)的。

　　機(jī)器學(xué)習(xí)在人工智能的研究中具有十分重要的地位。一個(gè)不具有學(xué)習(xí)能力的智能系統(tǒng)難以稱得上是一個(gè)真正的智能系統(tǒng)，但是以往的智能系統(tǒng)都普遍缺少學(xué)習(xí)的能力。例如，它們遇到錯(cuò)誤時(shí)不能自我校正；不會(huì)通過經(jīng)驗(yàn)改善自身的性能；不會(huì)自動(dòng)獲取和發(fā)現(xiàn)所需要的知識(shí)。它們的推理僅限于演繹而缺少歸納，因此至多只能夠證明已存在事實(shí)、定理，而不能發(fā)現(xiàn)新的定理、定律和規(guī)則等。隨著人工智能的深入發(fā)展，這些局限性表現(xiàn)得愈加突出。正是在這種情形下，機(jī)器學(xué)習(xí)逐漸成為人工智能研究的核心之一。它的應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語言理解、模式識(shí)別、計(jì)算機(jī)視覺、智能機(jī)器人等領(lǐng)域。其中尤其典型的是專家系統(tǒng)中的知識(shí)獲取瓶頸問題，人們一直在努力試圖采用機(jī)器學(xué)習(xí)的方法加以克服。

  　機(jī)器學(xué)習(xí)的研究是根據(jù)生理學(xué)、認(rèn)知科學(xué)等對(duì)人類學(xué)習(xí)機(jī)理的了解，建立人類學(xué)習(xí)過程的計(jì)算模型或認(rèn)識(shí)模型，發(fā)展各種學(xué)習(xí)理論和學(xué)習(xí)方法，研究通用的學(xué)習(xí)算法并進(jìn)行理論上的分析，建立面向任務(wù)的具有特定應(yīng)用的學(xué)習(xí)系統(tǒng)。這些研究目標(biāo)相互影響相互促進(jìn)。

　　自從1980年在卡內(nèi)基梅隆大學(xué)召開第一屆機(jī)器學(xué)習(xí)研討會(huì)以來，機(jī)器學(xué)習(xí)的研究工作發(fā)展很快，已成為中心課題之一。隨著機(jī)器學(xué)習(xí)的蓬勃發(fā)展，人們?cè)诠ぷ髦欣鄯e了大量可供測試算法的數(shù)據(jù)集或者超大數(shù)據(jù)集，機(jī)器學(xué)習(xí)工作者在此基礎(chǔ)上可以進(jìn)行更精準(zhǔn)的研究，例如ICCV2011年馬爾獎(jiǎng)：相對(duì)屬性的數(shù)據(jù)；AOL-user-ct-collection數(shù)據(jù)集；科雷爾圖片特征數(shù)據(jù)集（UCI）；植被型數(shù)據(jù)集（UCI）等等。

　　學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長期以來卻眾說紛紜。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。

　　比如，Langley（1996) 定義的機(jī)器學(xué)習(xí)是“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）

　　Tom Mitchell的機(jī)器學(xué)習(xí)(1997)對(duì)信息論中的一些概念有詳細(xì)的解釋,其中定義機(jī)器學(xué)習(xí)時(shí)提到，“機(jī)器學(xué)習(xí)是對(duì)能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）

　　Alpaydin（2004）同時(shí)提出自己對(duì)機(jī)器學(xué)習(xí)的定義，“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)?！保∕achine learning is programming computers to optimize a performance criterion using example data or past experience.）

　　盡管如此，為了便于進(jìn)行討論和估計(jì)學(xué)科的進(jìn)展，有必要對(duì)機(jī)器學(xué)習(xí)給出定義，即使這種定義是不完全的和不充分的。顧名思義， 機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問。這里所說的“機(jī)器”，指的就是計(jì)算機(jī)，電子計(jì)算機(jī)，中子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。

　　機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過了3年，這個(gè)程序戰(zhàn)勝了美國一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問題與哲學(xué)問題。

　　機(jī)器的能力是否能超過人的，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無論如何其能力也不會(huì)超過設(shè)計(jì)者本人。這種意見對(duì)不具備學(xué)習(xí)能力的機(jī)器來說的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。

　　機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過程大體上可分為4個(gè)時(shí)期。

　　第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。

　　第二階段是在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。

　　第三階段是從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。

　　機(jī)器學(xué)習(xí)的最新階段始于1986年。

　　機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)在下列諸方面：

　　(1) 機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。

　　(2) 結(jié)合各種學(xué)習(xí)方法，取長補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)研究正在興起。特別是連接學(xué)習(xí)符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問題而受到重視。

　　(3) 機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點(diǎn)正在形成。例如學(xué)習(xí)與問題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。

　　(4) 各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品。歸納學(xué)習(xí)的知識(shí)獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢。分析學(xué)習(xí)已用于設(shè)計(jì)綜合型專家系統(tǒng)。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。

　　(5) 與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國際上除每年一次的機(jī)器學(xué)習(xí)研討會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議以及遺傳算法會(huì)議。