機器學習是一門多領域交叉學科，涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑。它的應用已遍及人工智能的各個分支，如專家系統(tǒng)、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領域。其中尤其典型的是專家系統(tǒng)中的知識獲取瓶頸問題，人們一直在努力試圖采用機器學習的方法加以克服。

　　學習能力是智能行為的一個非常重要的特征，但至今對學習的機理尚不清楚。人們曾對機器學習給出各種定義。H.A.Simon認為，學習是系統(tǒng)所作的適應性變化，使得系統(tǒng)在下一次完成同樣或類似的任務時更為有效。R.s.Michalski認為，學習是構造或修改對于所經(jīng)歷事物的表示。從事專家系統(tǒng)研制的人們則認為學習是知識的獲取。這些觀點各有側重，第一種觀點強調學習的外部行為效果，第二種則強調學習的內部過程，而第三種主要是從知識工程的實用性角度出發(fā)的。

　　機器學習在人工智能的研究中具有十分重要的地位。一個不具有學習能力的智能系統(tǒng)難以稱得上是一個真正的智能系統(tǒng)，但是以往的智能系統(tǒng)都普遍缺少學習的能力。例如，它們遇到錯誤時不能自我校正；不會通過經(jīng)驗改善自身的性能；不會自動獲取和發(fā)現(xiàn)所需要的知識。它們的推理僅限于演繹而缺少歸納，因此至多只能夠證明已存在事實、定理，而不能發(fā)現(xiàn)新的定理、定律和規(guī)則等。隨著人工智能的深入發(fā)展，這些局限性表現(xiàn)得愈加突出。正是在這種情形下，機器學習逐漸成為人工智能研究的核心之一。它的應用已遍及人工智能的各個分支，如專家系統(tǒng)、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領域。其中尤其典型的是專家系統(tǒng)中的知識獲取瓶頸問題，人們一直在努力試圖采用機器學習的方法加以克服。

  　機器學習的研究是根據(jù)生理學、認知科學等對人類學習機理的了解，建立人類學習過程的計算模型或認識模型，發(fā)展各種學習理論和學習方法，研究通用的學習算法并進行理論上的分析，建立面向任務的具有特定應用的學習系統(tǒng)。這些研究目標相互影響相互促進。

　　自從1980年在卡內基梅隆大學召開第一屆機器學習研討會以來，機器學習的研究工作發(fā)展很快，已成為中心課題之一。隨著機器學習的蓬勃發(fā)展，人們在工作中累積了大量可供測試算法的數(shù)據(jù)集或者超大數(shù)據(jù)集，機器學習工作者在此基礎上可以進行更精準的研究，例如ICCV2011年馬爾獎：相對屬性的數(shù)據(jù)；AOL-user-ct-collection數(shù)據(jù)集；科雷爾圖片特征數(shù)據(jù)集（UCI）；植被型數(shù)據(jù)集（UCI）等等。

　　學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有其不同的看法。

　　比如，Langley（1996) 定義的機器學習是“機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經(jīng)驗學習中改善具體算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）

　　Tom Mitchell的機器學習(1997)對信息論中的一些概念有詳細的解釋,其中定義機器學習時提到，“機器學習是對能通過經(jīng)驗自動改進的計算機算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）

　　Alpaydin（2004）同時提出自己對機器學習的定義，“機器學習是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標準?！保∕achine learning is programming computers to optimize a performance criterion using example data or past experience.）

　　盡管如此，為了便于進行討論和估計學科的進展，有必要對機器學習給出定義，即使這種定義是不完全的和不充分的。顧名思義， 機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。這里所說的“機器”，指的就是計算機，電子計算機，中子計算機、光子計算機或神經(jīng)計算機等等。

　　機器能否象人類一樣能具有學習能力呢？1959年美國的塞繆爾(Samuel)設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。

　　機器的能力是否能超過人的，很多持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者規(guī)定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在應用中不斷地提高，過一段時間之后，設計者本人也不知它的能力到了何種水平。

　　機器學習是人工智能研究較為年輕的分支，它的發(fā)展過程大體上可分為4個時期。

　　第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。

　　第二階段是在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。

　　第三階段是從70年代中葉至80年代中葉，稱為復興時期。

　　機器學習的最新階段始于1986年。

　　機器學習進入新階段的重要表現(xiàn)在下列諸方面：

　　(1) 機器學習已成為新的邊緣學科并在高校形成一門課程。它綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動化和計算機科學形成機器學習理論基礎。

　　(2) 結合各種學習方法，取長補短的多種形式的集成學習系統(tǒng)研究正在興起。特別是連接學習符號學習的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。

　　(3) 機器學習與人工智能各種基礎問題的統(tǒng)一性觀點正在形成。例如學習與問題求解結合進行、知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學習。類比學習與問題求解結合的基于案例方法已成為經(jīng)驗學習的重要方向。

　　(4) 各種學習方法的應用范圍不斷擴大，一部分已形成商品。歸納學習的知識獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學習在聲圖文識別中占優(yōu)勢。分析學習已用于設計綜合型專家系統(tǒng)。遺傳算法與強化學習在工程控制中有較好的應用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡連接學習將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。

　　(5) 與機器學習有關的學術活動空前活躍。國際上除每年一次的機器學習研討會外，還有計算機學習理論會議以及遺傳算法會議。