歸納邏輯程序設計已「走過」近 30 年的歷程。回顧這 30 年來的發展軌跡，似乎很少有人提起這種算法，我們用到更多是深度學習、神經網絡等熱門算法。其實作為一門相對冷門的算法，歸納邏輯程序設計卻在某些方面優于 ML。在這種算法即將迎來 30 周年之際，來自牛津大學與魯汶大學的研究者用一篇超長論文詳細解讀了歸納邏輯程序設計的相關內容。

歸納邏輯程序設計（Inductive Logic Programming, ILP）是機器學習的一種形式。與基于統計的機器學習類似，ILP 也是需要給定一些例子作為訓練樣本。所不同的是，基于統計的機器學習輸出的是一個統計學的分類模型，而 ILP 輸出的是一個邏輯程序。

近日，來自牛津大學與魯汶大學的研究者發表了一篇論文，該論文介紹了必要的邏輯符號和主要的 ILP 學習設置。此外還介紹了 ILP 系統的主要組成部分。他們在幾種維度上比較了幾個 ILP 系統，并詳細介紹了 Aleph、TILDE、ASPAL 和 Metagol 等四個系統。最后，研究者還將 ILP 與其他形式的機器學習進行對比，并總結了 ILP 當前的局限性以及未來研究的新方向。

論文地址：https://arxiv.org/pdf/2008.07912.pdf

因為該論文較長且還在完善的過程中，本文就先摘取了其中的核心內容進行介紹。

我們首先來了解下論文的核心結構，該論文主要由以下 9 個部分組成：

·  ILP 發展史（第 1 節）；

·  描述 ILP 必要的邏輯程序設計符號（第 2 節）；

·  定義了標準的 ILP 學習設置（從蘊含中學習、從解釋中學習和從滿足性中學習）（第 3 節）；

·  描述構建 ILP 系統所需的基本假設（第 4 節）；

·  比較了多個 ILP 系統并描述了它們所支持的特征（第 5 節）；

·  描述了四個 ILP 系統（Aleph、TILDE、ASPAL、和 Metagol）（第 6 節）；

·  描述了 ILP 應用層面（第 7 節）；

·  將 ILP 與其他形式的 ML 進行比較（第 8 節）；

·  概述未來的研究方向（第 9 節）。

以下內容將重點介紹 ILP 的基礎知識、選擇 ILP 的理由以及 ILP 的工作方式。

ILP 簡介

人類智慧的一項非凡成就是擁有學習新知識的能力。歸納法就是一種主要的學習類型：從特定觀察（示例）形成通用規則（假設）的過程。例如，假設你從一個袋子中抽出 10 個紅色的球，那么你可能會得出一個假設（一個規則），即袋子中的所有球都是紅色的。得出此假設后，你就可以預測出袋子中下一個球的顏色。

機器學習（ML）的目標是自動化歸納過程。換句話說，機器學習的目標是產生一個能夠泛化訓練示例（觀察）的假設（也稱為模型）。例如，給定帶有標簽的貓和狗的圖像，目標則是得出一個預測未標記圖像是貓還是狗的假設。

ILP 是 ML 的一種形式。與其他形式的 ML 一樣，ILP 的目標是得出一個可以泛化訓練示例的假設。雖然大多數形式的 ML 使用表格來表示數據（示例和假設），但 ILP 使用邏輯程序（邏輯規則集）來表示數據。

下表 1 說明使用 ML 與 ILP 的區別所在：

大多數形式的 ML 采用標準表格表示來描述 ML 任務。

ILP 使用邏輯程序來表示數據，由三個集合組成 (B，E+， E-)，其中 B 集合表示背景知識 (BK)，其與特征類似，但可以包含與示例間接關聯的關系和信息；E + 和 E - 分別表示正面例子與負面例子。

為什么選擇 ILP

ILP 與大多數 ML 方法的根本不同在于，大多數機器學習方法，如支持向量機和神經網絡，都依賴于統計推理。相比之下，ILP 依賴邏輯推理。下表 2 展示了 ILP 和統計 ML 方法之間的不同之處：

由上表可以得出，ML 與 ILP 的主要區別表現在用例、數據、假設、泛化、可解釋性和知識遷移 6 個方面：

·  用例方面：眾所周知，許多形式的 ML 都非常需要數據。相比之下，ILP 系統可以基于少量示例進行歸納，通常是從單個示例就能歸納；

·  數據方面：與大多數 ML 形式相反，ILP 使用表示為邏輯程序的 BK 進行學習。使用邏輯程序表示數據可以使 ILP 學習復雜的關系信息，并可以輕松集成專家知識；

·  假設：使用邏輯程序表示假設有很多好處。因為它們與關系數據庫密切相關，所以邏輯程序自然支持關系數據，例如圖表；

·  泛化能力：ILP 得出的歸納假設超出了訓練數據的范圍。相比之下，許多其他形式的 ML 因無法從少量訓練示例中進行歸納而名聲不佳（尤其是深度學習）；

·  可解釋性：由于邏輯與自然語言的相似性，因此人類可以輕松閱讀邏輯程序，這對于可解釋的 AI 和超強的 ML 至關重要；

·  知識遷移：大多數機器學習算法都是單任務學習，無法重用學到的知識。相比之下，由于 ILP 具有符號表示，它自然支持終身學習和遷移學習，對于 AI 來說至關重要。

ILP 工作方式

ILP 問題通常由三個集合構成：B（背景知識）、E+（正面例子）和 E-（負面例子）。ILP 問題是誘導一個假設 H，其中用 B 來解釋 E + 和 E-。

ILP 主要有三種學習設置：從蘊含中學習（learning from entailment, LFE）、從解釋行中學習（learning from interpretation, LFI）和從可滿足性中學習（learning from satisfiability, LFS）。LFE 和 LFI 是目前最流行的學習設置，所以這里著重討論這兩種。

從蘊含中學習（LFE）

定義 1：對于給定一個元組 (B， E + , E ? )：

LFE 的目標是返回一個假設 H，使得：

可以從以下示例中獲得直觀感受，考慮從蘊含元組學習：

同時假定存在假設空間：

那么可以考慮 ILP 系統應該返回哪些假設：

根據定義 1，一個假設必須包含每一個正面示例（完整的）而不需要負面示例（一致的）。然而，訓練示例往往是混雜的，所以很難找到一個既完整又一致的假設。因此，大多數方法都放寬了這一定義，并試圖找到一個包含盡可能多的正面示例和盡可能少的負面示例的假設。

從解釋中學習（LFI）

第二受歡迎的學習設置是 LFI。

定義 2（從解釋中學習）：給定元組（B，E+，E?），其中：

LFI 的目標是返回一個假設 H，使得：

示例 2，為了說明 LFI，該論文重用 Law（2018）的示例。考慮以下輸入元組：

同時假定存在有假設空間：

要找到一個解決 LFI 問題（定義 2）的假設 H，必須首先對每個示例計算 B 的最小模型，即：

問題是要找到一個假設 H，使 M_1 和 M_1 都是 H 的模型，而 M_3 不是。假設 h_1 不是解，因為 M_1 不是 B∪h_1 的模型；假設 h_1 不是解，因為 M_1 不是 B∪h_2 的模型；假設 h_3 是一個解，因為 M_1 和 M_2 都是 B∪h_3 的模型而 M_# 不是 B∪h_3 的模型。

總體而言，ILP 相關設計架構如下：正面示例 + 負面示例 + 背景知識?假設。ILP 所學模型基于一階邏輯符號規則，而非難以理解的黑箱模型。學習得到的模型可基于個體間的關系建模，而非只對個體的標記進行預測。如果你想了解更多細節內容，請參考該論文。

參考鏈接：https://hyper.ai/wiki/4863

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。