深度机器学习的未来

我之所以分享这些预测，并不是因为我希望它们将来能被证明是完全正确的，而是因为它们在当前很有趣并且可以付诸实践。

从高层次看，我看到希望的主要方向是：

• 比通用计算机程序更接近的模型，是建立在比我们当前的可区分层更丰富的基元之上的，这就是我们将如何推理和抽象的方法，这是当前模型的根本缺陷。
• 使上述一切成为可能的新型学习形式-允许模型摆脱可区分的变换。
• 不需要人工参与的模型-不断调整旋钮不是您的工作。
• 更好地，系统地重用以前学习的功能和体系结构；基于可重用和模块化程序子例程的元学习系统。

此外，请注意，这些注意事项并非到目前为止一直是深度学习的基础的那种监督学习，而是适用于任何形式的机器学习，包括无监督，自我监督和强化学习。标记的来源或训练循环的样子从根本上来说并不重要；机器学习的这些不同分支只是同一构造的不同方面。

实现这一目标的途径可能是什么？考虑一种著名的网络：RNN。重要的是，与前馈网络相比，RNN的限制略少。这是因为RNN不仅仅是几何变换：它们是在for循环内重复应用的几何变换。暂时的for循环本身是由人类开发人员硬编码的：它是网络的内置假设。自然，RNN的表示能力仍然受到极大限制，主要是因为它们执行的每个步骤仍然只是可微的几何变换，并且它们从一步到一步传递信息的方式是通过连续几何空间中的点（状态向量）进行的。现在，想象一下以类似的方式通过编程原语（例如for循环）来“增强”神经网络，但不仅仅是for具有硬编码几何内存的单个硬编码循环，而是模型所包含的大量编程原语可以随意操作以扩展其处理功能，例如if分支，while语句，变量创建，用于长期内存的磁盘存储，排序运算符，高级数据结构（如列表，图形和哈希表）等等。这样的网络可以代表的程序空间将比当前深度学习模型所能代表的程序要广阔得多，并且其中一些程序可以实现更高的泛化能力。

一言以蔽之，我们将摆脱拥有“硬编码算法智能”（手工软件）和“学习几何智能”（深度学习）的格局。相反，我们将混合使用提供推理和抽象功能的正式算法模块和提供非正式直觉和模式识别功能的几何模块。整个系统将在几乎没有人参与的情况下学习。

我认为AI的一个相关子领域可能会大有作为，它是程序综合领域，尤其是神经程序综合领域。程序合成包括通过使用搜索算法（可能是遗传搜索，如遗传编程）自动生成简单的程序，以探索大量可能的程序。当找到符合所需规范的程序时，搜索将停止，该程序通常以一组输入输出对的形式提供。正如您所看到的，它是否使人联想到机器学习：给定输入和输出对提供的“训练数据”，我们找到了一个将输入与输出匹配并可以归纳为新输入的“程序”。所不同的是，与其在硬编码程序（神经网络）中学习参数值，不如说是， 通过离散搜索过程。

我绝对希望深度机器学习这个子领域在接下来的几年中看到新的兴趣浪潮。特别是，我希望在深度学习和程序合成之间出现一个交叉子域，在该子域中，我们不会以通用语言生成程序，而会在其中生成神经网络（几何数据处理）。流）增加了一组丰富的算法的图元，如for循环等等。与直接生成源代码相比，这应该更容易处理和有用，并且它将大大扩展机器学习可以解决的问题的范围-在给定适当的训练数据的情况下，我们可以自动生成的程序空间。象征性AI和几何AI的融合。当代的RNN可以看作是这种混合算法-几何模型的史前祖先。