由于增加了激活函数，如果激活函数是非线性的，则可以实现非线性。这个原则很简单。你可以试着用非线性函数来设置一个线性函数来运算，结果一定是非线性的。
然而，多层感知器网络不一定具有激活函数，并且激活函数不一定是非线性的。该方法可人为设定，仅利用非线性激活函数加随机权初值，是理论和实践验证的最佳方法。
我已经使用python7年多了，现在我正在从事视频对象识别算法的开发，使用tensorflow，它也是基于python语言的。python是一种解决所有问题的语言，值得拥有
！我从2012年开始学习机器学习，因为没有指导，我走了很多弯路，浪费了很多时间和精力。一开始，我读了《机器学习实践》一书。虽然我不懂，但我还是把书中所有的例子都跑了一遍，渐渐发现自己不懂算法也能达到预期的效果。然后，我会直接开发我想要的程序。当我遇到需要机器学习的部分时，我会直接复制它。一周后，演示会出来。在这个时候，你会发现你已经开始了。剩下的就是理解每种算法的范围和局限性。
不要掉进无休止的书堆里，练习和做项目
！呃，地铁到了。我要去工作了。我还没做完呢。有机会我会继续讨论的
首先，理论就是理论。理论所持的东西在实践中并不总是容易使用的。例如，虽然理论上感知器可以拟合任意函数，但其拟合能力受输入神经元个数、输入向量大小和相关度的影响。面对类似的问题，简单的可以降维，复杂的需要结合遗传算法来达到效果。对于神经网络本身，如灰色神经元，衍生出的灰色神经网络和其他类型的神经网络可以很容易地处理这一问题。
其次，不同的神经网络有差异。例如，hopfield神经网络是一种优化算法，它具有与遗传算法相同的功能。从孩提时代起，感知器和bp神经网络都是拟合神经网络，但它们仍然是不同的。在感知器分类时，其边界只能是凸边，而bp神经网络也可以是任意形状的边界。
兄弟，如果你真的想学神经网络，我建议你上网看看211学校的硕士和博士学位。一般的小论文要么质量不好，要么你看不懂，书本理论太深。或者硕士论文是新手学习。
一张图片显示了这种关系。机器学习是人工智能的重要领域之一，而深度学习是机器学习的一个分支。深度学习之所以近年来流行起来，是因为它突破了传统机器学习无法解决的一些问题。
机器学习的意义在于代替人工完成重复性工作，识别出统一的规则（模式）。但是对于传统的机器学习来说，特征提取的难度不小（特征可以是像素、位置、方向等）。特征的准确性将在很大程度上决定大多数机器学习算法的性能。为了使特征准确，在特征工程部分需要大量的人力来调整和改进特征。完成这一系列工作的前提是，数据集中所包含的信息量是充分的，并且易于识别。如果不满足这一前提，传统的机器学习算法将在信息的杂乱中失去其性能。深度学习的应用正是基于这个问题。它的深层神经网络使它能够在杂波中学习，自动发现与任务相关的特征（可以看作是自发学习的特征工程），并提取高级特征，从而大大减少了特征工程部分任务所花费的时间。
另一个明显的区别是他们对数据集大小的偏好。传统的机器学习在处理规则完备的小规模数据时表现出良好的性能，而深度学习则表现不好。随着数据集规模的不断扩大，深度学习的效果会逐渐显现出来，并变得越来越好。对比如下图所示。
