研究

将机器学习应用于自然资源管理，改善模型性能

• 摘要
• 简介
  • 状态的研究
  • 数据
• 方法
• 结果
• 讨论
• 结论
• 对本文的回应
• 数据可用性
• 文献引用

介绍

到目前为止，机器学习算法已经证明自己是许多领域中强大的解决问题的工具。例如国际象棋和围棋等复杂的策略游戏(Silver et al. 2017)，在不确定的情况下与人类玩家进行战略决策。，扑克(Brown and Sandholm 2019)或复杂的合作游戏(Mnih et al. 2015)。其他领域包括自动驾驶、通过通用中介语翻译多种语言的翻译(Johnson et al. 2017)，以及毫秒范围内的图像识别(多类物体检测)，超过人类表现(Le et al. 2012, Girshick 2015)。

对于许多科学领域来说，问题在于机器学习的这些进展是否以及如何应用于它们自己的研究问题。很明显，机器学习算法的应用在不同学科之间存在很大差异。特别地，在自然资源管理和社会生态系统领域，机器学习方法似乎仍然很少被使用。然而，将机器学习算法应用于自然资源管理问题可能会带来各种好处:提高许多模型的解释力——因此，例如，对于成功的管理，能够更好地区分重要和无关因素;使用相同工作流程的不同算法生成更健壮的结果(参见讨论)，最后，为分析案例研究的方法工具箱提供了一个扩展。

鉴于机器学习算法已经在许多领域展示了其建模潜力(LeCun等人2015年)，我的目标是估计机器学习方法，尤其是深度神经网络，对自然资源系统建模的潜力。我在理论(通过文献回顾)和实践(对典型数据集的神经网络架构的系统搜索)两方面都评估了一般的适用性或不适用性。通过评估机器学习在自然资源研究中的潜力，通过总结研究的状态和最佳实践以及方向，未来的研究可能会受益。这样的评估也被用于其他研究领域，如生物学和医学(Ching et al. 2018)。

本文的下一部分概述了机器学习在社会-生态系统、(基于社区的)自然资源管理和公共资源领域的现有应用的研究状态，以评估其他作者应用机器学习方法解决的问题。

的数据部分描述了所使用的数据集，一个来自社会-生态系统的典型案例研究集合——来自Ostrom Workshop (n= 122)。在结果章节中，我讨论了深度神经网络在模型质量(拟合优度)方面是否优于其他方法。通过比较不同的体系结构，可以清楚地看到未来哪些类型的网络可以作为改进模型的基础。之后，在讨论，我回顾了神经网络是否确实可以成为自然资源管理领域前进的方法论步骤。

的方法本节提供了神经网络建模的基本概念的简短介绍，以便于将来的分析。通过使用神经网络的许多不同变化(架构)来分析一个原型数据集，以建立该方法对自然资源管理数据的一般适用性。

为了使议程更加具体，我努力回答三个研究问题，特别是:

1. 与之前使用的统计技术(如线性回归)相比，浅层或深层神经网络能否在模型质量上取得决定性的改善?
2. 有没有特别适合分析社会-生态系统的架构?
3. 其他机器学习方法是否适合处理社会-生态案例研究集合?

状态的研究

我的目标之一是评估机器学习方法是否以及如何已经被用于自然资源管理和社会生态系统领域(例如，Humphries et al. 2018)。为此，本研究分别于2019年11月19日至21日和2020年11月23日进行了系统的文献分析。在更普通的期刊上进行了关键词搜索自然，科学，美国国家科学院学报，英国皇家学会学报，自然方法，自然的可持续性，自然气候变化beplay竞技,《公共科学图书馆•综合》以及自然资源管理的核心期刊(最新beplay官网下载app，可持续性科学，国际公共期刊，生态建模，全球环境变化，环境管理杂志，世界发展，环境建模与软件,清洁生产杂志)．这项搜索是通过各期刊的内部搜索引擎进行的。

搜索的关键词是“机器学习”、“神经网络”和“深度学习”。对于更普通的期刊，与特定主题的期刊相比，它们不局限于自然资源，我在三个搜索关键词中分别添加了“自然资源”或“社会生态”的关键词。在两个搜索词中都不加引号会导致数千个无关的结果(例如，在学习方面);同时为两个搜索词使用它们的限制太大，结果是0。一些期刊搜索引擎将引号中的短语解释为逻辑的“OR”，这导致了许多无关的点击(例如，“机器学习”作为机器或学习)。

表A1提供了每个搜索组合的确切数字。一般来说，搜索会产生20-150个结果。这些都是筛选。如果一个热门话题似乎是关于自然资源管理的任何主题，并使用了任何类型的机器学习技术，它被包括在最终的数据集(表A2)。当然，还有许多其他的机器学习分类器和算法(Elith et al. 2006, Fernández-Delgado et al. 2014)。然而，我只关心最广泛使用的算法——神经网络、梯度提升和广义线性模型——因为它们很少用于自然资源管理问题。

总而言之，找到的命中数很少。尽管第一次检查结果n=特定主题期刊的点击量为2.616，普通期刊的点击量为3.287，只有32篇论文是关于以任何方式将机器学习应用于自然资源的。考虑到其他领域的巨大进步，这是相当令人惊讶的。这个数字证明机器学习在自然资源管理中还没有发挥作用。我在文中讨论了可能的原因讨论部分。

在讨论少数相关论文之前，我注意到，在许多相邻的研究领域，如可再生能源(IPCC 2018)或生物多样性研究中，机器学习方法，特别是神经网络，被非常频繁地使用。典型应用领域包括但不限于风能潜力评估、物种多样性模型、物种扩展模型、空间栖息地建模、遥感数据评估、太阳辐射预测等。

Frey和Rusch(2013, 2014)提供了神经网络在社会生态系统中的第一个应用。在公共资源案例研究中，浅层神经网络被用来识别成功因素。这些论文也证实了神经网络比回归方法能更好地处理特征之间的非线性的说法(Paruelo and Tomasel, 1997)。在随机森林渔业中确定成功模式的尝试也非常类似(Gutiérrez et al. 2011)。

在机器学习的其他用途中，应用机器学习的两个突出主题是土地利用变化建模(Cao等人2019年，Saputra和Lee 2019年;河流土地利用变化见Álvarez-Romero et al. 2015, Magierowski et al. 2015;，并对渔民行为进行预测和分类(Jules Dreyfus-León 1999, Cenek和Franklin 2017, Crespo等人2018,O’farrell等人2019)。关于这些研究的进一步细节，请参见表A2和文献引用部分。

总而言之，神经网络和随机森林是最受欢迎的技术，而空间模式的内容预测任务占主导地位。然而，论文中没有普遍采用的工作流程或任何其他类型的标准。

鉴于现有的几项使机器学习在自然资源领域取得丰硕成果的尝试，在实践中探索神经网络是否能提高模型质量更为重要。因此，我实现了许多神经网络架构，以更详细地探索这种潜力。

数据

选择公共池资源数据库对神经网络进行测试，并对方法进行比较状态的研究部分。这是一个典型的数据集，包括灌溉系统和渔业的个案研究(n= 122)，并且在线(https://seslibrary.asu.edu/cpr)．它的想法是，它可以代表数百个具有类似结构的其他数据集，这些结构涉及变量的数量、表格结构和涉及的概念。参考数据集在其他领域很有名，一个著名的例子是MNIST数据集(http://yann.lecun.com/exdb/mnist/)，作为比较机器学习分类器性能的基准。与自然资源管理之外的其他数据集相比，它相对较小，但案例之间的差异相当大，这意味着通过监督学习的模式识别特别适合。

公共资源数据库的结构是由印第安纳大学布卢明顿分校的奥斯特罗姆政治理论和政策分析讲习班制定的。这些数据已经收集了好几年，它们可能是对社会-生态系统最有影响力的分析的基础，《公地治理(奥斯特罗姆1990)。该数据库包含约500个变量，包括世界各地灌溉系统和渔业的人口、地理、社会、文化、气候、经济和技术细节。

选择这个数据集有几个原因。首先，分析表明，该数据集是典型的社会-生态案例研究(Frey 2018)。其次，它有足够多的异质情况。

对593个变量进行汇总;即，分配给24个抽象概念，如社会资本，资源规模，或参与机会。这些概念赋值变量的细节可以在Frey(2018)中找到。聚合的一个好处是，缺少变量不再是问题，因为概念中的现有变量可以代替缺少的变量。

因变量是生态成功。组成它的变量如表A4所示。所有变量均归一化，均值和单位方差均为零。这是神经网络数据准备中常见的步骤，以避免梯度爆炸和消失的问题。

方法

考虑到神经网络通常处理数千甚至数百万的数据记录，首先要回答的一个重要问题是，神经网络是否适合自然资源管理中典型的小得多的数据集。目前还不清楚，这种具有案例研究集合特征的数据(只有几百个案例，有几百个变量，可以聚合成几十个概念)是否需要神经网络。这是这次调查的目标之一。

另一个重要的问题是深度神经网络(在输入和输出之间有多个隐藏层)是否适合用于自然资源管理。也许非机器学习方法或非常简单的神经网络架构证明是足够的。因此，我首先介绍深度神经网络体系结构和浅层神经网络(只有一个隐藏层)，然后描述其他方法，以比较它们的模型适合于这个数据集，这是典型的多变量案例研究。

到目前为止，存在着大量不同的神经网络架构(LeCun et al. 2015)。每种类型的神经网络结构都适应于某一类问题。例如，在大多数图像识别任务中，使用深度卷积神经网络取得了最好的结果，而在时间序列分析任务中，长短期记忆网络已被证明优于其他架构(Hochreiter和Schmidhuber 1997)。然而，从原则上讲，找到正确的体系结构需要反复试验，特别是参数的微调。

对于表格数据，就像在这篇文章中使用的那些，只有几层的浅层或简单的深度神经网络已经实现了良好的拟合(Frey和Rusch 2013)。由于其他架构是用于其他类型的任务，大多是高度特定的，所以我没有进一步测试此类架构，并将我的测试限制在前馈和深度前馈网络上。

对这种网络的微调主要涉及对其超参数的调整。这些是网络的“螺母和螺栓”。众所周知，诸如层数、隐藏神经元数量、学习率或训练时数等参数对模型的最终拟合优度有相当大的影响(LeCun et al. 2015)。事实上，除了特征构建或提取(提供有意义的输入数据;例如，通过聚合变量)，超参数调优是典型机器学习流水线的核心步骤之一。

同样，找到参数的最佳组合需要反复试验。传统上，研究人员会手动尝试最有希望的组合。然而，随着计算能力的提高和越来越复杂的模型，这项任务已经外包给了计算机。这叫做网格搜索。

有三种类型的网格搜索:第一，笛卡尔网格搜索，其中计算离散数量的参数选择(例如，10、20和30个神经元，以及50、100和150个epoch，结果是9种组合)。第二种类型是随机网格搜索，其中参数的值是从一个范围内随机抽取的(例如，神经元的数量在10到30之间;50到150年之间的时代)。因此，组合的数量不是固定的。通常，要计算的模型的最大数量是由用户作为变量提供的。第三，贝叶斯搜索，参数组合的结果拟合本身是优化的，以降低错误率。这不是标准，而且还没有在大多数领先的软件包中实现(例如，在Python中的Scikit-learn或SciPy [Virtanen等人2019]或h2o [LeDell等人2020])。

已有研究表明，随机网格搜索通常比笛卡尔搜索产生更好的结果，而笛卡尔搜索又比手动参数调整表现得更好(Bergstra和Bengio 2012)。因此，我实现了一个大参数扫描的随机网格搜索。由于在大多数软件包中这两种方法的实现非常相似，更改它通常意味着只更改一个参数。例如，在h2o中，网格搜索的参数“策略”必须简单地从“笛卡尔”切换到“随机离散”。

这种超过20,000个模型测试(5000次运行x四种方法)的系统变化是必要的，原因有三:

1. 为了确定此类数据集的最佳架构类型
2. 为其他研究人员在建模类似数据集时进一步参数调整提供非常可靠的起始值
3. 使这类模型的最先进的适合性为人所知;这使得它可以用作基准和与传统模型的比较

对于所有模型，表A3展示了超参数变化的概况和最佳模型的实际值。虽然已经调优了更多的参数，但表A3中列出的是最重要的参数。因此，对于大多数建模者来说，只调优这些就足够了——其余的很可能只会对模型质量产生很小的改进(< 1-2%)。

虽然我的主要目标是探索神经网络用于自然资源案例研究数据的未开发可能性，但其他机器学习算法可能会表现得更好。出于这个原因，我将与另一种算法进行简短的比较——梯度提升算法，这是一种高效的决策树变体(Breiman 2001)一个)，这可能是最广泛使用的机器学习算法，因为它们在广泛的问题上有良好的性能，并对噪声非常鲁棒(Alpaydin 2010)。事实上，在自然资源管理的文献中，正如在文献综述中提出的状态的研究节中，变量决策树是最常用的算法。此外，它们的结果很容易解释，特性的重要性也很容易理解。

此外，由于大多数案例研究使用回归分析，我还将结果与广义线性模型进行了比较，以便更好地估计在自然资源研究中使用神经网络可以获得的性能提升。由于采用高斯分布，广义线性模型与多元线性回归模型相同，因此与现有研究具有可比性。对模型优化网格搜索过程中参数变化的描述见表A3。

所有数据被分成两部分——训练(80%)和测试集(20%)。这是机器学习中的标准做法，这样做是为了避免过拟合。过拟合意味着一个模型可能在训练数据上表现得很好，但在新数据(测试集)上表现得很弱，因为它不能很好地概括;也就是说，它捕捉了太多只存在于训练集而不存在于测试集的细节。

此外，还进行了五次交叉验证。这意味着，在对100%的数据进行训练时，为5个模型各保留了不同的20%，这对于如此有限的案例非常重要。因此，像适合度这样的度量可以用于培训、交叉验证和测试集。

我报告测试集的度量标准，这是标准的，因为它们最好地解释了模型在以前没有遇到过的数据上的表现。图1说明了使用的工作流程。

因为我的目标之一是让机器学习在自然资源管理和社会生态系统社区中得到更广泛的应用，所以选择软件是经过深思熟虑的。我选择了h2o，这是一款开源软件(LeDell et al. 2020)，可用于多种编程语言;即R、Python和Scala，它们的结构和函数非常相似。因此，将附录1中的R代码用于任何一种主要的编程语言应该是非常容易的——事实上，最多只需几个小时。它是任何数据科学家或机器学习研究人员都熟悉的标准工作流，因此进一步的开发应该非常容易。

结果

对于每个方法，运行随机网格搜索5000(每次500批)迭代。为了避免错过好的模型参数组合(“撒网广”)，参数的范围被故意设置得很大。因此，每次运行都代表一个独特的参数组合。选择每种方法最好的100个模型/结果(图2)。每一个超参数组合被认为是一个模型。

第一个结果是模型质量总体上非常高。没有机器学习模型的中位数小于0.58，多元回归的中位数为0.27(方差解释)。最佳广义线性模型的拟合优度为0.52。从其他研究领域可以看出，机器学习算法在解释价值上通常是非常接近的。对于我的数据集中表现最好的模型(深度神经网络(0.89)、梯度增强机(0.87)和浅层神经网络(0.84))来说是这样的。但是回归的模型质量与机器学习算法的模型质量差距较大，约为0.32(表1)。

第二个结果是，深度神经网络比浅层神经网络要好一些。具有更多隐藏层的更复杂的体系结构似乎负责在数据中找到更通用的模式。正如可以预期的那样，对于这样一个小的数据集，存在一些过拟合。然而，该算法在测试集上仍然具有很好的泛化性。

第三个结果与最佳架构有关(表A3)。最好的深度神经网络有4层，分别为492、13、85和111个神经元，训练约400个epoch，学习率为0.12，非常高。层次和神经元的数量决定了网络能够学习的问题的复杂性——层次和神经元越多，越复杂。然而，由于训练时间和计算机资源也会增加，所以在更多的层和神经元与更好的性能之间存在一个权衡。然而，比这更有问题的是，随着网络计算能力的增加，会发生过拟合和泛化能力下降。最后，学习率根据权值的变化定义步长。更高的速率意味着更快的进展，但可能导致非最优权重;较慢的速度可能导致长时间的训练过程，并可能陷入局部最优。

有时候，把最好的模型结合起来，比如五个模型，会得到一个更好的预测模型。这种组合技术被称为堆叠集成。对于每一种机器学习算法，我都计算了一个堆叠的集合，共40个模型。然而，它们的预测能力并不高于表现最好的模型。因此，我没有报告这些结果的进一步细节。

因此，结果是明确的:

1. 与线性回归相比，所有机器学习算法都提高了模型质量。
2. 模型性能的提升幅度在35%到40%之间。
3. 深度神经网络(2-4层)比浅层神经网络(只有一层隐藏层)提高了模型质量。的调整R²对于这个特定的数据集，拟合优度提高了约5%。
4. 梯度提升机在性能上与深度神经网络相似。
5. 对于这类表格数据，组合多个模型的堆叠集成并不比最佳模型表现得更好。
6. 模型性能差异很大。为了识别良好的参数组合，需要进行大规模的参数扫描(网格搜索)。

讨论

这一比较分析表明，机器学习方法，特别是深度神经网络，可能为分析更大的自然资源案例研究集合提供显著优势。然而，这项研究的一个局限性是，我们不清楚如何从这个特定的数据集推广到其他数据集。神经网络的一个局限是它们的黑箱特性;然而，在现代算法中，自变量的影响不再是未知的。他们很有能力独立地估计每一个因素。

机器学习方法不仅提供了实质性的模型改进，而且还提供了决策支持。，by visualizing the importance of variables in gradient boosting, and thus may help improve ecological sustainability. Their high performance is not surprising given their ability to deal with noisy data and nonlinearities. With various software solutions being available (e.g., Keras in Python or h2o [LeDell et al. 2020]), which no longer require deeper mathematical knowledge about the functioning of neural networks, implementing machine learning algorithms should pose no issues. Nevertheless, a good understanding of the problem and the respective methods that can be applied is necessary; otherwise, the interpretation of results leads to errors. This also applies to the choice of the architecture and the method itself, even if advanced commercial software packages like keras-automl or h2o-automl offer automated workflows.

然而，尽管有这些明显的优势，机器学习方法在自然资源研究中的应用却非常少。我认为有三个主要原因:

首先，机器学习方法需要大量的数据。因此，不能对个别案例进行分析;相反，需要数据库中可用的数据集合。此外，这些数据必须相当完整，因为神经网络需要完整的数据作为输入。指责通常会导致糟糕的结果。然而，大多数研究都涉及一个或更少的案例研究。然而，神经网络的下限大约是100例，正如在状态的研究部分。由于深度神经网络主要可以在大型数据集(如图像、文本语料库)中发挥其优势，这可能是这些技术使用缓慢的原因之一。

第二，数据-案例研究-需要标准化的格式，以具有可比性(Frey 2017)。具有明确定义、概念和变量的可比、一致操作的数据集是罕见的。在自然资源管理研究中，显然缺乏这样大的、高质量的数据集(Poteete et al. 2010)。开放获取数据仍然很少见。

第三，不熟悉机器学习的方法和一般的方法(Breiman 2001b)可能会导致研究人员犹豫。直到最近，自然资源管理领域的研究人员还没有发现机器学习可以帮助建模。随着改进和精简的软件包可用，以及其他领域的成功案例得到更多的关注，这种情况可能会改变。

如果克服了这些障碍，机器学习方法在自然资源管理领域的日益普及也可能导致研究兴趣从个别案例研究转向更大的数据集。这种发展已经被呼吁(Poteete et al. 2010)。这反过来可能导致不同类型的数据收集，并可能改变领域，如果数据是统一收集的，以框架为基础进行结构化，主要是纵向的，并延伸到几个方面(如社会、经济、技术)。这方面的一个例子是国际林业资源和机构数据库，它使许多科学发现得以实现(例如，Andersson和Agrawal 2011, Salk et al. 2014)。

计算机性能的提高也可以提供支持，这可以大大加快复杂模型的计算速度。这里只列出几种可能性:在图形处理单元上进行计算，在本地笔记本电脑上使用类似MPI(消息传递接口)的并行计算软件，或者在研究人员的科学机构中使用服务器集群。如果需要更多的计算能力，高性能或云计算是现成的。

结论

机器学习在许多研究领域的成功表明，它们的建模质量也可以用于自然资源管理领域的分析。然而，到目前为止，这几乎没有发生，一篇文献综述只在更一般的和特定主题的期刊上发表了32篇关于机器学习和自然资源管理的综述论文。

我已经发现了一些机器学习很少应用于自然资源研究的潜在原因，并提出了如何克服应用机器学习的障碍。这并不是因为没有合适的数据集，因为荟萃分析中的案例研究(Gutiérrez et al. 2011, Brooks et al. 2012)和使用数据库的研究(Tang 1992, Lam 1998, Salk et al. 2014)已经证明了这一点。我还认为，机器学习算法可能非常适合处理自然资源管理中存在的这类数据。

所有测试的算法(深度和浅层神经网络，以及梯度提升)都比传统的线性回归具有更强的解释能力。然而，没有哪一种算法明显优于其他算法——结果也取决于数据集及其特征。需要再次强调的是，模型会因参数调整而变化很大。为了识别鲁棒模式，既需要运行多个模型，又需要使用多种机器学习算法。只有当一个模式在许多模型中是稳定的，并且至少有两种算法时，才有迹象表明它的存在。

未来的研究可能基于经过良好测试的架构。由于所有的分析都是使用开源工具对开放获取的数据进行的，因此本文提供了一个这样的工作流，完整的代码在附录1中提供。因此，将这些模型应用到自己的数据集可能只包括微调一些参数。例如，这是图像识别中的常见做法。此外，标准数据格式、中心概念的共同定义、以及比较不同方法的参考数据集和基准将是未来推进自然资源管理研究的核心基石。

这让我们得出结论，机器学习的许多不同方法，不仅是神经网络，可以丰富社会-生态系统分析的方法论工具箱。机器学习方法已经在很多领域证明了它们的价值，它们在理论和实践上都是成熟的，并且有很多易于使用的软件解决方案和相应的介绍和说明(如h2o [http://docs.h2o.ai/]或喀纳斯文献[https://keras.io/])。因此，现在是将这些方法应用于自然资源管理问题的时候了。

文献引用

Alpaydin, e . 2010。机器学习导论。第二版。麻省理工学院出版社，剑桥，马萨诸塞州，美国。

Álvarez-Romero, j.g.， r.l. Pressey, n.c. Ban, J. Brodie. 2015。推进陆海保护规划:整合集水区、土地利用变化和河流羽流的模型，优先进行集水区管理和保护。《公共科学图书馆•综合》10 (12): e0145574。https://doi.org/10.1371/journal.pone.0145574

Andersson, K.和A. Agrawal, 2011。不平等、制度和森林公地。全球环境变化21(3): 866 - 875。https://doi.org/10.1016/j.gloenvcha.2011.03.004

伯格斯特拉，J.和Y.本吉奥，2012。超参数优化的随机搜索。机器学习研究杂志13:281 - 305。

Breiman, l . 2001一个．随机森林。机器学习45(1): 5-32。https://doi.org/10.1023/A:1010933404324

Breiman, l . 2001b．统计建模:两种文化(有作者的评论和反驳)。统计科学16(3): 199 - 231。https://doi.org/10.1214/ss/1009213726

Brooks, j.s.， K. A. Waylen, M. Borgerhoff Mulder, 2012。国家背景、项目设计和当地社区特征如何影响社区保护项目的成功。美国国家科学院学报109(52): 21265 - 21270。https://doi.org/10.1073/pnas.1207141110

布朗，纽约州和T.桑德霍尔姆，2019年。多人扑克游戏的超人AI。科学365(6456): 885 - 890。https://doi.org/10.1126/science.aay2400

曹c .， S. Dragićević，李s . 2019。利用递归神经网络模型进行土地利用变化短期预测。可持续性11(19): 5376。https://doi.org/10.3390/su11195376

M. Cenek和M. Franklin, 2017年。在SES框架内指导多物种太平洋鲑鱼渔业管理的适应性基于代理的模型。生态模型360:132 - 149。https://doi.org/10.1016/j.ecolmodel.2017.06.024

Ching, T.， D. S. Himmelstein, B. K. beaulieue - jones, A. A. Kalinin, B. T. Do, G. P. Way, E. Ferrero, P. m。Agapow, M. Zietz, M. M. Hoffman等2018。生物医学领域深度学习的机遇与障碍。皇家学会学报，界面15(141)。https://doi.org/10.1098/rsif.2017.0387

克雷斯波，g.o.， D. C.邓恩，G. Reygondeau, K. Boerder, B. Worm, W.张，D. P. Tittensor, P. N. Halpin. 2018。全球公海远洋延绳钓舰队的环境生态位。科学的进步4 (8): eaat3681。https://doi.org/10.1126/sciadv.aat3681

Elith, J.， C. H. Graham, R. P. Anderson, M. Dudík, S. Ferrier, A. Guisan, R. J. Hijmans, F. Huettmann, J. R. Leathwick, A. Lehmann等2006。新的方法改进了基于发生数据的物种分布预测。描述生态学29(2): 129 - 151。https://doi.org/10.1111/j.2006.0906-7590.04596.x

Fernández-Delgado, M.， E. Cernadas, S. Barro, D. Amorim. 2014。我们需要数百个分类器来解决现实世界中的分类问题吗?机器学习研究杂志15(1): 3133 - 3181。

弗雷,美国2018年。Nachhaltige Bewirtschaftung natürlicher资源:Erfolgsfaktoren in komplexen sozial-ökologischen Systemen。(1。Auflage]版。施普林格Spektrum，柏林，德国。https://doi.org/10.1007/978-3-662-55446-3

弗雷，u.j. 2017。社会-生态系统可持续性的关键因素的综合。可持续性科学12(4): 507 - 519。https://doi.org/10.1007/s11625-016-0395-z

Frey, U. J.和H. Rusch, 2013。利用人工神经网络对社会生态系统进行分析。生态和社会18(2): 40。https://doi.org/10.5751/ES-05202-180240

Frey, U. J.和H. Rusch, 2014。使用大数据集对公共资源系统的生态成功建模。世界发展59:93 - 103。https://doi.org/10.1016/j.worlddev.2014.01.034

Girshick, r . 2015。快R-CNN．(在线)网址:http://arxiv.org/pdf/1504.08083v2

Gutiérrez, N. L.， R. Hilborn，和O. Defeo. 2011。领导力、社会资本和激励措施促进了渔业的成功。自然470(7334): 386 - 389。https://doi.org/10.1038/nature09689

Hochreiter, S.和J. Schmidhuber, 1997。短期记忆。神经计算9(8): 1735 - 1780。https://doi.org/10.1162/neco.1997.9.8.1735

汉弗莱斯，G.， D. R.马格内斯和F.休特曼编辑。2018.生态和可持续自然资源管理的机器学习．施普林格国际出版。https://doi.org/10.1007/978-3-319-96978-7

政府间气候变化委员会(IPCC)。beplay竞技2018.全球变暖1.5°C。特别报道。(在线)网址:https://www.ipcc.ch/sr15/

Johnson, M.， M. Schuster, Q. V. Le, M. Krikun, Wu y, Z. Chen, N. Thorat, F. Viégas, M. Wattenberg, G. Corrado, M. Hughes, J. Dean. 2017。谷歌的多语言神经机器翻译系统:启用零镜头翻译．https://doi.org/10.1162/tacl_a_00065

朱尔斯Dreyfus-León, M. 1999。基于神经网络和强化学习的渔民搜索行为个体建模。生态模型120(2 - 3): 287 - 297。https://doi.org/10.1016/s0304 - 3800 (99) 00109 - x

林焕辉，1998年。治理尼泊尔的灌溉系统:机构、基础设施和集体行动．旧金山当代研究所。

勒，Q. V.，硕士。Ranzato、R. Monga、M. Devin、K. Chen、G. S. Corrado、J. Dean、A. Y. Ng. 2012。使用大规模无监督学习构建高级特征．507 - 514页第29届机器学习国际会议论文集2012年，英国苏格兰爱丁堡。(在线)网址:http://arxiv.org/pdf/1112.6209v5

LeCun, Y.， Y. Bengio, G. Hinton, 2015。深度学习。自然521(7553): 436 - 444。https://doi.org/10.1038/nature14539

LeDell, E.， N. Gill, S. Aiello, A. Fu, A. Candel, C. Click, T. Kraljevic, T. Nykodym, P. Aboyoun, M. Kurka等2020。h2o:“h2o”可扩展机器学习平台的R接口。(在线)网址:https://rdrr.io/cran/h2o/

Magierowski, r.h.， s.m. Read, s.j.b. Carter, d.m. Warfe, l.s. Cook, E. C. Lefroy, P. E. Davies. 2015。利用中观实验和人工神经网络数据推断景观尺度的土地利用对河流的影响。《公共科学图书馆•综合》10 (3): e0120901。https://doi.org/10.1371/journal.pone.0120901

Mnih, V.， K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski等2015。通过深度强化学习实现人性化控制。自然518(7540): 529 - 533。https://doi.org/10.1038/nature14236

O’farrell, S.， J. N. Sanchirico, O. Spiegel, M. Depalle, A. C. Haynie, S. A. Murawski, L. Perruso和A. Strelcheck. 2019。干扰会改变勘探-利用权衡中的收益。自然通讯10(1): 3363。https://doi.org/10.1038/s41467-019-11106-y

奥斯特罗姆,e . 1990。治理公地:集体行动制度的演变．剑桥大学出版社，剑桥。

帕鲁洛和托马塞尔，1997年。生态系统功能特征的预测:人工神经网络与回归模型的比较。生态模型98(2 - 3): 173 - 186。https://doi.org/10.1016/s0304 - 3800 (96) 01913 - 8

波提特，a.r.， m.a.詹森和E.奥斯特罗姆，2010。共同工作:集体行动、公地和实践中的多种方法．普林斯顿大学出版社，美国新泽西州普林斯顿。https://doi.org/10.1515/9781400835157

索尔克，C. F.，弗瑞，H.拉什，2014。比较不同气候和生物群落的森林:定性评估、参考森林和区域比较。《公共科学图书馆•综合》9 (4): e94800。https://doi.org/10.1371/journal.pone.0094800

萨普特拉，m.h.和h.s. Lee, 2019年。利用基于人工神经网络的细胞自动机预测印度尼西亚北苏门答腊岛的土地利用和土地覆盖变化。可持续性11(11): 3024。https://doi.org/10.3390/su11113024

Silver, D.， J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T. Hubert, L. Baker, M. Lai, A. Bolton等。2017。在没有人类知识的情况下掌握围棋。自然550(7676): 354 - 359。https://doi.org/10.1038/nature24270

唐绍尧1992。制度与集体行动:灌溉的自我治理．当代研究所，旧金山，加州，美国。

Václavik, T.， S. Lautenbach, T. Kuemmerle, R. Seppelt. 2013。绘制全球土地系统原型。全球环境变化23(6): 1637 - 1647。https://doi.org/10.1016/j.gloenvcha.2013.09.004

Virtanen, P.， R. Gommers, T. E. Oliphant, M. Haberland, T. Reddy, D. Cournapeau, E. Burovski, P. Peterson, W. Weckesser, J. Bright等2019。用于科学计算的Python基本算法．(在线)网址:http://arxiv.org/pdf/1907.10121v1