对三个专业农业系统的可持续性和恢复力的参与性评估

• 摘要
• 简介
  • 评估农业系统的可持续性和恢复力
  • 欧盟的集约化专业农业
  • 本研究中使用的概念
• 方法
  • 农业系统
  • 案例研究
  • 利益相关者的参与
  • 评估农业系统功能的可持续性
  • 评估弹性
• 结果
  • 农业系统参与者
  • 系统可持续性
  • 可持续发展指标的动态
  • 农业系统的弹性战略
  • 弹性属性
• 讨论
  • 农业系统可持续性评估
  • 农业系统恢复力评估
  • 方法
• 结论
• 对本文的回应
• 致谢
• 数据可用性
• 文献引用

介绍

评估农业系统的可持续性和恢复力

农业的可持续性和可持续集约化得到了很好的研究(Pretty 2008, Godfray 2015)，可持续性评估有多种框架和工具(Alkan Olsson等人2009,Arodudu等人2017,Sieber等人2018)。有几种方法专门设计用于评估多维可持续性和参与式可持续发展(Morris等人，2011年，Delmotte等人，2013年，König等人，2013年，Vaidya和Mayer, 2014年)。然而，这些研究并未用于研究农业的弹性，即在冲击和挑战背景下农业系统的稳健性、适应性和可转型性(Meuwissen et al. 2020)。许多研究有助于在农业和粮食系统中寻找弹性研究的操作化(例如，Callo-Concha和Ewert 2014, Ge等人2016,Prosperi等人2016,Peterson等人2018)。只有少数国家考虑了同时解决农业可持续性和恢复力问题(例如，Tendall等人，2015年，Meuwissen等人，2019年)。我们认为可持续性和复原力是两个独立但往往互为补充的概念，它们可能会，也可能不会根据情况相互影响(Marchese等人，2018年)。要超越静态的可持续性评估并解释动态，必须同时评估可持续性和恢复力。同时也需要解决这两个问题，以确定不可持续但有弹性的系统，或者反之亦然。应对已知和新的冲击和压力需要弹性，以跟踪通向更可持续系统的途径。其他研究人员研究了农场的恢复力和可持续性(例如，Darnhofer 2010, 2014)，但没有将农场以外的多个参与者也发挥突出作用的农业系统作为一个整体。 Ashkenazy et al. (2018) address resilience at farm and regional level, but lack the perspective of a well-defined resilience assessment framework and the attention for the role of different actors. The latter can be evaluated with a participatory assessment that is necessary to adequately address perspectives and issues of multiple actors and issues. Currently, multiple resilience assessment frameworks are available (Quinlan et al. 2016, Douxchamps et al. 2017). The “wayfinder guide” of the Stockholm Resilience Centre (https://wayfinder.earth/)为整合社会生态系统的多重迭代的可持续性和恢复力评估提供了广泛的框架，包括持久性、适应性和可转换性的概念。然而，据我们所知，目前还没有为为期一天的研讨会设计的单一框架，将农业系统的多维可持续性和弹性(具体的和一般的)评估结合起来，包括所有三种弹性能力的概念，即健壮性、适应性和可变动性。

在这篇论文中，我们旨在提出和测试一个框架使用参与式综合评估(PIA;Toth 2001, Ridder和Pahl-Wostl 2005)，以解决农业系统的可持续性和恢复力问题。PIA与其他方法结合，可以促进项目周期，其中可以区分以下步骤:数据收集和分析、计划、实施、以及监测和评估(Ridder和Pahl-Wostl 2005)。在本文提出的PIA中，重点是在项目周期开始时的数据收集和分析。参与式输入允许从涉众的角度确定系统最重要的指标。识别这些指标是确定系统身份的第一步，即绘制其最重要的结构和反馈机制(Cumming和Peterson 2017)。参与性输入还允许评估那些不易测量的变量，例如社会变量，如作为农民的满意度或自豪感。来自社会领域的变量对系统功能可能很重要，但在与土地使用相关的研究中往往被忽视(Gliessman 2015, Winkler et al. 2018)。参与性研究还揭示了人们对系统目标和功能的认知差异，在评估可持续性和恢复力时，考虑到这一点很重要(Robards et al. 2011)。

欧盟的集约化专业农业

该框架通过三个讲习班应用于欧盟的三个集约化、专业化农业系统。将三个农业系统作为不同地区的案例研究，可以演示该框架如何在不同条件下工作。在我们的案例研究中，农业系统的集约化和专门化是一个共同点，这也允许评估用于农业系统之间比较的框架的使用。在本研究中，从不同的角度将提出的框架应用于密集的、专门的系统是相关的和有趣的。就代表性而言，欧盟内部生产的大部分粮食是由中至高度集约化、专业化的农业系统提供的(Andersen et al. 2007)。关于可持续性，更密集的农业系统通过规模经济带来更高的产量和收入(Peterson等人，2018年)，但也会对环境造成更大的压力，当然是单位面积(Tilman等人，2002年，Pretty和Bharucha 2014年)。至于恢复力，专业化和集约化农业系统通常在稳定的社会经济和生物物理环境下进行优化生产(Urruty et al. 2016)。然而，许多外部影响，如极端天气次数增加和市场波动，造成的生产环境比大多数专门的农业系统所设计的更加多变。在这种体系中，农场通常有相当高的金融资本投入到生产设备上，而这些设备在不造成重大损失的情况下无法再投资(沉没成本)。沉没成本造成个体农民的路径依赖和锁定，这使得当新的挑战到来时，整个农业系统难以适应和转型(Balmann et al. 2006)。 In addition, the professional network required for providing inputs to and processing outputs from intensive, specialized systems can create a lock-in of stakeholders’ interests inside and outside the agricultural system. Examples may refer to businesses that need to fulfill shareholder expectations regarding economic profit (Westley et al. 2011), or intellectual property rights in technology intensive agriculture (Plumecocq et al. 2018).

本研究中使用的概念

在本研究中，我们将农业系统定义为具有相对相同的农业生态和社会条件的地理区域。在农业系统中，我们从一个农业部门及其农场作为关注焦点开始，然后包括农业系统中影响焦点农民的所有行为者，以及他们本身受焦点农民影响的所有行为者(Meuwissen等，2019年)。我们对农业系统可持续性的工作定义是环境、经济和社会领域的所有系统功能的充分表现(例如，参见Morris等人2011年，König等人2013年)。显然，“适当”是规范的，取决于环境的阈值以及经济和社会的限制和目标。对于弹性，我们区分了三种弹性能力:鲁棒性、适应性和可转换性。健壮是抵抗和忍受冲击和压力的能力;适应性是在不改变农业系统结构和反馈机制的情况下，积极应对冲击和压力的能力;可变动性是一个系统重组其结构和反馈机制的能力(Meuwissen et al. 2019)。我们与Walker和Salt(2012)一起认为，要评估弹性，我们需要区分特定弹性和一般弹性。评估特定的恢复力涉及到“什么恢复力?””,“什么?，” and “for what purpose?” (Carpenter et al. 2001, Quinlan et al. 2016). General resilience relates to a system’s robustness, adaptability, and transformability, regardless the type of challenge or shock. General resilience is mainly assessed by looking at system principles that are presumably conveying resilience. The five principles for general resilience that we use in this paper are tightness of feedbacks, modularity, diversity, openness, and system reserves (Resilience Alliance 2010). Based on these principles, more concrete resilience attributes or indicators are needed to assess the general resilience of a specific system. Cabell and Oelofse (2012), for instance, present 13 resilience indicators for agro-ecosystems that are considered as conveying resilience to the system. Some of these indicators are somewhat linked to either robustness, adaptability, or transformability, although not in a consistent manner, as we will elaborate further in this study by addressing potential contributions of resilience attributes to the three defined resilience capacities. Appendix 1 provides an overview of all important concepts used in this study.

方法

为了研究当前农业系统的可持续性和弹性，我们设计了可持续和弹性欧盟农业系统参与式影响评估框架(FoPIA-SURE-Farm;Paas等人2019年，Reidsma等人2019年)。FoPIA-SURE-Farm包含了五个不同的现有来源的元素。首先，在评估感知的可持续性方面，它受到参与性影响评估框架(foia;Morris et al. 2011, König et al. 2013)。其次，为了评估感知的复原力，实施了复原力评估框架(RAF;弹性联盟2010)。第三，为了分析可持续性指标的动态，我们纳入了Herrera(2017)用于系统动力学建模的参与式技术。第四，根据Cabell和Oelofse(2012)提出的恢复力属性列表评估总体恢复力，该列表为农业系统的评估量身定制并加以补充。最后，FoPIA-SURE-Farm建立在Meuwissen等人(2019)在SURE-Farm项目背景下开发的框架之上(https://surefarmproject.eu)．Meuwissen等人(2019)提出通过回答以下问题来研究农业系统的弹性:(a)什么的弹性?(定义农业制度);(b)适应什么?(识别挑战)，(c)恢复力的目的是什么?(确定农业系统向社会提供的主要商品和服务)，(d)什么是复原能力?(评估鲁棒性、适应性以及可转换性)，(e)哪些弹性属性?(识别向系统传递弹性的系统特征)。这些问题有助于构建与弹性相关的一般和具体的研究主题，定性和定量研究方法都可以应用于此。

农业系统

与农场层面的研究相比，农业系统层面的研究可以考虑到在类似整合水平上运行的挑战(Peterson et al. 2018)，例如农场数量的减少和一个地区的特定气候变化。beplay竞技此外，在农场系统层面，可以包括在面临挑战时影响系统动态的过程和参与者，如利益相关者与环境的互动(Urruty等人2016年)和自组织(Cabell和Oelofse 2012年)。因此，在这一层面上，系统动态并不完全是由于外部挑战，而是包括不同参与者的适应和转型策略(Cumming等，2017年)。与此同时，农场系统是农场之上的一个层次(Giller 2013)，在这个层次上，个体利益相关者仍然可以被听到(Cabell和Oelofse 2012)，允许在参与式设置中多个利益相关者投入。

案例研究

在三个专业农业系统案例研究(CS)中举办了讲习班:荷兰Veenkoloniën的淀粉马铃薯生产(nl -淀粉马铃薯)、比利时弗兰德斯的乳制品生产(BE-Dairy)和意大利拉齐奥的榛子生产(IT-Hazelnut)。淀粉马铃薯是一个资本和投入密集型系统，单位投入的经济生产率相对较低(表1)。主要土壤为沙质，含有大量的非活性有机质。最具经济效益的作物是淀粉马铃薯，通常与谷物和甜菜一起以1:2或1:3的轮作方式种植。有些农场还种植洋葱、胡萝卜或郁金香。相对于谷物和甜菜，大多数作物保护产品用于淀粉土豆。农民们组成合作社，加工淀粉土豆，通常是在合同的基础上种植。甜菜也按合同种植并出售给合作社。nl -淀粉马铃薯的主要挑战是低经济生产力，植物寄生线虫在土壤中，和不断变化的政策和立法。在NL-Starch potato种植区，农民数量在减少，农地价格在上涨。

BE-Dairy也是一个资本密集型系统(表1)。牲畜饲料主要包括草(青贮)，辅以玉米青贮和饲料精料。农民组成合作社，收集、加工和销售牛奶及其衍生产品。重要的挑战是出口市场的竞争以及牛奶和饲料价格的波动。氮过剩给环境带来压力。在这一体系中，其他有争议的问题是温室气体的产生和抗生素的使用。由于资本密集度(表1)、年轻一代对农业的兴趣下降(涉及与其他职业的竞争)以及行政和立法需求的挑战，未来的农场继承在这个农业系统中是一个值得关注的问题。

IT-Hazelnut是资本密集型最低的系统(表1)。使用作物保护产品和提取地下水用于灌溉已被声称对环境造成压力，特别是对地表水造成公众关注(Liberti 2019)。大部分产品都卖给了农业系统以外的加工厂。在该地区，一些合作社收集原始产品，只进行第一个加工步骤，即剥壳，并提供储存服务。这个系统的主要挑战是价格不稳定和世界市场上的竞争，主要是与土耳其的竞争。最近通过自动推进的机器收割的现代化提高了劳动生产率，并引发了对榛子种植更多土地的需求。因此，不太适合榛子种植的土地将在未来几年投入生产。来自IT-Hazelnut的FoPIA-SURE-Farm的结果在Nera等人(2020)中详细介绍。与Nera等人(2020)相比，本研究更强调在应用于三种不同的耕作系统时提出和评估方法。Nera等人(2020)更详细地评估了案例研究中的可持续性和弹性。

利益相关者的参与

多种因素影响着农业系统的动态。因此，在讲习班中已考虑到系统中所包括的行为者的异质性。参与者是通过案例研究领域现有的利益相关方网络邀请的。参加研讨会的人数是基于参与者自己的主动性，因此在利益相关者群体之间不一定是平衡的。参与者主要由农民和来自政府、非政府组织、研究机构和加工业的代表组成(表2)。不同案例研究的参与者人数不同(每个利益攸关方群体的参与者人数从1人到8人，总共12人到21人)。

为了让所有参与者达到同一层次的分析，研究团队在每个案例研究中都有所不同，他们在研讨会开始时展示了耕作系统的社会描述(表3)，展示了耕作系统的参与者和(在)耕作系统的直接影响者。参与者有机会对农业系统的代表做出反应。如有必要，作出了更新。

评估农业系统功能的可持续性

研究小组确定的养殖系统的八项功能及其代表性指标，被提交给与会者，并在全体会议上进行讨论(表3)。如有必要，对代表性指标列表进行了修改(表4)。在BE-Dairy中，“生物基础资源”功能被广泛解释为系统中除牛奶外的所有可食用产品。在IT-Hazelnut中，“动物健康和福利”没有被评估，因为动物不是这个养殖系统的一部分。参与者被邀请单独评估不同功能的重要性(见如表3所示)。同样，要求他们评估有关其所代表的职能的代表性程度的所有指标。将代表性程度的结果转换为相对重要性，以便比较各指标在函数间的重要性(公式A2.1)。此外，每个参与者对每个指标的表现进行评估。每个参与者的功能绩效计算为每个功能的指标得分乘以参与者所属利益相关者群体的指标平均代表性之和(公式A2.2)。在研讨会期间，直接反馈和讨论了职能和指标的重要性和执行情况。感知指标和功能绩效被解释为系统感知可持续性水平的指示性指标(例如，参见Morris等人，2011年，König等人，2013年，他们将这种方法应用于评估政策对可持续发展的影响)。使用R中的Kruskal Wallis检验(R Core Team 2015)，对农民和非农民之间的感知重要性和功能绩效水平进行了显著差异的检验。通过Kruskal Wallis测试和事后Conover Iman测试(使用R-package“Conover”进行Bonferroni校正)测试感知功能重要性和功能之间的性能是否存在显著差异。测试”(Dinno 2017)。

评估弹性

根据指标的重要性和表现，与会者在一次全体会议上决定，在农业系统恢复力方面，最值得进一步详细评估的3至4个指标。参与者被邀请概述2000-2018年期间选定指标的年度动态，并确定导致概述动态的挑战。他们还被邀请确定农民和其他农业系统参与者为应对已确定的挑战所采用的战略。评估了已确定的战略的执行水平及其对复原能力的贡献。结果直接反馈给全体会议的参与者。在评价阶段，将策略与弹性属性联系起来，以便将特定弹性与一般弹性之间的联系可视化，并允许案例研究之间的策略的可比性。

为了评估一般恢复力，根据Cabell和Oelofse(2012)和Meuwissen等人(2019)的研究，构建了一个包含恢复力属性的列表(表5)，以满足本研究在“确定性农场”项目背景下的目的。这意味着在弹性属性描述中添加了关于耕作系统的详细信息。我们还将Cabell和Oelofse(2012)提供的某些属性进行了分割。最后，我们得出了一个包含22个弹性属性的列表，从中我们选择了13个在工作坊中进行研究，以避免让参与者超额完成任务。这一选择基于(1)SURE-Farm的研究重点，(2)同等重视不同的弹性原则，(3)避免属性之间的重叠。例如，“反思和共享学习”部分依赖于“社会自组织”，这就是我们选择后者作为首要属性的原因。我们使用“弹性属性”这个术语，与Cabell和Oelofse(2012)最初使用的术语“弹性指标”相比，它指的是一个更高的层次。这种区分也有助于避免与本研究中使用的“功能指标”概念混淆。评估了复原力属性的存在水平及其对复原力能力的贡献。由于时间的限制，在研讨会期间只能将结果反馈到有限的范围内。 Perceived contribution of resilience attributes to resilience capacities across attributes was tested for significant differences using a Kruskal Wallis test and a post-hoc Conover Iman test with Bonferroni correction in R using the “conover.test” package (Dinno 2017).

结果

农业系统参与者

参与者就所有三种耕作系统的社会描述提供了反馈(图1)。对于BE-Dairy和NL-Starch potato，确定了许多耕作系统参与者和影响者，而在IT-Hazelnut中，这些参与者和影响者要少得多。在nl -淀粉马铃薯中，加工淀粉马铃薯的合作社被视为农业系统的一部分。在BE-Dairy，在参与者反馈后，加工和分配牛奶的合作社被移到农场系统内。在IT-Hazelnut中，合作社存在于种植系统内，但榛子的主要加工者被认为是在种植系统外，因为他们在国际市场上操作，不直接受到所考虑的种植系统内的变化的影响。在BE-Dairy和NL-Starch potato中提到了当地非政府组织，但在IT-Hazelnut中没有提到。

系统可持续性

在所有三个个案研究中，“粮食生产”和“经济可行性”被认为是最重要的职能。在nl -淀粉马铃薯和BE-Dairy中，“维持自然资源”也被认为是重要的(图2)。在nl -淀粉马铃薯中，“食物生产”功能平均由淀粉马铃薯、甜菜和小麦三种主要作物代表(表4)。在it -榛子中，该功能由榛子的数量和质量代表。在BE-Dairy，这一功能由牛奶产量和消费者在超市为牛奶支付的价格来代表。“经济生存能力”的代表性指标与每公顷农场收入和利润有关。“保持自然资源”的代表性指标与土壤和水质有关。

it -榛子组的“食品生产”和“经济可行性”表现较高，BE-Dairy组的表现中等(图1)。对于“自然资源”，BE-Dairy组的参与者认为表现中等到高，而it -榛子组和NL-Starch potato组的参与者认为表现中等。NL淀粉马铃薯研究的参与者表示，他们发现评估单个功能具有挑战性，因为他们认为功能是相互作用的。IT-Hazelnut的与会者表示，他们认为最近该部门的现代化和扩大增加了对环境的压力，同时忽视了“自然资源”功能的重要性。

在所有案例研究中，与其他利益相关者相比，农民似乎认为“经济可行性”更重要，而“自然资源”不那么重要。然而，只有be乳业中的“自然资源”存在显著差异。农民通常不太重视提供公共产品的职能。同时，在BE-Dairy和NL-Starch马铃薯中，农民对“自然资源”绩效的评价平均高于其他利益相关者。在BE-Dairy，与会者表示，如果有更多来自自然组织的人参加研讨会，这些结果将会不同。在NL-Starch potato中，农民对“生物多样性和生境”的评价也高于其他利益相关者(附录3)。

可持续发展指标的动态

在所有案例研究中，参与者表示，他们对选定指标的逐年波动情况知之甚少。然而，他们能够指出趋势和与趋势、低谷和峰值变化有关的重要年份。对于每个选定的指标，参与者确定了维持或提高指标性能的主要挑战和应用策略(表4)。据参与者称，NL-Starch potato动态的重要潜在原因是线虫压力和每公顷成本的增加，除了其他外，还通过抗线虫的改良马铃薯品种来抵消这些变化，从而降低成本和提高效率。2013年，从以产量为基础的补贴向以区域为基础的补贴的转变被视为NL-Starch potato的一个巨大挑战。作为应对这一挑战的战略，合作社决定放弃利润不高、质量较低的淀粉市场，投资于产品创新。在be乳业，与会者表示，主要指标尤其受到取消牛奶配额和影响国际市场的事件的影响。已确定的应对这些挑战的战略主要与提高效率有关，但也包括与农场和耕作系统一级的风险管理和多样化有关的战略。在IT-Hazelnut中，指标的动态被认为主要受提高劳动生产率的新机器的发展的影响。除了在国际市场上与土耳其竞争外，没有报告重大挑战。维持或改善IT-Hazelnut主要指标的策略与机械化、合作社、生产者团体和使用欧洲委员会农村发展计划(RDP基金)的资金有关。

在所有三个案例研究中，与食品生产和经济可行性有关的指标都被评估为随着时间的推移有所改善，除了be - dairy，那里的农场收入被认为是平均稳定的，但每年的变化都在增加。所有三个个案研究对代表环境领域的指标的看法都比较消极。在NL-Starch potato，土壤质量被认为下降，BE-Dairy，碳排放被认为再次上升。在IT-Hazelnut中，“有机榛子生产面积”指标被认为与“生物多样性和生境”功能呈正相关，并被认为在增加。然而，与会者表示，他们认为，由于榛子单一种植地区的生境供应有限，农业系统中的生物多样性普遍在减少。在扩大的地区，榛子种植需要比栗子和橄榄种植更多的地下水提取，而栗子和橄榄种植通常是取而代之的。

农业系统的弹性战略

总体而言，在IT-Hazelnut中对战略实施水平的感知得分最为积极(图3A-C)。在IT-Hazelnut中，建立合作社和开始新的价值链活动的战略被认为执行得最差。在BE-Dairy和NL-Starch马铃薯中，不同策略的实施水平由差到好。在be乳业，与“实际牛奶价格”和“劳动收入”指标相比，与碳足迹相关的策略执行得较差。在nl -淀粉马铃薯中，与土壤质量相关的策略执行得不如每公顷利润。a - c(图3)

策略(表6)可能主要与弹性属性有关，如“合理盈利”、“创新的基础设施”、“与当地和自然资本相结合的生产”、“社会自组织”和“功能多样性”。在所有的案例研究中，与“社会自组织”相关的策略都被认为得到了很好的实施。与创新相关的战略在IT-Hazelnut中被认为执行得非常好，在其他案例研究中被认为执行得一般。只有在be - dairy和NL-Starch potato，才能评价几种策略有助于功能多样性和生产与当地和自然资本的耦合。在案例研究中，没有发现与农场冗余或政策相关的战略(附录4)。

总体而言，策略对稳健性的感知贡献是适度的。除了少数例外，对适应性的贡献大致相同或更低。对可转换性的贡献被认为是积极的，也有消极的。当为正值时，贡献等于或低于中等，只有少数例外。当贡献为负值时，则被认为是微弱的，有时是适度的。(图3 d-f)

在IT-Hazelnut项目中，RDP资金的贡献是有争议的，参与者的得分是正面和负面的。与会者指出，农村发展方案的资金实际上被农民用作补贴，并没有改变长期的耕作做法。根据所考虑的指标不同，机械化有时被视为对可转化性的负面影响，但总体上是积极的。合作社、生产者组织和价值链活动都被认为有助于农业系统的恢复力。在BE-Dairy，所有的策略都被认为对稳健性有积极的贡献，而在较小程度上对适应性和可转换性有贡献。此外，来自这一农业系统之外的干预，如来自部门联合会的特别财政支持(联邦政府支持)、基因改良和创建奶粉库存，以及需要农场投资的战略，被认为会对转型产生负面影响。在NL-Starch potato中，许多策略被认为对鲁棒性和适应性有积极贡献。有四种策略被评估为对转化能力有微弱的负面影响:扩大(面积和产量)、增加淀粉产品的价值、在承包农业之外提供土地、应用精确农业。在NL-Starch potato中，与土壤质量和马铃薯产量相关的策略被认为有利于转化。关于每公顷利润的策略，只有降低成本，更好的品种，以及提高对土壤和品种的知识，才被认为是有利于转化的。 However, strategies that require investments from mainly within the farming system, such as scaling, increased value of starch products and adopting precision agriculture were regarded as negatively affecting transformability.

弹性属性

如图4A所示，在三个案例研究中，对大多数弹性属性存在的感知遵循了类似的模式。弹性属性的存在被认为是低到中等，除了一些例外，特别是在IT-Hazelnut中。例如，BE-Dairy和NL-Starch potato的“合理盈利”得分较低，而it - hazelnut的这一属性得分较高，为其提供了财务资本储备。“社会自组织”在IT-Hazelnut中得分较高，在其他案例研究中得分中等，这对社会资本储备有影响。在it - hazelnut中，生产与当地和自然资本的耦合被认为很低，而在另外两个案例研究中被认为得分中等。在所有三个案例研究中，人们对立法与当地和自然资本相结合的看法都很低，尤其是在NL-Starch potato。被研究的农业系统被认为具有较差到中等程度的开放。“暴露于干扰”的评价特别低，因为参与者认为干扰正在威胁系统的功能，而不是使系统更有弹性。除“农场类型的时空异质性”外，所有案例研究的多样性评价都很低，但“农场类型的时空异质性”评价为中度存在。农业系统中的模块化被认为在it -榛子中适度存在，在be - dairy和NL-Starch马铃薯中弱存在。

图4B显示，在所有三个案例研究中，弹性属性对稳健性的潜在贡献被认为是非常弱到中等积极的。在所有三个案例研究中得分较高的属性都与该系统的盈利能力及其生产与当地和自然资源相结合有关。BE-Dairy和NL-Starch potato的利益相关者对暴露于干扰的评价分别为消极和积极，这解释了总体得分较低的原因。在NL-Starch potato中，一些韧性属性的稳健性得分特别低，即“易受干扰”、“优化冗余(农场)”、“支持农村生活”和“与当地和自然资本相结合的立法”。

与鲁棒性的贡献相比，弹性属性对适应性的贡献得分类似或更低(图4B和4C)。一个例外是“创新基础设施”，在所有三个案例研究中，该项目在适应性和稳健性方面获得了相似的分数。在所有三个案例研究中得分相对较高的其他弹性属性与盈利能力、与当地和自然资本相结合的生产、应对措施的多样性和多样化政策有关。

最后，弹性属性对可转换性的贡献被评估为非常弱到中等(图4D)。可转换性的评分模式偏离了鲁棒性和适应性的观察模式。在BE-Dairy，对有助于变革的弹性属性的期望低于对适应能力的期望。在所有三个案例研究中，与其他弹性属性相比，“创新基础设施”在促进转型方面获得了相对较高的分数。

讨论

农业系统可持续性评估

研究的集约化、专业化农业系统被认为主要提供经济可行性，提供食物，在nl -淀粉马铃薯和BE-Dairy，维持自然资源。与其他参与者相比，参与研讨会的农民更强调经济可行性，而其他参与者更平等地将重要性划分为农业系统功能。这种认知上的差异表明，不存在跨所有利益相关者群体的最佳解决方案，需要找到不同观点之间的平衡(与Robards et al. 2011一致)。检测涉众组之间的差异是可能的，因为参与者评估的是同一组功能。我们的方法采用自上而下的方法，将100分划分为8个功能，迫使参与者在经济、环境和社会功能和指标之间做出选择。在我们的案例研究中，这表明缺乏对社会功能的关注，如生活质量和该地区的吸引力，这可能导致错过来自社会领域的重要反馈。识别这一知识差距是我们的参与式方法的一个重要结果。Mosse(1994)指出，确定地方知识的边界是参与性研究的一个重要但经常被忽视的目标。功能的表现通常被认为是中等的，在每个案例研究中有几个功能表现较低和良好。与对功能重要性的认知相反，在大多数案例研究中，利益相关者群体对功能性能的认知是相似的。 The remarkable variety in allocated importance of functions, together with an only moderate performance of more important functions, suggests the presence of interactions and trade-offs between functions. Further indications of trade-offs were found in the studied farming systems (Appendix 5). Existence of trade-offs may influence stakeholders’ perceptions, which emphasizes the importance to have both information on perceptions of stakeholders as well as observational data.

农业系统恢复力评估

基于感知到的弹性属性的存在和潜在贡献，案例研究被认为显示出更多的鲁棒性，而不是可转换性，这是旨在尽可能多地控制外部因素的专业系统的典型特征(Hoekstra et al. 2018)。过去20年应用的策略，主要是在经济功能和粮食生产方面，表明所研究的农业系统主要利用其适应性来增加鲁棒性，例如，增加BE-Dairy和NL-Starch potato的农场规模，以更好地应对小利润。需要注意的是，在战略方面，该方法偏向于特定功能的利益相关者的利益。在反思弹性属性时，这种兴趣也可能在利益相关者的头脑中产生共鸣。

所有农业系统的功能和反应多样性被认为相对较低，多样性对恢复力的贡献被认为较低。Hoekstra等人(2018)认为，缺乏多样性表明生产系统更多地是在控制原理而不是弹性原理下运行。Hoekstra等人(2018)提出，为了使系统达到最佳性能，需要在控制和弹性理论之间找到平衡。在案例研究中，这种基本原理之间的平衡可能部分见于农场类型的空间异质性，这与多样性有关(另见Reidsma和Ewert 2008)。农场类型的异质性被评估为相对较高的存在，特别是在BE-Dairy和IT-Hazelnut中，这种韧性属性被认为有助于韧性。在所有案例研究中，复原力的共同组成部分是盈利能力、与当地和自然资本相结合的生产、社会自组织和创新基础设施。在所有案例研究中，盈利能力被认为有很大的潜力来提高稳健性和适应性，但目前认为be - dairy和NL-Starch potato的盈利能力较低。较高的盈利能力被认为主要增强了be乳业的稳健性和适应性。为了在BE-Dairy获得更高的盈利能力，过去的许多战略需要大量的投资，这可以解释这些战略对可转换性的负面贡献。在所有案例研究中，与当地和自然资本相结合的生产也被评估为对弹性有很大贡献，但目前认为it榛子的产量较低，be - dairy和NL-Starch potato的产量中等。 Loss of natural capital such as loss of ecosystem quality might be more visible in the quickly intensifying and expanding IT-Hazelnut (Biasi and Botti 2010). This could explain why the other case studies, which actually have more intensive systems, scored higher. Self-organization is commonly accepted as enhancing resilience (Cabell and Oelofse 2012). However, too much connections between actors in a system can increase the risk for co-dependency and reduce modularity. This could be the case in NL-Starch potato where the transformative capacity of the local cooperative has provided a pathway toward higher profitability. However, to stay on this pathway, the cooperative maintains a high demand of starch potatoes, resulting in a very narrow rotation and an increased pressure from nematodes in the soil. Our study indicates that infrastructure for innovation is an important resilience attribute for specialized farming systems, especially for adaptability and transformability, and should receive more emphasis. Although Gunderson and Holling (2002) emphasized the importance of innovation for resilience, resilience literature often lays more emphasis on social and ecological aspects (e.g., Cabell and Oelofse 2012).

评估可持续性和恢复力可以同时反思这两个概念。在研究的农业系统中，与可持续性有关的功能指标平均被认为表现一般。这表明适应甚至转变需要实现。如果没有这些，可持续性可能会进一步下降，特别是社会可持续性，与经济和环境可持续性相比，目前似乎受到的关注相对较少。一方面，进一步下降可能会导致不希望出现的转型变化。另一方面，目前感知到的较低的适应性和可转换性水平似乎不允许农业系统中的利益相关者进行精心安排的转换:除了创新的基础设施，没有其他属性被评估为在三个农业系统中很好地支持可转换性。可转换性的一个有前途的弹性属性与共享学习和实验的有利环境有关，应该包括在进一步的评估中(附录6)。

方法

本研究中采用的FoPIA-SURE-Farm框架捕捉了评估农业系统弹性的关键步骤(见Meuwissen等人，2019年)。该框架包含多个维度和透视图，包括包含许多农业系统功能和弹性属性的列表。这些列表为研究人员和参与者之间的知识交流提供了基础。研究人员让参与者了解到，可持续发展和复原力需要以一种结构化的、综合的方法来解决。基于这种方法，参与者可以为仍然抽象的系统功能和弹性属性添加局部意义。增加当地的意义可以进一步讨论可持续性和复原力。例如，对于研究人员和参与者来说，根据参与者的感知，可以识别并直接讨论最重要的系统参数，这是有意义的。这允许识别重要的系统动态以及旨在维护或增强系统功能的策略。选择重要的系统参数也可以为系统动力学的进一步分析提供支持。例如，通过放大一组特定的参数，Kinzig等人(2006)能够研究农业生态系统的临界阈值。 It should be noted, however, that by first identifying main sustainability indicators, a path-dependency is created, which in the application to the three case studies resulted in an emphasis on economic and production indicators in later steps of the workshop. In general, the selection of main system parameters is also a further simplification of reality. This increases the risk of not being able to understand the dynamics of the studied system (Quinlan et al. 2016). Related to adequately understanding farming system behavior, it should be noted that other levels than the farming system should be taken into account as well when studying multi-level concepts such as sustainability (e.g., Van Passel and Meul 2012, Delmotte et al. 2017) and resilience (e.g., Peterson et al. 2018, Meuwissen et al. 2019). In that sense FoPIA-SURE-Farm needs to be complemented with analyses at farm level (Spiegel et al. 2019) and the level beyond the farming system (Feindt et al. 2019). The level beyond the farming system is not well defined in agricultural literature because there are multiple possibilities, e.g., entire value chains, food systems, and the political or socio-technical environment.

所选个案研究的地域大小不同，在政府层级中所处的位置也不同。一方面，这表明FoPIA-SURE-Farm在处理不同地理和政治边界的各种农业系统方面具有广泛的适用性。另一方面，这使得本文中三个案例研究之间的比较具有挑战性，即观察到的差异可能与案例研究的规模和层次水平相混淆。差异还可能与每个案例研究中各个研究团队的影响相混淆。此外，文化定义的倾向，如倾向乐观或悲观，也可能发挥作用。为了应对本文中的这些挑战，我们没有直接比较案例研究之间的得分，例如，说明一个功能在一个案例研究中比另一个更好，或对案例研究之间的差异进行统计测试。相反，我们将分数与同一案例研究中的其他分数相关联。这揭示了某些模式，如对社会功能的相对缺乏关注，强调稳健性，以及在所有案例研究中与盈利能力、社会自组织和创新基础设施相关的弹性属性的相对重要性。

将加权指标得分汇总为可持续性指数是可持续性科学中的一种常见做法(Mayer 2008)，例如在最初的fopia方法中也有应用(Morris等人，2011年，König等人，2013年)。然而，让参与者在功能和指标上划分100分的做法并不常见。我们认为，这种方法有助于提高功能之间权衡的意识，以防这种权衡在此之前只是隐性的或潜意识过程的一部分。在功能和指标上划分100分类似于q -方法论(McKeown和Thomas 2013;https://qmethod.org/)，参与者被迫为一些项目分配分数，同时遵循一个预定义的分布，其中极端值比中等值更罕见。在本研究中所采用的方法中，参与者自己有效地决定了自己的分布。这意味着，观察到的功能或指标的重要性之间的不平衡可以被解释为研究的结果，而不是像q -方法学那样的设计输入。

使用李克特项目和量表对解释FoPIA-SURE-Farm的结果提出了另一个挑战。在本文中，函数的性能可以被视为李克特量表，其中代表性指标是加权李克特项目，允许将平均值作为汇总统计(Guerra et al. 2016)。对于策略和弹性属性的评分，我们也选择了均值，这对一些人来说并不完全正确，但对另一些人来说是可以接受的(例如，Norman 2010)，与在沟通结果时使用中位数和四分位数相比，它更直观(Guerra et al. 2016)。对于观察数较低的策略尤其如此。附录3提供了平均值和个别观测值，这表明平均值和中位数，基本上是数据中间的观测值，没有太大的差异。此外，为了检验显著性差异，采用了与数据的序数性质相对应的非参数检验。可以说，尽管参与者可能对某个功能的表现是差还是好有不同的参考点，但可以比较利益相关者之间和跨指标之间的绩效感知(例如，Morris等人2011年，König等人2013年)。参与者在提供的评分标准中避免极端值的可能性，可能反映在许多功能和弹性属性获得的中等分数上。这也是研究分数差异的另一个原因，因此我们要关注高分和低分项目的模式，正如本研究中所做的那样。这与q -方法论的结果分析有些相似，一组特定项目的极值模式可以被解释为系统中利益相关者心智模型的表达(McKeown和Thomas 2013)。 A final point of attention relates to the notion that negative and positive values are for various reasons not true opposites of each other, possibly leading to a method bias (Alexandrov 2010). In our study, all Likert-type items were phrased in a positive way, thus reducing the impact of a possible method effect (Alexandrov 2010). Practically, this reduces the likelihood that, for instance, the positive scoring of resilience attributes is partly a methodological artefact.

另一个讨论点是与会者在FoPIA-SURE-Farm研讨会结束时表现出疲劳的迹象。这与智力上具有挑战性的对弹性属性的存在及其对健壮性、适应性和可转换性的贡献的评分练习相一致。尽管如此，在其他8个欧洲案例研究中，有6个正确完成了这项练习(Paas等人2019年，Reidsma等人2020年)。根据研究问题的不同，对存在感和贡献的评分可以合并为一个分数，总结了农业系统的弹性属性的整体重要性。填写表格尤其让人觉得乏味。此外，这种方法是自上而下的，建议在处理弹性主题的参与式方法中避免这种方法(Callo-Concha和Ewert 2014)。在fopia -确定农场中，我们无法避免自上而下的问题，以节省参与者的时间，增强案例研究之间的可比性，并识别知识差距。然而，我们鼓励参与者影响研讨会的内容，例如，通过在全体会议和轮流进行个别练习的小组讨论期间提供反馈。为了进一步弥补自上而下的问题，并确保正确的问题得到解决，当本研究中确定的农业系统的主要指标用于进一步分析时，应再次咨询利益攸关方，例如，当进入项目周期的规划阶段(Ridder和Pahl-Wostl 2005)，确定了改善可持续性和复原力的具体战略时(Paas等人，2020)。

在FoPIA-SURE-Farm框架中，带来当前弹性的底层系统机制只是偶尔在全体讨论中披露，而不是框架的基本组成部分。例如，弹性属性之间通过资源竞争或相互依赖的相互作用没有得到解决。为了完成恢复力评估并理解潜在机制，有必要进行进一步的研究，包括(新的)冲击的影响、适应措施和未来情景(Walker et al. 2002)。因此，我们继续在SURE-Farm项目中进行参与式综合评估，评估不同可能未来的性能、相互作用和重要系统参数的阈值(Paas等人，2020年)。

结论

本文提出的框架是基于现有的可持续性和弹性框架。它提供了一种方法，以确定农业系统的主要指标，并根据该系统的利益相关者的意见，对其可持续性和恢复力进行定性评估。这揭示了利益攸关方对农业系统复杂性质的功能和弹性属性的重要性和绩效的看法。对重要性的看法有时是不平衡的，即分配给社会和环境职能的重要性太少。对弹性属性的重视也不平衡。不平衡的识别是该方法的一个重要结果，因为它表明了局部视角和知识的边界。对绩效的看法有时会偏离文献中提出的结果，这些文献强调也需要从定量分析来源获得投入。

同时评估感知的可持续性和复原力，可以让我们反思实现更高可持续性的途径。以欧盟的专门系统为例，研讨会结果表明，与可持续性相关的功能表现被认为是中等，而弹性属性的存在被认为是低到中等，这些属性对弹性的贡献被认为是弱到中等。在研究的系统中，鲁棒性被认为比适应性和可转换性更强。这表明，寻找更可持续性的途径将是一个具有挑战性的过程，这需要适应性和可变革性。

维持所研究系统指标绩效的战略主要涉及保持系统在经济上的可行性，部分是通过系统的革新。通过案例研究，盈利能力、生产与当地和自然资本、创新基础设施和自组织被视为重要的弹性属性。根据研讨会的结果，我们得出结论，与实验和学习的有利环境相关的附加弹性属性是必要的。在研究的系统中，一些弹性属性的相对重要性和贡献因情况而异，例如，农场类型的异质性。这表明，在评估基于弹性属性的一般弹性和政策选项时，一般的本地环境，特别是涉众的视角是重要的。总体而言，尽管有一些方法上的局限性，但案例研究的具体结果似乎是提高认识、进一步评估，并最终为提高农业系统的可持续性和复原力制定共同愿景和行动计划的良好起点。

文献引用

Alexandrov, a . 2010。李克特量表格式单项测量的特点。电子期刊商业研究方法8(1)。

阿尔坎·奥尔森，J.， C. Bockstaller, L. M. Stapleton, F. Ewert, R. Knapen, O. Therond, G. Geniaux, S. Bellon, T. P. Correira, N. Turpin, I. Bezlepkina. 2009。一个目标导向的指标框架，以支持对农业环境系统新政策的综合评估。环境科学与政策12:562 - 572。https://doi.org/10.1016/j.envsci.2009.01.012

安德里斯，J. M.， C. Folke, B. Walker和E. Ostrom. 2013。调整全球变化政策的关键概念:健壮性、弹性和可持续性。生态和社会18(2): 8。https://doi.org/10.5751/es-05178-180208

安德森，E.， B. Elbersen, F. Godeschalk和D. Verhoog. 2007。农场管理指标和农场类型是在不断变化的政策环境中进行评估的基础。环境管理杂志82(3): 353 - 362。https://doi.org/10.1016/j.jenvman.2006.04.021

Arodudu, O.， K. Helming, H. Wiggering和A. Voinov. 2017。为农业生物能源系统建立一个更全面的可持续性评估框架——综述。环境影响评估检讨62:61 - 75。https://doi.org/10.1016/j.eiar.2016.07.008

阿什肯纳齐，A.， T.卡尔沃沃·切巴赫，K.尼克，S.彼得，B.霍洛维茨，R.奥芬巴赫。2018。农场和农村地区的恢复力运作——来自14个案例研究的发现。农村研究杂志59:211 - 221。https://doi.org/10.1016/j.jrurstud.2017.07.008

Balmann, A.， K. Dautzenberg, K. Happe, K. Kellermann. 2006。农业结构变化的动力:内部摩擦、政策威胁和纵向一体化。对农业的看法35(2): 115 - 121。https://doi.org/10.5367/000000006777641543

Biasi, R.和F. Botti. 2010。拉丁美洲北部榛子景观的改造:以蒙蒂西米尼丘陵为例。Corylus & Co。2(1): 39-48。(在线)网址:http://www.cefas.org/pb/flz/corylus%20n.1%202011.pdf

卡贝尔，J. F.和M. Oelofse. 2012。农业生态系统恢复力评估指标框架。生态和社会17(1): 18。https://doi.org/10.5751/ES-04666-170118

Callo-Concha, D.和F. Ewert. 2014。利用恢复力、脆弱性和适应性的概念对农业系统进行评估和分析。社会生态系统的变化与适应1:1-11。https://doi.org/10.2478/cass-2014-0001

S.卡朋特，B.沃克，J. M.安德里斯和N.阿贝尔。2001。从隐喻到测量:什么对什么的弹性?生态系统4(8): 765 - 781。https://doi.org/10.1007/s10021-001-0045-9

卡明，G. S.莫里森，T. H.休斯，2017。理解社会生态系统空间弹性的新方向。生态系统20(4): 649 - 664。https://doi.org/10.1007/s10021-016-0089-5

卡明，G. S.和G. D.彼得森，2017。社会生态恢复力与崩溃的统一研究。生态学与进化趋势“，32(9): 695 - 713。https://doi.org/10.1016/j.tree.2017.06.014

Darnhofer, i . 2010。家庭农场加强抵御能力的战略。环境政策及管治20(4): 212 - 222。https://doi.org/10.1002/eet.547

Darnhofer, i . 2014。韧性和它为什么对农场管理很重要。欧洲农业经济评论41(3): 461 - 484。https://doi.org/10.1093/erae/jbu012

德尔莫特，库德克，j.c。莫雷，S.洛佩兹-里道拉，j . m。Barbier和L. Hossard, 2017。从利益攸关方的叙述，到建立合理的未来农业系统模型。法国南部卡马尔格的综合评估。欧洲农学杂志82 (B): 292 - 307。https://doi.org/10.1016/j.eja.2016.09.009

Delmotte, S. Lopez-Ridaura, J. M. Barbier和J. Wery. 2013。农业系统从农场到区域规模的前瞻性和参与性综合评估:三种建模方法的比较。环境管理杂志129:493 - 502。https://doi.org/10.1016/j.jenvman.2013.08.001

Dinno, a . 2017。科诺菲尔。检验:使用秩和进行多次比较的Conover-Iman检验。R包版本1.1.5。

Douxchamps, S.， L. Debevec, M. Giordano和J. Barron. 2017。农业发展的气候恢复力监测和评价——对现有工具的审查。世界发展的视角5:10-23。https://doi.org/10.1016/j.wdp.2017.02.001

芬特，P. H.， C. J. A. M. Termeer, J. Candel和Y. Buitenhuis. 2019。D4.2评估政策如何实现或限制欧盟农业系统的弹性:案例研究结果．可持续和有弹性的欧盟农业系统(SureFarm)项目报告，欧盟地平线2020赠款协议第727520号。SureFarm,英国。

C.福尔克，S. R.卡彭特，B.沃克，M.谢弗，T.查宾，J. Rockström。2010.弹性思维:集弹性、适应性和可改造性于一体。生态和社会15(4): 20。https://doi.org/10.5751/es-03610-150420

葛，L.， N. P. R.安腾，i.d. E.范·迪克斯霍恩，P. H.芬特，K.克莱默，R.利曼斯，M. P. M.默乌威森，H.斯波尔德，W.苏克尔。2016。为什么我们需要弹性思维来应对生物基础生产系统中的社会挑战。环境可持续性的最新观点23:17-27。https://doi.org/10.1016/j.cosust.2016.11.009

吉勒，2013年。我们能给“农业系统”这个术语下个定义吗?这是规模的问题。对农业的看法42(3): 149 - 153。https://doi.org/10.5367/oa.2013.0139

格里斯曼，S. R. 2015。农业生态学:可持续粮食系统的生态学．第三版。CRC出版社，泰勒和弗朗西斯集团，博卡拉顿，美国佛罗里达州。

戈弗雷，H. C. J. 2015。关于可持续强化的争论。食品安全7:199 - 208。https://doi.org/10.1007/s12571-015-0424-2

Guerra, A. L.， T. Gidel和E. Vezzetti. 2016。采用李克特量表和李克特量表在小群体中进行比较设计观察。页面23-32在D.马扬诺维奇，M. Štorga, N.帕夫科维奇，N.博耶季蒂奇，S. Škec，编辑。DESIGN 2016第十四届国际设计大会论文集．英国格拉斯哥设计协会。

甘德森，L. H.和C. S.霍林。2002。Panarchy:理解人类和自然系统的转变．岛屿出版社，华盛顿特区，美国。

埃雷拉,h . 2017。弹性为谁?弹性分析的问题结构化过程。可持续性9(7): 1196。https://doi.org/10.3390/su9071196

胡克斯特拉，A. Y.， R. Bredenhoff-Bijlsma和M. S. Krol. 2018。在不确定性下管理系统的控制与弹性原理。环境研究快报13(10)。https://doi.org/10.1088/1748-9326/aadf95

金泽格，A. P.瑞安，M.艾蒂安，H.艾利森，T.艾姆奎斯特，B. H.沃克。2006。弹性和制度转变:评估级联效应。生态和社会11(1): 20。https://doi.org/10.5751/ES-01678-110120

König, H. J.， S. Uthes, J. Schuler, L. Zhen, S. Purushothaman, U. Suarma, M. Sghaier, S. Makokha, K. Helming, S. Sieber, L. Chen, F. Brouwer, J. Morris, H. Wiggering. 2013。使用foia方法对发展中国家土地利用情景的区域影响评估:来自五个案例研究的结果。环境管理杂志127: S56-S64。https://doi.org/10.1016/j.jenvman.2012.10.021

Liberti, s . 2019。我喜欢夜晚的欢乐。国际米兰1312:39-47。

Marchese, D.， E. Reynolds, M. E. Bates, H. Morgan, S. S. Clark和I. Linkov. 2018。弹性与可持续性:环境管理应用的异同。全环境科学“，613 - 614:1275 - 1283。https://doi.org/10.1016/j.scitotenv.2017.09.086

梅耶尔，a.l. 2008。多维系统通用可持续性指数的优缺点。国际环境34(2): 277 - 91。https://doi.org/10.1016/j.envint.2007.09.004

McKeown, B.和D. Thomas, 2013。问方法。SAGE，千橡，加利福尼亚州，美国。

莫维森，M. P. M.费恩特，P.米德莫尔，E.沃特斯，R.芬格尔，F.阿佩尔，A.斯皮格尔，E.马蒂杰斯，K. J. A. M.特米尔，A.巴尔曼，Y.德梅，P.里德斯玛。2020。欧洲农业系统的挣扎:从弹性的角度寻找解释。Eurochoices19(2): 4。https://doi.org/10.1111/1746-692x.12278

莫维森、M. P. M.费恩特、A. Spiegel、C. J. A. M. Termeer、E. Mathijs、Y. de Mey、R. Finger、A. Balmann、E. Wauters、J. Urquhart、M. Vigani、K. Zawalinska、H. Herrera、P. Nicholas-Davies、H.汉森、W. Paas、T. Slijper、I. Coopmans、W. Vroege、A. Ciechomska、F. Accatino、B. Kopainsky、P. M. Poortvliet、J. Candel、D. Maye、S. Severini、S. Senni、B. Soriano、C. J. Lagerkvist、M. Peneva、C. Gavrilescu和P. Reidsma。2019。评估农业系统弹性的框架。农业系统176:102656。https://doi.org/10.1016/j.agsy.2019.102656

莫里斯，J. B.， V. Tassone, R. de Groot, M. Camilleri, S. Moncada. 2011。参与性影响评估框架:使利益攸关方参与欧洲政策制定:马耳他土地利用变化个案研究。生态和社会16(1): 12。https://doi.org/10.5751/ES-03857-160112

Mosse, d . 1994。权威、性别与知识:参与式农村评价实践的理论思考。发展和变化25(3): 497 - 526。https://doi.org/10.1111/j.1467-7660.1994.tb00524.x

Nera, E.， W. Paas, P. Reidsma, G. Paolini, F. Antonioli和S. Severini. 2020。采用参与式方法评估意大利中部榛子种植系统的恢复力和可持续性。可持续性12(1): 343。https://doi.org/10.3390/su12010343

诺曼,g . 2010。李克特量表，测量水平和统计的“定律”。健康科学教育进展15:625 - 632。https://doi.org/10.1007/s10459-010-9222-y

Paas, W, F. Accatino, F. Antonioli, F. Appel, I. Bardaji, I. Coopmans, P. Courtney, C. Gavrilescu, F. Heinrich, V. Krupin, G. Manevska-Tasevska, D. Neumeister, M. Peneva, J. Rommel, S. Severini, B. Soriano, M. Tudor, J. Urquhart, E. Wauters, K. Zawalinska, M. Meuwissen, P. Reidsma. 2019。D5.2欧盟农业系统可持续性和恢复力参与性影响评估．可持续有弹性的欧盟农业系统(SureFarm)项目报告，欧盟地平线2020赠款协议第727520号。SureFarm,英国。

Paas, W, F. Accatino, F. Appel, J. Bijttebier, J. Black, C. Gavrilescu, V. Krupin, G. Manevska-Tasevska, F. Ollendorf, M. Peneva, J. Rommel, C. San Martín, S. Severini, B. Soriano, S. Valchovska, M. Vigani, E. Wauters, K. zinanti, M. Meuwissen, P. Reidsma. 2020。FoPIA-SURE-Farm 2。页面在F.阿卡蒂诺、W. Paas、H. Herrera、F. Appel、C. Pinsard、S. Yong、L. Schutz、B. Kopainsky、K. bajetkowska、J. Bijttebier、J. Black、C. Gavrilescu、V. Krupin、G. Manevska-Tasevska、F. Ollendorf、M. Peneva、J. Rommel、C. San Martín、S. Severini、B. Soriano、S. Valchovska、M. Vigani、E. Wauters、K. Zinnanti、M. Meuwissen、P. Reidsma编辑。D5.5通过定量和定性方法评估未来情景对整个欧盟农业系统弹性的影响．可持续和弹性的欧盟农业系统(SURE-Farm)项目报告。SureFarm,英国。

彼得森，C. A.， V. T.埃文纳，A. C. M.高丁。2018。农业生态系统恢复力研究的未来方向。农业系统162:19-27。https://doi.org/10.1016/j.agsy.2018.01.011

Plumecocq, G.， T. Debril, M. Duru, M. B. Magrini, J. P. Sarthou和O. Therond. 2018。可持续农业模式的多元价值:多元的锁定与共同进化模式。生态和社会23(1): 21。https://doi.org/10.5751/ES-09881-230121

漂亮,j . 2008。农业可持续性:概念、原则和证据。英国皇家学会哲学学报B辑:生物科学363(1491): 447 - 465。https://doi.org/10.1098/rstb.2007.2163

Pretty, J.和Z. P. Bharucha. 2014。农业系统的可持续集约化。《植物学114:1571 - 1596。https://doi.org/10.1093/aob/mcu205

普洛斯彼里，P.， T.艾伦，B.科吉尔，M.帕迪拉和I.佩里，2016。可持续粮食系统的指标:韧性和脆弱性文献综述。环境系统与决策36(1): 3-19。https://doi.org/10.1007/s10669-016-9584-7

昆兰，A. E. M. Berbés-Blázquez, L. J.海德尔，G. D.彼得森。2016。衡量和评估弹性:通过多学科视角扩大理解。应用生态学杂志53(3): 677 - 687。https://doi.org/10.1111/1365-2664.12550

R核心团队，2015。R:统计计算的语言和环境。R核心团队，维也纳，奥地利。

Reidsma, P.和F. Ewert. 2008。区域农业多样性可以降低粮食生产对气候变化的脆弱性。beplay竞技生态和社会13(1): 38。https://doi.org/10.5751/ES-02476-130138

Reidsma, P.， M. Meuwissen, F. Accatino, F. Appel, I. Bardaji, I. Coopmans, C. Gavrilescu, F. Heinrich, V. Krupin, G. Manevska-Tasevska, M. Peneva, J. Rommel, S. Severini, B. Soriano, J. Urquhart, K. Zawalinska，和W. Paas. 2020。利益相关者如何看待欧盟农业系统的可持续性和弹性?Eurochoices19(2): 18-27。https://doi.org/10.1111/1746-692x.12280

Reidsma, P.， W. Paas, A. Spiegel和M. Meuwissen. 2019。欧盟可持续和有弹性农业系统参与式影响评估框架指南(FoPIA-Surefarm)。补充材料L在编辑:W. Paas、F. Accatino、F. Antonioli、F. Appel、I. Bardaji、I. Coopmans、P. Courtney、C. Gavrilescu、F. Heinrich、V. Krupin、G. Manevska-Tasevska、D. Neumeister、M. Peneva、J. Rommel、S. Severini、B. sooriano、M. Tudor、J. Urquhart、E. Wauters、K. Zawalinska、M. Meuwissen和P. Reidsma。D5.2欧盟农业系统可持续性和恢复力参与性影响评估。可持续和有弹性的欧盟农业系统(SURE-Farm)项目报告，欧盟地平线2020赠款协议第727520号。

弹性联盟。2010。评估社会生态系统的恢复力:从业者的工作手册。2.0版。

里德，D.和C.帕尔沃斯特尔。2005.地方一级规划中的参与性综合评估。区域环境变化5(4): 188 - 196。https://doi.org/10.1007/s10113-004-0089-4

罗巴兹，m.d.， M. L.舍恩，C. L.米克和N. L.恩格尔，2011。社会驱动因素在提供有弹性的生态系统服务中的重要性。全球环境变化21(2): 522 - 529。https://doi.org/10.1016/j.gloenvcha.2010.12.004

Sieber, S.， T. S. amjatho - babu, P. Reidsma, H. Koenig, A. Piorr, I. Bezlepkina和K. Mueller. 2018。土地使用政策建议的可持续性影响评估工具:五种研究方法的比较分析。土地使用政策71:75 - 85。https://doi.org/10.1016/j.landusepol.2017.11.042

斯皮格尔，A.， T. Slijper, Y. De Mey, M. Poortvliet, J. Rommel, H. Hansson, M. Vigani, B. Soriano, E. Wauters, F. Appel, F. Antonioli, H. Harizanova, C. Gavrilescu, P. Gradziuk, D. Neumeister和M. Meuwissen. 2019。D2.1农民对风险、适应能力和恢复力的认知报告．可持续和有弹性的欧盟农业系统(SureFarm)项目报告，欧盟地平线2020赠款协议第727520号。SureFarm,英国。

滕德尔，D. M.， J. Joerin, B. Kopainsky, P. Edwards, A. Shreck, Q. B. Le, P. Kruetli, M. Grant, J. Six. 2015。粮食系统恢复力:定义概念。全球粮食安全6:17-23。https://doi.org/10.1016/j.gfs.2015.08.001

蒂尔曼，K. G.卡斯曼，P. A.马特森，R.内勒和S.波拉斯基。2002。农业可持续性和集约化生产实践。自然418(6898): 671 - 677。https://doi.org/10.1038/nature01014

托特，2001。参与性综合评价方法:对这些方法对欧洲环境署有用性的评价。64年技术报告。欧洲环境署，哥本哈根，丹麦。

Urruty, N. D. Tailliez-Lefebvre和C. Huyghe. 2016。农业系统的稳定性、稳健性、脆弱性和弹性。复习一下。农学促进可持续发展36:15。https://doi.org/10.1007/s13593-015-0347-5

Vaidya, A. L. Mayer, 2014。使用参与式方法为自然资源管理制定可持续性评估。国际可持续发展与世界生态学杂志(4): 369 - 379。https://doi.org/10.1080/13504509.2013.868376

Van Passel, S.和M. Meul. 2012。农业系统的多层次和多用户可持续性评估。环境影响评估检讨32(1): 170 - 180。https://doi.org/10.1016/j.eiar.2011.08.005

Walker, B.， S. Carpenter, J. Anderies, N. Abel, G. S. Cumming, M. Janssen, L. Lebel, J. Norberg, G. D. Peterson, R. Pritchard. 2002。社会生态系统中的弹性管理:参与式方法的工作假设。生态和社会6(1): 14。https://doi.org/10.5751/ES-00356-060114

Walker, B.， C. S. Holling, S. R. Carpenter, A. P. Kinzig. 2004。社会生态系统的恢复力、适应性和可改造性。生态和社会9(2): 5。https://doi.org/10.5751/es-00650-090205

沃克，B.和D.索特，2012。弹性练习:建立吸收干扰和维持功能的能力．岛屿出版社，华盛顿特区，美国。https://doi.org/10.5822/978-1-61091-231-0

韦斯特利，F.， P. Olsson, C. Folke, T. Homer-Dixon, H. Vredenburg, D. Loorbach, J. Thompson, M. Nilsson, E. Lambin, J. Sendzimir, B. Banerjee, V. Galaz, S. Van Der Leeuw. 2011。向可持续性倾斜:转型的新途径。中记录40:762。https://doi.org/10.1007/s13280-011-0186-9

温克勒、K. J.、M. W.斯考恩和K. A.尼古拉斯。一个分类，使社会生态土地系统研究与欧洲的政策相一致。土地使用政策79:137 - 145。https://doi.org/10.1016/j.landusepol.2018.06.034