研究，是特别节目的一部分可持续发展研究中的原型分析

参与式研究方法的影响:原型分析

• 摘要
• 简介
• 诊断框架和方法
  • 诊断框架
  • 使用原型法进行案例研究的元分析
  • 限制
• 结果
  • 原型学习
  • 原型知识产品
  • 原型现实世界的转换
  • 关于行动者角色、强度和可持续性目标实现情况的描述性统计
• 讨论
• 结论
• 对本文的回应
• 数据可用性声明
• 致谢
• 文献引用

介绍

旨在支持可持续性转型的研究受到了社会-生态系统中可持续性问题邪恶的挑战(Folke等人2005年，Termeer等人2013年)。邪恶包含大量的复杂性(Ostrom 2009)、不确定性(Pahl-Wostl等人2007)和规范性(Leach等人2010)。解决这些问题的纯学术方法往往不能对可持续转型做出显著贡献(Pahl-Wostl 2002, Huutoniemi 2014)。因此，参与式研究方法越来越多地应用于可持续发展研究中，其基础是预期参与式研究方法在社会上是稳健的，并全面让科学和社会行动者参与知识协同设计和合作生产(Lang等人2012,Polk 2014, Moser 2016, Schneider和Buser 2018)。它们旨在解决与社会相关的问题，提供基于多种专业知识来源的结果，并考虑到不同行为者的观点和价值观。因此，它们的实施被认为是更有可能的，它们意味着产生显著的、可信的和合法的结果(Cash等，2002)。然而，让社会行动者参与科学知识生产过程本身并不会产生社会影响(Reed 2008, Kaufmann-Hayoz etal . 2016)。

因此，文献越来越关注参与式研究的影响，学者们开始从概念上定义社会影响(Godin and Dore 2005, Bornmann 2013, Miettinen etal . 2015)。大约自1990年以来，已经制定了各种各样的框架来说明如何产生影响。在比较流行的模型中，我们发现了Buxton和Hanney(1996)的回报模型和ESRC模型(ESRC 2011)。这些模型通常由一系列阶段组成，如输入、研究过程、直接输出以及进一步的结果和影响，这些阶段通过各种反馈循环连接起来。然而，关于阶段的术语是多种多样的。一些研究将人们观点的转变视为参与过程的直接结果，而另一些研究则认为这是由于更大的政治辩论造成的进一步影响。最近，可持续发展研究人员已经开始应用并进一步开发这样的框架(Walter et al. 2007, Wiek et al. 2014, Mitchell et al. 2015, Luederitz et al. 2017)。Walter等人(2007)关注决策能力方面的产品和过程相关影响。Wiek等人(2014)强调研究活动、参与研究过程的质量以及满足行动者需求的适当手段。米切尔等人(2015)从期望的结果出发，如改善情况，促进知识库和分布，或转型学习，以及这些需要哪些活动。 Luederitz et al. (2017) provide an evaluation framework with thematic questions about outputs, outcomes, processes, and inputs. Other scholars, however, question the usefulness of such linear approaches and highlight the existence of multiple pathways to impact (Polk 2014, Bergmann et al. 2017, Newig et al. 2018, Muhonen et al. 2020).

迄今为止，影响框架大多应用于个别案例，但也有一些显著的例外(de Jong等人2016年、Schneider和Buser 2018年、Zscheischler等人2018年、Herrero等人2019年、Newig等人2019年)。尽管de Jong等人(2016)发现社会行动者参与研究资助计划可以提高社会影响，但他们没有发现社会行动者参与和研究项目影响之间的相关性。Herrero等人(2019)和Newig等人(2019)指出了社会行动者的早期参与对产生影响和社会学习的重要性，Schneider和Buser(2018)分析了行动者在不同情境下的不同互动强度。Zscheischler等人(2018)展示了跨学科研究的成功概况，包括相互学习、平等的科学实践合作和成果的综合。

参与式研究的可持续性影响的其他证据主要依赖于特定社会生态背景下的个别案例研究(例如，Oettlé等人2004年，Termeer和Kessener 2007年，Akpo等人2015年)，但案例的累积学习仍然有限。已确定的参与式研究影响包括可用产品的传播、增强的能力、网络效应、决策、公共话语、经济效益的结构性变化，或制度和行为的变化(例如，Walter等人2007年，Schneider等人2009年，Wiek等人2014年，Kaufmann-Hayoz等人2016年，Luederitz等人2017年)。然而，研究结果也表明，社会稳固的知识本身并不有助于进一步的影响(Polk 2014)，利益相关者赋权往往是不够的(Brandt et al. 2013)。事实上，Schneider等人(2009)强调了信任氛围的重要性，真正承认不同行为者的观点，以及创造内隐和外显知识的可能性。Blackstock等人(2007)强调，适应实践需要支持性的治理机制，Newig等人(2018)确定了适应因素，如信任、结构化知识整合过程或参与者的能力建设，以在环境决策中获得更好的结果。施耐德和布瑟(2018)发现，参与者互动的强度需要根据竞争程度、参与者多样性、参与者兴趣和现有合作的不同而有所不同。此外，他们强调，设想的可持续性贡献对参与性方法的选择影响很大。因此，参与性方法是否以及如何能够产生社会影响的问题取决于若干方面，包括环境因素和努力实现可持续性目标。

在本文中，我们的目标是从作为个案研究发表的背景化但分散的研究结果中学习，并在考虑不同背景和可持续性目标的同时，研究行动者之间不同强度的互动和影响之间的模式。我们从一个前提出发，即不同的行动者互动强度和这些互动的时间对于在不同的环境条件和可持续目标下产生影响是重要的。我们的指导研究问题是:参与式研究项目自我报告的主要可持续影响是什么?项目如何产生这些影响?不同程度的行动者互动如何以及何时对报告的影响作出贡献?我们特别关注环境和可持续发展目标在这些模式中的作用。

为了解决我们的研究问题，我们遵循了两步方法:首先，我们基于文献综述开发了我们的诊断框架。其次，我们对案例研究论文中发表的研究结果进行了元分析，以确定影响、参与式研究方法、环境条件和可持续性目标的典型配置(鲁德尔2008、奥伯拉克和艾森纳克2018)。原型分析越来越多地用于可持续发展研究，作为一种从更大的案例研究集中识别重复模式的方法(Oberlack等人，2019年一个)．原型通常被定义为情境敏感的、因素和过程循环模式的广义模型，以案例水平的经验效度解释兴趣的结果(Eisenack et al. 2006, Sietz 2017)。元分析方法可以被看作是用一种综合语言对案例研究中报告的结果进行系统化的分析，它允许从个别案例研究中进行抽象(Jensen和Rodgers 2001)。

为了本研究的目的，我们考虑了不同的参与式研究流派，包括跨学科研究(Hadorn et al. 2008)，协同设计和合作生产(Mauser et al. 2013)，协作和参与式行动研究(Selener 1997)。为了提供重点，我们将这项研究限制为旨在更可持续的农业生产的参与式研究方法。这包括食品、饲料和能源价值链上不同行为体之间的复杂关系，由于天气和市场依赖而产生的高度不确定性，以及个体行为体相互矛盾的目标和偏好(Ericksen 2008, Hamm 2009)。参与式研究方法通常被视为解决不同生产系统的各种问题的有前景的方法，并已在全球各地的各种环境中应用(Binder等人2012,Monzote等人2012,Andersson等人2015,Jacobi等人2015)。

诊断框架和方法

诊断框架

回答我们的研究问题需要适应现有的框架(Walter等人2007年，Wiek等人2014年，Mitchell等人2015年，Luederitz等人2017年)。虽然这些框架关注于参与性研究过程及其影响的“如何”，但它们都没有具体考虑项目发展的环境条件，也没有将可持续性目标作为项目的动力。然而，这些观点可以对参与式研究方法和所选择的活动发挥重要作用(Schneider and Buser 2018)。Ostrom(2005)的制度分析和发展(IAD)框架提供了进一步的启发，因为它允许将上述框架与背景和可持续性目标相结合(Guimarães et al. 2018)。

已开发的诊断框架将参与式研究方法与背景、可持续性目标和影响联系起来(图1)。它从概念上定义了在特定背景下不同行为体的参与(参与式方法)，以实现特定的可持续性目标。我们假定研究项目选择的参与式方法取决于可持续性目标及其背景。它们代表了新知识产生、行动者互动发生、冲突或协同产生的行动情境。

由于该框架基于不同类型的研究，它也包括不同类型的参与式研究方法的结果。这些类型包括其他作者定义的输出、结果和影响。然而，产出、结果和影响之间的确切差异在不同的研究中确实有所不同。因此，为了本次荟萃分析的目的，我们将它们全部归入影响类别，而不是区分这些不同类型的结果。下面我们将描述诊断框架的四个主要组件。

环境条件

参与式研究项目的背景随着社会、经济、政治和生态条件的变化而变化(Adler et al. 2018)。我们包括以下背景变量:被调查的可持续发展问题、涉及的行动者、情况的邪恶性、知识缺失的类型和研究背景。选择可持续性问题，即资源和环境、社会经济和治理，是因为它可能涉及主题、问题排列和参与者群体，可能需要不同的方法和活动(Schneider和Buser 2018年)。这些问题的恶性程度是我们研究框架的一部分，因为参与式研究方法通常被认为适合处理恶性程度更高的问题(Brown 2010)。缺失的知识系统、目标和转换知识的类型(Proclim/CASS 1997, Pohl和Hirsch Hadorn 2007)以及行动者环境(Enengel等人2012)也被包括在内，因为它们可能是裁剪参与式方法的决定性因素。

可持续发展目标

可持续性目标在参与性研究项目之间可以有很大的差异，例如，一些项目侧重于产生更坚实的知识，另一些项目侧重于赋予参与者权力和预期的行为改变。为了这项研究的目的，我们使用了Mitchell等人(2015)提出的可持续发展目标的三个领域:知识产品、学习和现实世界的转变。虽然在许多情况下参与性研究的最终目标可能是现实世界的转变，即社会-生态系统的重大变化，但更具体的目标是知识产品或学习。知识产品是指决策工具、知识数据库、行动计划和出版物。学习包括发展所有权、新知识、建立关系网、反思学习、建立信任、自信、能力建设和交流最佳实践。基于Gibson等人(2005)，我们将现实世界的转变分为社会-生态完整性、生计增强、代际和代际公平、资源维护和效率、社会-生态管理和民主治理、预防和适应。

参与式方法

科学和社会行动者之间的互动可以有不同的强度。在Arnstein(1969)的基础上，我们将操作强度分为以下几类:information(向社会行动者传递信息)、consultation(询问社会行动者的意见、期望和偏好)和coproduction of new knowledge(研究人员和社会行动者在不同研究阶段联合产生知识)。此外，我们沿着三个主要阶段构建了研究过程，即问题和研究问题的联合框架，新知识的共同生产，以及将新生产的知识融入科学和社会实践(Lang etal . 2012)。我们还区分了科学行为者和非科学行为者在所选方法中所扮演的不同角色(Pielke 2014)。

影响

影响类别对应于可持续发展目标的类别，即知识产品、学习和现实世界的转变。我们承认(a)影响产生的过程是复杂的，可以遵循不同的路径，例如，产生特定的产品或触发社会互动和学习(Kaufmann-Hayoz et al. 2016)。这些包括对背景、方法和可持续性目标产生影响的反馈效应(图1)。在案例研究中没有报告这些反馈效应的系统描述，也没有进一步考虑;(b)尽管所调查的案例研究使用了不同的概念来对影响进行分类，但我们使用了更广泛意义上的影响一词，而没有假设具体的输出、结果和影响序列。

使用原型法进行案例研究的元分析

在我们的研究中，案例是一项参与式研究项目，案例研究是一份科学的、同行评议的出版物，它展示了一个项目是否以及如何产生影响的结果。根据引入的诊断框架分析案例研究，我们采用了Oberlack et al.(2016)和Oberlack and Eisenack(2018)的原型分析研究设计。原型将案例中的证据归纳为循环模式，解释了条件和过程的特定配置如何产生结果(Oberlack等人，2019年一个， Sietz等人2019年)。原型是构建模块，因为一个案例可能涉及多个原型(Eisenack等，2019)。本研究遵循案例研究检索和选择、编码和数据分析三个步骤对案例研究进行了元分析(Magliocca et al. 2015)。

图2给出了详细的研究协议。我们首先通过Scopus和Web of Science中的关键字搜索检索了案例研究，产生了389个独特的引用。我们只选择了符合所有纳入标准的论文(图2);最终纳入meta分析的论文共26篇(纳入案例列表见附录1)，涉及29个参与式研究项目案例，分布在欧洲7个国家，北美1个，非洲10个，亚太3个，中亚1个，拉丁美洲2个。一些研究强调了它们的方法和方法，一些详细报告了它们的发现和结果，还有一些反映了它们的项目的科学和社会影响。

我们使用MaxQDA软件和基于诊断框架的代码本(附录2)对案例研究进行编码。相应地，我们对每个案例研究报告的影响、参与性方法、目标和背景条件进行编码。第一作者编码了所有26个案例研究;第二、第三作者各自独立编码5篇论文。编码团队保持一致的编码，并通过讨论解决分歧，并就最终代码达成一致意见。结果数据集包括29例病例，每个病例都有报告的特征。使用代码本的154个属性，我们总共发现了653个代码，其中一些属性报告频繁，而其他属性报告次数很少或为零。

数据分析分为两个步骤。首先，我们汇编了研究报告的影响、每个研究阶段的活动和参与者角色的频率。这提供了流程和影响的描述性概述。其次，我们使用concept Explorer软件应用形式概念分析(FCA)来识别数据集中的典型模式(Ganter和Wille 1999)。FCA是一种集论方法，通过编译属性之间的逻辑含义来分析数据集。它生成了一个概念格，将属性组织在一个层次结构中，使更高层次的属性是连接较低层次属性的逻辑含义，而较低层次的属性显示出与更高层次属性的不同组合(Oberlack et al. 2016, Oberlack和Eisenack 2018)。我们为每个报告的影响类别编制了概念格，即学习、知识产品和现实世界的转变。对于每个影响类别，我们分析了参与性方法、目标和环境条件与特定影响的周期性关联，并记录了每种关联的频率。根据Eisenack等人(2019)的设计标准，我们使用了频率阈值。我们只报告所有病例中至少20%报告过的与某种特定影响相关的病例，以便识别那些反复出现的相关性。

限制

第一个限制与潜在的出版偏差和数据缺失有关。这两点对于元分析方法来说都是众所周知的(van Vliet et al. 2016)。初级研究的作者对他们为什么报告某些发现而不报告其他发现有自己的理由。在初级研究中，通常对研究过程的简短描述限制了我们的分析，因为我们无法找到所有框架变量的信息，即使它们被认为是重要的。这些例子包括研究条件、邪恶程度或权力关系(波尔和赫希·哈道恩2008年，里德2008年，布朗2010年，阿维利诺和维特梅尔2016年)。未报告的发现可能意味着它们对最初的研究不重要，或者它们没有被覆盖;这两点在这里都无法得到验证。此外，研究“失败”往往很难发表，尽管它们对其他人有重要的学习潜力。此外，任何元分析都面临着一个挑战，即初级研究可能忽略了变量，即将影响归因于错误的原因。为了减少这一问题，我们使用方法学纳入标准(图2)来确保初级案例研究的可信度。 Furthermore, the codebook in Appendix 2 may be a starting point to address problems of omitted variables and missing data in future studies.

其次，由于许多初级研究缺乏足够的细节，很难评估因果关系。很可能是其他未被提及的事件造成了报道的影响。基于我们的方法纳入标准，我们假设报告的影响在一定程度上与应用的方法和方法相关，正如在同行评议的科学期刊上发表的初级研究报告。然而，我们无法证实报告的影响是否真的发生了。因此，我们研究的综合效应需要在未来的实证研究中进行严格的检验。

这篇论文的结果应该被理解为参与式研究方法如何产生影响的现有框架和科学证据的系统化。他们将先前分散的29个案例的证据合成为典型模式，这为可概括的模式提供了见解，突出了案例的多样性，并可能激发新的实证研究。他们表明，原型配置存在于农业领域，可以被有用地描述，但我们不声称检索到的配置对全球范围内的情况具有代表性。

结果

结果表明，我们样本中的参与式研究项目产生了三种主要类型的影响:学习、知识产品和现实世界的转变。每一种影响都来自于特定的互动强度、环境和可持续性目标。为了深入了解案例的共性和多样性，我们还提供了描述性统计数据，显示了活动、影响、参与者角色和参与者交互强度的分类数据。

原型学习

在29个案例中，22个案例报告学习是主要影响因素(图3)，17个案例强调学习是预期的可持续目标。报告以多种方式报告了学习情况，包括提供新知识、能力建设、信任、自信或所有权(图4)。例子包括为社会行动者提供关于病虫害管理方法的新知识(Oettlé等，2004年)、减少土壤侵蚀(Bagshaw和Lindsay 2009年)、为区域发展制定战略和面向行动的知识(Breu等，2005年)，或关于育苗生产的技术知识(Akpo等，2015年)。在某些情况下，这种知识是共同产生的，而在另一些情况下则是传播给行动者的。其他的例子包括参与者共同反思他们所学到的东西，因为这个过程而增加的信任，以及处理日常挑战的能力的提高。有几个案例使用了一些不太常见的活动，如交互式现场访问、实地实验和参与式电影制作，以支持教育和学习经验。这些活动有助于更好地使农民融入知识生产过程，并增强他们的权能。它们也是参与者参与新话题的实用手段。

报告学习的大多数情况是在涉及资源和环境问题的情况下进行的，这些问题涉及土壤问题、水问题或土地退化和沙漠化。附录3概述了所有报告的案例研究中的可持续发展问题。这些问题通常与贫困、利润下降和高成本等社会经济问题结合在一起，并反复与政府服务和基础设施不足或自然资源管理不善等治理问题结合在一起。许多案例涉及复杂的跨部门问题。表1显示了每个报告的主要变量和二阶变量的可持续性问题的频率。尽管项目解决环境、社会经济和治理问题的频率相似(分别占所有案例的38%、31%和30%)，但如果项目解决资源和环境问题，则学习对项目的影响要大得多。

该模式显示了合作生产相对于咨询或信息活动的重要性(图3)。合作生产在报告的学习案例(22个案例中的20个)的第二研究阶段特别重要。第二阶段的合作生产包括，例如，定期开会讨论营养问题的新见解(Cabrera et al. 2008)、评估牛奶价值链可持续性的系统分析研讨会(Binder et al. 2012)或参与式场景建设研讨会(Soste et al. 2015)。这些病例中有一半与第一阶段的合作生产有关，而与第三阶段的合作生产有关的病例略少。第一阶段和第二阶段经常使用协商，但总是与合作制作一起使用。

与学习相关的第一阶段的主要活动是共同定义目标和问题，共同识别和定义问题，以及商定的合作制作方法(图5)。在第二阶段，整合来自专家、农民和科学家的不同类型的知识，以及应用集成方法，如参与式电影制作，是很重要的。在第三阶段，研究报告了将知识融入社会实践和评估影响。

原型知识产品

10个案例报告了知识产品的影响(图6)。这些知识产品(图4)包括佛罗里达州的整个农场决策支持系统(Cabrera等人，2008年)和瑞士牛奶价值链的可持续性评估工具(Binder等人，2012年)，澳大利亚减少污染香蕉生产的行动计划(Bagshaw和Lindsay 2009年)，以及贝宁棕榈种子育婴中心的培训材料(Akpo等人，2015年)。

知识型产品的典型配置不如学习型产品清晰。我们发现在所有三个阶段的合作都有很强的内在联系。被调查的案例研究可能在整个研究过程中很好地嵌入了新知识产品的创造，以增加成功实施的机会。第一阶段和第二阶段的目标学习和合作生产通过强调对如何设计和实现这些知识产品的全面理解的必要性，支持了这一假设。这方面的一个例子是减少奶牛养殖中氮淋失的决策支持系统(Cabrera et al. 2008)。该项目的方法包括在第一阶段共同产生某些模型参数的参与性讲习班，在第二阶段共同思考关于营养问题的新的科学证据，在第三阶段评估产品并测试其适用性。

第一阶段和第二阶段报告的合作生产活动包括共同确定目标和问题，共同识别和定义问题，商定的合作生产方法，并为演员分配和支持角色(图5)。第二阶段报告的活动是不同类型的知识的整合和必要时方法的调整，而第三阶段主要与将知识融入社会实践有关。

原型现实世界的转换

10个案例报告了现实世界转型的影响(图7)，主要是社会-生态完整性和生计改善。这方面的例子包括在一个合作企业内建立一个全新的野生羚羊生产和销售价值链(Oettlé et al. 2004);或由于更可持续的农业实践而提高粮食安全和健康、改善环境绩效、提高收入和改善公共生活(Wright 2014)。改善生计的例子包括通过更好的生产方法改善了人们的日常生活(Andersson 2015)，以及针对客户需求的灌溉用水征税新政策(Dedrick et al. 2000)。对资源维护和效率、社会-生态管理和民主治理、预防和适应的影响只报告了一次，而代内和代际公平则没有报告(图4)。

旨在实现现实世界转变的项目不仅报告了复杂的、相互关联的背景，而且还以不同的可持续目标的组合为特色，而合作生产在所有三个研究阶段都是明显的。报告的活动主要包括商定的合作生产方法，以及第一阶段中共同定义的目标和问题(图5)。这些活动包括联合提议，确定在知识生产中谁应该参与，何时以及如何参与，或者在考虑每个人的目标的参与式研讨会中创建愿景(Oettlé et al. 2004)。第二阶段主要包括必要时的子类别调整方法。这方面的一个例子是一种灵活的、农民主导的、但基于研究的方法，用于为当地可持续农业制定解决方案(Mog 2006)。在第三阶段将知识融入社会实践的例子包括:通过与农民关注的推广服务合作进行知识转移，以及通过广泛的教育活动向社会行动者通报研究结果(Mog 2006)。

关于行动者角色、强度和可持续性目标实现情况的描述性统计

图8突出了报告的科学和社会行为者的角色，它们因不同的影响类别而有很大差异。在学习方面，案例研究报告说，社会行动者主要是知识生产者，其次是促进者和专家，而科学行动者通常是促进者和知识生产者。知识产品和现实世界转换的原型显示了类似的模式。

报道的演员互动强度涵盖了从信息到合作制作的整个范围，但高强度的演员互动是最普遍的。表2显示了各研究阶段报告的合作制作案例。例如，在学习原型中，第一阶段报告了11个合作生产案例，相当于所有学习案例的50%。在所有病例中，超过80%的病例在第二阶段发生了联合生产，超过50%的病例在第一阶段发生了联合生产，超过30%的病例在第三阶段发生了联合生产(表2)。在第一阶段和第二阶段，以及所有三个阶段，这一数字也很高(45-70%)。

此外，我们将报告的影响与它们的可持续发展目标进行了比较。表3显示了每个报告的可持续发展目标和影响的案例数量。有些变化可能源于对计划的影响的误解，例如，计划发表科学论文，但实现了社会发表。由于案例数量非常少，例如决策工具或现实世界转型的影响，其他案例难以以百分比来评估。

讨论

我们的研究结果表明，在三个研究阶段，不同报告的影响涉及不同程度的行动者互动。学习原型的案例研究报告了第二阶段的大部分合作生产活动，而在所有三个研究阶段，合作生产对知识产品和现实世界转变的影响都被报告了，这可能是因为这类问题的复杂性，需要在整个研究过程中广泛的参与者。这与Schneider和Buser(2018)的研究结果一致。在整个研究过程中，合作生产最显著的应用可以在现实世界的转型影响中观察到。这似乎与Herrero等人(2019)之前的发现部分一致，他们强调了共同构建研究问题和问题框架对实现社会学习的重要性。然而，必须指出的是，这些分析并不具有直接可比性，因为Herrero等人并没有采用Lang等人(2012)的三个研究阶段，用我们的术语来说，他们更关注参与性研究项目的第一阶段。Newig等人(2019)也发现，社会行动者早期参与问题的形成和社会影响研究问题的定义具有积极作用，但他们没有发现社会行动者参与整个研究过程的总体积极影响。Zscheischler等人(2018)发现，跨学科研究中的成功感知与社会问题的实际解决方案密切相关。在这方面，知识产品和现实世界的转换中激烈的参与者互动似乎是合理的，因为我们可以假设它们更多地依赖于实际的解决方案。

此外，我们观察到，与学习原型相比，原型知识产品和现实世界的转变具有更多的可持续发展问题和可持续发展目标之间的内在联系，并有更强烈的行动者互动。我们假设前两种原型涉及更多的复杂性和争议，因为为复杂的社会问题实际找到解决方案比学习更具挑战性，特别是考虑到我们对学习的定义，除了社会学习(Herrero等人2019年)还包括个人学习。根据这一论点，知识产品和现实世界转型的影响应该通过更激烈的演员互动来更好地解决(Schneider and Buser 2018)。我们的结果显示，学习原型的案例研究更经常报告他们的可持续发展目标实现。虽然学习可能更容易实现，但在知识产品和现实世界的转变中，更高的复杂性和竞争可能使实现可持续性目标更加困难。

纳入的案例研究描述了社会行为者作为知识生产者而不仅仅是知识接受者的角色，而科学行为者经常扮演促进者的角色，因为需要将社会行为者整合到知识生产过程中，并解决这一过程中的可信性和合法性问题(Pohl等人，2010)。这些新角色还要求参与此类项目的研究人员接受不同类型的培训，以解决权力失衡并在参与者之间建立信任，这被视为影响社会学习(Herrero等人2019年)和决策(Newig等人2018年)的关键因素。

我们的研究结果表明，项目开始时的初始可持续发展目标可能与报告的影响有所偏离(表3)。尽管一些案例研究报告了其既定目标的成就，但其他案例研究没有报告或以意想不到的影响结束。其他作者就参与性研究的影响或成功进行了讨论，这通常很难追踪(Walter等人2007年，Polk 2015年，Klenk和Meehan 2017年，Luederitz等人2017年，Zscheischler等人2018年)。将项目影响与之前定义的目标联系起来，强调了反思和参与项目过程中演变的机制的必要性，例如通过变化理论方法(Oberlack等人，2019年)b)．

原型方法为本研究提供了方法论基础(Eisenack et al. 2006, Sietz et al. 2019)。将原型理解为构建模块(Eisenack et al. 2019, Oberlack et al. 2019一个)使我们能够将案例研究中报告的不同影响的解释综合成一种类型，我们发现这种类型既简约又详细。早期的原型研究发现，它们的案例在产生关注影响的过程和因果机制(例如，Sietz等人2011年，Oberlack等人2016年，Sietz 2017年，杠杆等人2018年)或社会-生态条件(例如，Václavík等人2016年)方面存在很大差异。在我们的论文中，我们发现报告的影响变化最大，而报告的过程主要是合作生产活动。这表明，在给定的数据集中，分析人员可以使用不同的入口点搜索原型，包括搜索原型影响、过程或条件。

结论

参与式研究方法的可持续性影响问题是该领域的研究前沿之一，2019年的许多会议和会议、特刊(Schäfer et al. 2020)的编纂、关于这一主题的一些正在进行的研究项目，以及未来地球正在进行的辩论都证明了这一点。本文通过引入一个诊断框架，将参与式研究方法与其项目背景、可持续发展目标和报告的影响联系起来，从而促进了这一主题辩论。我们使用这个框架综合了29个系统选择、编码和分析的可持续农业领域的案例研究的证据，以确定参与式研究的影响的典型配置。我们没有参与有关影响的初级数据收集，但我们将影响编码为选定的、同行评议的初级研究报告中的影响。因此，我们的结果应该被理解为对该领域知识的综合，而不是对原始数据的比较分析。因此，本文超越了大多数出版物中对这一主题的一个或几个案例研究的分析，并在原型分析中比较了不同的参与式研究方法。

我们展示了具有不同参与性研究方法的独特原型，这些方法与影响有关，其中合作而不是仅仅信息或咨询发挥着重要作用。在复杂的可持续性问题中，合作生产活动比信息或咨询活动更为普遍。虽然信息不是经常出现的模式，但协商过程经常发生，但大多是与合作制作结合在一起。在整个研究过程中，可持续性问题和目标的多样性越高的复杂情况，参与者的互动就越激烈。虽然学习主要与合作生产在阶段1和2，原型知识产品和现实世界的转变涉及合作生产在所有三个研究阶段。必须考虑到研究项目的典型时间框架约为三年。对于实现现实世界的转型影响而言，这是相当短暂的，当它们涉及到代际和代际正义时更是如此(任何案例研究都没有报告)。评价活动需要较长的时间框架。在较短的项目时间框架内，对学习或知识产品的影响似乎更可行。

最后，通过本文，我们对原型分析的方法有所贡献。它提供了重要的方法论教训的潜力和缺陷的FCA原型分析。正如29个案例研究所报告的那样，FCA使我们能够理清影响、参与性研究方法、背景和可持续发展目标的典型配置。在我们的分析中，一个挑战是一些框架变量的信息不足。初级研究的报道有限，往往限制了荟萃分析的范围(van Vliet et al. 2016)。因此，迫切需要一种连贯的参与性研究报告方式，包括方法、经验教训和不同方法的失败。

我们相信，本文中发现的诊断框架和原型模式有助于更连贯地理解来自不同传统的参与式研究项目如何能够并确实触发可持续性影响。在未来的研究中，可以考虑代码本(附录2)中提供的诊断框架和相关属性，以决定参与式研究项目中哪些因素可能是重要的。

文献引用

Adler, C.， G. Hirsch Hadorn, T. Breu, U. Wiesmann和C. Pohl. 2018。跨学科研究中跨案例知识转移的概念化。可持续性科学13:179 - 190。https://doi.org/10.1007/s11625-017-0444-2

Akpo, E.， T. A. Crane, P. V. Vissoh, R. C. Tossou, 2015。多利益相关者过程中知识的共同生产:分析联合实验作为社会学习。农业教育与推广杂志21:369 - 388。https://doi.org/10.1080/1389224X.2014.939201

安德森,e . 2015。变废为宝:利用人类尿液丰富土壤，促进乌干达可持续粮食生产。清洁生产杂志96:290 - 298。https://doi.org/10.1016/j.jclepro.2014.01.070

安斯坦，s.r. 1969。公民参与的阶梯。美国计划协会杂志35:216 - 224。

Avelino, F.和J. M. Wittmayer。可持续转型中的权力关系转移:一个多角色的视角。环境政策与规划杂志18:628 - 649。https://doi.org/10.1080/1523908X.2015.1112259

巴格肖，J.和S.林赛，2009。发展可持续的香蕉生产系统:澳大利亚热带地区的案例研究。Acta Horticulturae831:23-30。https://doi.org/10.17660/ActaHortic.2009.831.2

伯格曼，M.， M. Schäfer, T.雅恩。2017。维尔昆根和节日。Arbeitspapier aus dem BMBF-Verbundprojekt tranimpact，法兰克福/柏林，德国。

宾德，c.r.， A.施密德，J. K.斯坦伯格，2012。瑞士牛奶价值链的可持续解决方案空间。生态经济学83:210 - 220。https://doi.org/10.1016/j.ecolecon.2012.06.022

布莱克斯托克，K. L.， G. J. Kelly和B. L. Horsey, 2007。开发并应用可持续性参与性研究评估框架。生态经济学60:726 - 742。https://doi.org/10.1016/j.ecolecon.2006.05.014

Bornmann l . 2013。研究的社会影响是什么?如何评估它?文献调查。美国信息科学与技术学会期刊64:217 - 233。https://doi.org/10.1002/asi.22803

勃兰特，P.， A.恩斯特，F.格拉拉，C.吕德里茨，D. J. Lang, J. Newig, F. Reinert, D. J. Abson和H. von Wehrden。2013。可持续发展科学的跨学科研究述评。生态经济学92:1-15。https://doi.org/10.1016/j.ecolecon.2013.04.008

Breu, T.， D. Maselli和H. Hurni, 2005。塔吉克帕米尔山区可持续发展知识。山地研究与开发25:139 - 146。https://doi.org/10.1659/0276 - 4741 (2005) 025 (0139: KFSDIT) 2.0.CO; 2

布朗，弗吉尼亚。2010。通过跨学科的想象力来解决棘手的问题。趋势,伦敦,英国。

巴克斯顿，M.和S.哈尼，1996。如何评估卫生研究的回报?卫生服务研究与政策杂志1:35-43。https://doi.org/10.1177/135581969600100107

Cabrera, V. E.， N. E. Breuer, P. E. Hildebrand, 2008。奶牛农场系统的参与式建模:一种利用季节气候预测建立一致环境可持续性的方法。气候变化89:395 - 409。https://doi.org/10.1007/s10584-007-9371-z

卡什，D.， W. C.克拉克，F.奥尔科克，N. M.迪克森，N.埃克利和J. Jäger。2002.显著性、可信性、合法性和边界:将研究、评估和决策联系起来。KSG工作文件系列RWP02-046。美国马萨诸塞州，剑桥，哈佛，肯尼迪政府学院。https://doi.org/10.2139/ssrn.372280

de Jong, s.p.l .， T. Wardenaar, E. Horlings, 2016。探索跨学科研究的前景:两个气候研究项目的定量研究。研究政策45(7): 1397 - 1409。https://doi.org/10.1016/j.respol.2016.04.008

Dedrick, A. R.， E. Bautista, W. Clyma, D. B. Levine和S. A. Rish, 2000。管理改进计划(MIP):一个改善灌溉农业绩效的过程。灌溉及排水系统14:5-39。https://doi.org/10.1023/A:1006325314944

经济和社会研究理事会。2011.分支。ESRC评估委员会的影响评估新方向。ESRC、斯文顿、英国。(在线)网址:https://esrc.ukri.org/files/research/research-and-impact-evaluation/branching-out-new-directions-in-impact-evaluation-from-the-esrc-s-evaluation-committee/

Eisenack, K.， M. Lüdeke，和J. Kropp. 2006。构建原型作为分析社会生态系统的一种形式方法。参加IDGEC全球环境变化机构层面综合会议。印度尼西亚巴厘岛，12月6日至9日。全球环境变化国际人类问题方案，德国波恩。(在线)网址:https://uol.de/fileadmin/user_upload/wire/fachgebiete/envdev/download/arch-eisenack3.pdf

Eisenack, K.， S.， S. Villamayor-Tomas, G. Epstein, C. Kimmich, N. Magliocca, D. Manuel-Navarrete, C. Oberlack, M. Roggero和D. Sietz. 2019。原型分析的设计和质量标准。生态和社会24(3): 26。https://doi.org/10.5751/ES-10855-240306

Enengel, B.， A. Muhar, M. Penker, B. Freyer, S. Drlik和F. Ritter, 2012。景观开发跨学科博士论文的知识协同生产——不同研究阶段的行动者角色与知识类型分析景观与城市规划105:106 - 117。https://doi.org/10.1016/j.landurbplan.2011.12.004

Ericksen, P. J. 2008。为全球环境变化研究构想粮食系统。全球环境变化18:234 - 245。https://doi.org/10.1016/j.gloenvcha.2007.09.002

Folke, C.， T. Hahn, P. Olsson和J. Norberg, 2005。社会生态系统的适应性治理。环境与资源年度回顾30:441 - 473。https://doi.org/10.1146/annurev.energy.30.050504.144511

甘特，B.和R.威尔，1999。形式概念分析:数学概念分析。施普林格,德国柏林。

吉布森，R. B. S.哈桑，S.霍尔兹，J.坦西，G.怀特劳2005。可持续性评估:标准和过程。趋势,伦敦,英国。https://doi.org/10.4324/9781849772716

Godin, B.和J. Dore(2005年)。衡量科学的影响:超越经济层面。赫尔辛基科学技术研究所，HIST讲座，赫尔辛基，芬兰。

Guimarães, m.h.， N. Guiomar, D. Surová， S. Godinho, T. Pinto Correia, A. Sandberg, F. rava, M. Varanda. 2018。用社会生态系统框架建构跨学科研究中的疑难问题:应用于montado系统中,葡萄牙阿连特茹。清洁生产杂志191:417 - 428。https://doi.org/10.1016/j.jclepro.2018.04.200

哈登，g.h.， S. Biber-Klemm, W. Grossenbacher-Mansuy, H. Hoffmann-Riem, D. Joye, C. Pohl, U. Wiesmann和E. Zemp。2008。跨学科作为一种研究形式的出现。第19 - 39页中,在G. Hirsch Hadorn, H. Hoffmann-Riem, S. Biber-Klemm, W. Grossenbacher-Mansuy, D. Joye, C. Pohl, U. Wiesmann和E. Zemp编辑。跨学科研究手册。荷兰，多德雷赫特，施普林格。https://doi.org/10.1007/978-1-4020-6699-3

汉姆，m.w. 2009。构建健康食品体系的原则。饥饿与环境营养杂志4(3 - 4): 241 - 250。https://doi.org/10.1080/19320240903321219

Herrero, P.， T. Dedeurwaerdere和A. Osinski, 2019年。在变革性跨学科研究中社会学习的设计特征。可持续性科学14:751 - 769。https://doi.org/10.1007/s11625-018-0641-7

Huutoniemi, k . 2014。导言:可持续性、跨学科性和认识的复杂性。第一章在编辑K. Huutoniemi和P. Tapio。跨学科可持续发展研究:启发式方法。劳特利奇,伦敦,英国。https://doi.org/10.4324/9780203734834

Jacobi, J.， M. Schneider, P. Bottazzi, M. Pillco, P. Calizaya, S. Rist. 2015。农业生态系统弹性和农民对气候变化对玻利维亚Alto Beni可可农场影响的看法。beplay竞技可再生农业和粮食系统30(2): 170 - 183。https://doi.org/10.1017/S174217051300029X

詹森和罗杰斯，2001年。积累案例研究的知识黄金。公共管理评论61:235 - 246。https://doi.org/10.1111/0033-3352.00025

Kaufmann-Hayoz, R.， R. Defila, A. Di Giulio, M. Winkelmann. 2016。Was man siich erhoffen darf - Zur gesellschaftlichen Wirkung transdisziplinärer Forschung。289 - 327页在编辑R. Defila和A. Di Giulio。Transdisziplinär forschen - zwischen理想与实践．热点,Geschichten Wirkungen。弗拉格校区，法兰克福美因河畔，德国。

Klenk, n.l.和K. Meehan, 2017。超越参与模式的跨学科可持续性研究:走向相关的冒险。环境科学与政策78:27-35。https://doi.org/10.1016/j.envsci.2017.09.006

Lang, d.j.， A. Wiek, M. Bergmann, M. Stauffacher, P. Martens, P. Moll, M. Swilling和C. Thomas, 2012。可持续发展科学的跨学科研究:实践、原则和挑战。可持续性科学7:25-43。https://doi.org/10.1007/s11625-011-0149-x

Leach, M.， I. Scoones和A. Stirling, 2010。动态可持续性:技术、环境、社会正义。趋势,伦敦,英国。https://doi.org/10.4324/9781849775069

lever, C.， D. Müller, K. Erb, H. Haberl, M. R. Jepsen, M. J. Metzger, P. Meyfroidt, T. Plieninger, C. Plutzar, J. Stürck, P. H. Verburg, P. J. Verkerk, T. Kuemmerle. 2018。欧洲陆地系统的典型模式和轨迹。区域环境变化18:715 - 732。https://doi.org/10.1007/s10113-015-0907-x

Luederitz, C.， N. Schäpke, A. Wiek, D. J. Lang, M. Bergmann, J. J. Bos, S. Burch, A. Davies, J. Evans, A. König, M. A. Farrelly, N. Forrest, N. Frantzeskaki, R. B. Gibson, B. Kay, D. Loorbach, K. McCormick, O. Parodi, F. Rauschmayer, U. Schneidewind, M. Stauffacher, F. Stelzer, G. Trencher, J. Venjakob, P. J. Vergragt, H. von Wehrden和F. R. Westley. 2017。通过评估学习-可持续转型实验的试探性评估方案。清洁生产杂志169:61 - 76。https://doi.org/10.1016/j.jclepro.2016.09.005

Magliocca, N.， T. K. Rudel, P. H. Verburg, W. J. McConnell, O. Mertz, K. Gerstner, A. Heinimann和E. C. Ellis. 2015。土地变化科学中的综合:方法模式、挑战和指南区域环境变化15:211 - 226。https://doi.org/10.1007/s10113-014-0626-8

毛瑟，W.， G. Klepper, M. Rice, B. S. Schmalzbauer, H. Hackmann, R. Leemans和H. Moore。跨学科的全球变化研究:可持续发展知识的共同创造。环境可持续性的当前观点5:420 - 431。https://doi.org/10.1016/j.cosust.2013.07.001

Miettinen, R.， J. Tuunainen和T. Esko. 2015。学术研究的社会影响的认识论、人工事实和互动的制度基础。密涅瓦53:257 - 277。https://doi.org/10.1007/s11024-015-9278-1

Mitchell, C.， D. Cordell和D. Fam. 2015。从最后开始:指导有目的跨学科研究的结果空间框架。期货65:86 - 96。https://doi.org/10.1016/j.futures.2014.10.007

莫格，j.m. 2006。管理可持续发展项目:通过适应性管理将发展和研究结合起来。社会与自然资源19:531 - 546。https://doi.org/10.1080/08941920600663961

Monzote, f.r.f, R. Bello, A. Alvarez, A. Hernández, E. A. Lantinga, H. van Keulen, 2012。在古巴圣安东尼奥德洛斯，根据当地条件确定农业生态混合耕作策略Baños。国际农业可持续发展杂志10:208 - 229。https://doi.org/10.1080/14735903.2012.692955

莫泽，s.c.， 2016。关于改造的科学能改造科学吗?合作设计的经验教训。环境可持续性的当前观点20:106 - 115。https://doi.org/10.1016/j.cosust.2016.10.007

Muhonen, R.， P. Benneworth和J. Olmos-Peñuela。2020.从生产性互动到影响途径:理解发展SSH研究的社会影响的关键维度。研究评价(1): 29日34-47。https://doi.org/10.1093/reseval/rvz003

Newig, J.， E. Challies, N. W. Jager, E. Kochskaemper和A. Adzersen 2018。参与式协同治理的环境绩效:因果机制框架。政策研究》杂志46:269 - 297。https://doi.org/10.1111/psj.12209

Newig, J.， S. Jahn, D. J. Lang, J. Kahle和M. Bergmann. 2019。将研究模式与其科学和社会结果联系起来。来自81个可持续发展研究项目的证据。环境科学与政策101:147 - 155。https://doi.org/10.1016/j.envsci.2019.08.008

Oberlack, C.、T. Breu、M. Giger、N. Harari、K. Herweg、S. L. Mathez-Stiefel、P. Messerli、S. Moser、C. Ott、I. Providoli、T. Tribaldos、A. Zimmerman和F. Schneiderb。可持续发展科学中的变化理论:理解变化是如何发生的。科学与社会的生态学视角28(2): 106 - 111。https://doi.org/10.14512/gaia.28.2.8

奥伯拉克，C.和K.艾森纳克，2018。河流流域水治理适应气候变化的典型障碍。beplay竞技制度经济学杂志14:527 - 555。https://doi.org/10.1017/S1744137417000509

Oberlack, C.， D. Sietz, E. Bürgi Bonanomi, A. de Bremond, J. Dell’angelo, K. Eisenack, E. Ellis, G. Epstein, M. Giger, A. Heinimann, C. Kimmich, M. T. J. Kok, D. Manuel-Navarrete, P. Messerli, P. Meyfroidt, T. Václavík，和S. Villamayor-Tomas。2019一个。可持续性研究中的原型分析:意义、动机和循证政策制定。生态和社会24(2): 26。https://doi.org/10.5751/ES-10747-240226

Oberlack, C.， L. Tejada, P. Messerli, S. Rist, M. Giger. 2016。全球土地热潮中的可持续生计?生计脆弱性和可持续发展潜力的原型。全球环境变化41:153 - 171。https://doi.org/10.1016/j.gloenvcha.2016.10.001

Oettlé， N.， A. Arendse, B. Koelle和A. Van Der Poll。Suid Bokkeveld社区交流和培训:《联合国防治荒漠化公约》旨在加强生计和自然资源管理的试点项目。环境监察及评估99:115 - 125。https://doi.org/10.1007/s10661-004-4011-9

奥斯特罗姆,e . 2005。了解机构的多样性。普林斯顿大学出版社，新泽西州普林斯顿，美国。

奥斯特罗姆,e . 2009。社会-生态系统可持续性分析的总体框架。科学325(5939): 419 - 422。https://doi.org/10.1126/science.1172133

Pahl-Wostl, c . 2002。参与式和基于利益相关者的政策设计、评估和建模过程。综合评估3:3-14。https://doi.org/10.1076/iaij.3.1.3.7409

Pahl-Wostl, C.， J. Sendzimir, P. Jeffrey, J. Aerts, G. Berkamp, K. Cross. 2007。通过社会学习来管理向适应性水资源管理的转变。生态和社会12(2): 30。https://doi.org/10.5751/ES-02147-120230

皮尔克，r.a.， 2014。诚实的中间人:在政策和政治中理解科学。第十版。剑桥大学出版社，英国剑桥。

Pohl, C.和G. Hirsch Hadorn. 2007。跨学科研究设计原则。瑞士艺术与科学学院，伯尔尼，瑞士。

Pohl, C.和G. Hirsch Hadorn, 2008。跨学科研究的方法论挑战。法国自然科学16:111 - 121。https://doi.org/10.1051/nss:2008035

波尔，C.， S.里斯特，A.齐默尔曼，P. Fry, G. S. Gurung, F. Schneider, C. Ifejika Speranza, B. Kiteme, S. Boillat, E. Serrano, G. Hirsch Hadorn和U. Wiesmann。研究人员在知识联合生产中的作用:来自肯尼亚、瑞士、玻利维亚和尼泊尔可持续发展研究的经验。科学与公共政策37:267 - 281。https://doi.org/10.3152/030234210X496628

波尔克,m . 2014。实现跨学科的承诺:对跨学科研究和社会问题解决之间关系的批判性探索。可持续性科学9(4): 439 - 451。https://doi.org/10.1007/s11625-014-0247-7

波尔克,m . 2015。跨学科合作:为解决社会问题设计和测试跨学科研究框架。期货65:110 - 122。https://doi.org/10.1016/j.futures.2014.11.001

中国社会科学院气候与全球变化论坛/瑞士科学院会议，1997。瑞士研究人员的愿景:可持续性和全球变化的研究——瑞士研究人员对科学政策的愿景。ProClim,伯尔尼,瑞士。

里德，硕士，2008年。环境管理的利益相关者参与:文献综述。生物保护141:2417 - 2431。https://doi.org/10.1016/j.biocon.2008.07.014

鲁德尔，T. K. 2008。案例研究的元分析:研究区域和全球环境变化的一种方法。全球环境变化18:18-25。https://doi.org/10.1016/j.gloenvcha.2007.06.001

Schäfer, M.， A. Lux, M. Bergmann, 2020。特刊《跨学科可持续发展研究-将研究过程和产出与社会影响联系起来》的社论。环境科学与政策107:206 - 210。https://doi.org/10.1016/j.envsci.2020.02.018

施耐德，F.和T.布瑟，2018年。可持续发展研究中利益相关者互动的有希望程度。可持续性科学13:129 - 142。https://doi.org/10.1007/s11625-017-0507-4

施耐德，F.， P. Fry, T. Ledermann和S. Rist. 2009。瑞士土壤保护的社会学习过程——“从农民到农民”项目。人类生态学37:475 - 489。https://doi.org/10.1007/s10745-009-9262-1

月之女神,d . 1997。参与式行动研究与社会变革。第二版。康奈尔大学，伊萨卡，纽约，美国。

Sietz, d . 2017。非洲旱地脆弱性的嵌套原型。环境研究快报12(9)。

Sietz, D.， U. Frey, M. Roggero, Gong, N. Magliocca, R. Tan, P. Janssen, T. Václav�k2019.可持续性研究中的原型分析:方法组合和分析前沿。生态和社会24(3): 34。https://doi.org/10.5751/es-11103-240334

Sietz, D.， m.k.b. Lüdeke, C. Walther, 2011。全球旱地典型脆弱性模式的分类。全球环境变化21:431 - 440。https://doi.org/10.1016/j.gloenvcha.2010.11.005

Soste, L.， Q. J. Wang, D. Robertson, R. Chaffe, S. Handley, and Y. Wei. 2015。在场景规划中产生涉众所有权。技术预测与社会变革91:250 - 263。https://doi.org/10.1016/j.techfore.2014.03.002

Termeer, C. J. A. M.， A. Dewulf, G. Breeman, S. J. Stiller. 2013。能够明智地处理棘手问题的治理能力。管理与社会47:680 - 710。https://doi.org/10.1177/0095399712469195

C. J. A. M. Termeer和B. Kessener。2007。振兴停滞的政策进程:对研究和干预使用配置方法。应用行为科学杂志43:256 - 272。https://doi.org/10.1177/0021886306294902

Václavík, T.， F. Langerwisch, M. Cotter, J. Fick, I. Häuser, S. Hotes, J. Kamp, J. Settele, J. H. Spangenberg和R. Seppelt. 2016。研究土地系统科学中基于地点的研究的潜在可转移性。环境研究快报11:9》。https://doi.org/10.1088/1748-9326/11/9/095002

van Vliet, J.， N. R. Magliocca, B. Büchner, E. Cook, J. M. Rey Benayas, E. C. Ellis, A. Heinimann, E. Keys, T. M. Lee, J. Liu, O. Mertz, P. Meyfroidt, M. Moritz, C. Poeplau, B. E. Robinson, R. Seppelt, K. C. Seto和P. H. Verburg. 2016。土地利用科学的元研究:现状与展望。中记录45:15-28。https://doi.org/10.1007/s13280-015-0699-8

Walter, A. I.， S. Helgenberger, A. Wiek和R. W. Scholz, 2007。衡量跨学科研究项目的社会影响:评估方法的设计与应用评估与项目策划(4): 325 - 338。https://doi.org/10.1016/j.evalprogplan.2007.08.002

Wiek, A.， S. Talwar, M. O’shea和J. Robinson, 2014。为获得参与式可持续发展研究的社会效应，提出了一种方法论方案。研究评价23:117 - 132。https://doi.org/10.1093/reseval/rvt031

赖特,2014年美国。其他世界的定量研究:菲律宾可持续农业的经验教训。澳大利亚地理学家45:1-18。https://doi.org/10.1080/00049182.2014.869293

Zscheischler, J.， S. Rogga, A. Lange. 2018。可持续土地利用的跨学科研究的成功:个体的感知和评估。可持续性科学13:1061 - 1074。https://doi.org/10.1007/s11625-018-0556-3