研究，一部分的特别功能粮食系统可持续性多准则评估

可持续发展评估工具开发过程的反思:借鉴佛兰德案例

• 摘要
• 简介
• 方法论:对佛兰德案例的反思
  • 主题案例
  • 框架的反射
  • 跳跃，专注，时机，目标
  • 评估标准
  • 方法、数据来源和分析
  • 研究效度和评价人员
• 结果
  • 上下文
  • 决定的情况
  • 研究设计
• 讨论
• 结论
• 对本文的回应
• 致谢
• 文献引用

介绍

在过去的几十年里，为农业开发了许多可持续性评估工具，以帮助利益攸关方确定和评估可持续发展。可持续性评估被视为向可持续发展过渡的重要援助(Pope等人，2004年)。已经为粮食生产系统的各个层次开发了评估工具;例如，农场、区域、国家或全球(Bockstaller等，2009年，Binder等，2010年)。由于粮食生产系统的复杂性，人们开发了不同类型的工具(de Ridder等人2007,Binder等人2010,Van Passel和Meul 2012)，从指标集(例如Girardin等人2000,Rigby等人2001,Zahm等人2008,Grenz等人2011)到仿真模型(例如Cerf等人2012,Van Meensel等人2012)。这些工具使复杂的可持续性问题更加具体，因此支持前面提到的层面的决策(例如，Halberg等人2005年，Castoldi和Bechini 2010年，Van Passel和Meul 2012年)。然而，人们对将这种潜力转化为预期用户的实际使用产生了担忧(McCown 2001, Woodward等人2008,Díez和McIntosh 2009, De Mey等人2011,Cerf等人2012)。

一个关键的成功因素是最终导致工具的研究和开发过程(Weaver和Rotmans 2006, Reed 2008, Bell等人2012,Pülzl等人2012)。其中许多过程是迭代学习过程，在目标定义、设计和实现之间存在非线性链接(Woodward et al. 2008)。在开发过程中，利益相关者和最终用户的参与不足会导致工具的实际使用失败(Woodward et al. 2008, Cerf et al. 2012, Prost et al. 2012, Van Meensel et al. 2012)。这尤其适用于可持续性，这是一个受上下文限制的概念，需要由一系列利益相关者来解释和实现(Weaver和Rotmans, 2006)。尽管文献中有关于最佳实践的建议，但对于参与者如何参与参与过程以及这如何影响过程的结果，人们仍然缺乏洞察力;例如，工具(Bell et al. 2012)。缺乏对工具设计方法的科学关注是一个可能的原因(Prost et al. 2012)。

科学地识别在实际实践中阻碍工具采用的因素是具有挑战性的。困难不仅来自于可持续性的复杂概念，还来自于缺乏关于可持续性评估工具开发过程的文献。由于开发过程固有的多个方面，许多过程因素预计会影响工具的采用。因此，有必要对这一过程进行有组织的反思，以增进对决定因素的洞察力。Blackstock等人(2007)建议由评估人员组成的团队进行反思，评估人员包括参与开发过程的人员和未参与开发过程的人员。第一种方法有助于理解流程的内部信息;后者在进行反思时解决了解释性和自我参照的风险。

我们的目的是对一个可持续发展评估工具的开发过程进行反思，该工具没有被实际应用到预期的程度。我们选择了MOTIFS，“综合农场可持续发展的监测工具”(Meul et al. 2008)。MOTIFS的发展过程在文献中有详尽的记录，并且为本文的三位参与发展过程的作者所熟知。Meul等人(2009)、Campens等人(2010)和De Mey等人(2011)对早期工具的评估已经提出了MOTIFS及其实施的改进策略。然而，这些方法并没有得到农民或农场顾问的预期和普遍采用。这一反思的目标是通过确定促进(即成功因素)或阻碍(即障碍)预期最终用户普遍采用的特征，促进关于可持续性评估工具的开发和实施的科学辩论。这些见解必须有助于我们学习未来的工具开发。

我们简要介绍了MOTIFS案例，并讨论了我们的反思过程的方法方法。然后，我们根据影响MOTIFS普遍采用的障碍和成功因素来检查这一反思过程的结果。最后，我们讨论从这些结果中学到的教训，并提出我们的结论。

方法论:对佛兰德案例的反思

主题案例

MOTIFS是一种基于指标的可持续性评估工具，它在雷达图中显示指标得分的可视化集合(Meul等人，2008年)。它涵盖了与生态、经济和社会方面相关的10个可持续性主题，是为农民或农场顾问开发的科学可靠的基于指标的工具的一个例子。尽管参与式工具开发过程涉及广泛的涉众，但该工具的采用令人失望。为了从这个结果中学习，我们反思了从工具设计到实现的过程。

框架的反射

我们遵循了一种反思的方法来充分利用与这个过程相关的内部信息。为了避免解释和自我参照的陷阱，我们根据Blackstock等人(2007)建立了我们的反思过程。他们的框架是为评估参与性研究而设计的，并建立在涉及参与性研究、可持续性科学和伙伴关系过程评估的三个文献主体之上(图1)。该方法的核心是一个评估过程，从四个方面出现，界定了评估的对象:边界、焦点、时间和目的。评价过程本身涉及评价标准的选择、收集和分析数据的方法的选择以及评价工作人员的选择。

跳跃，专注，时机，目标

边界的作用是清晰地描述评估的对象，从而更容易保持评估过程的正轨。我们反思的对象是MOTIFS工具开发过程，从早期的开始(设想阶段)到不同的实现尝试。评估的重点可以是战略性的，调查项目是否达到目标，或者是操作性的，调查活动的时间、成本或质量(Blackstock et al. 2007)。我们的研究objective-i.e。，elucidating characteristics of the MOTIFS development process that influenced the tool adoption—makes our focus strategic. Our reflection is situated two years after the MOTIFS process had been put on hold, making it an事后评估。Blackstock等人(2007)提到了评估的四个目的:证明、控制、学习和改进。我们希望对工具开发过程的文献和我们对工具开发的学习做出贡献，以改进现有工具和设计更好的工具。因此，这次评估的中心目的可以被描述为学习和提高。

评估标准

过程的评价需要参考所采用的评价类型和进行评价的目标来选择评价标准(Blackstock等，2007年)。Blackstock等人(2007)提到了选择标准的重要性，因为对于感兴趣的变量通常没有可接受的、有效的和可靠的量化措施。由于缺乏预定义的变量，我们倾向于为从数据中产生的标准留下空间。因此，我们将评估标准的先验选择限制在我们所说的标准的主要领域。这防止了我们的局限性和忽视重要的标准。我们的主要标准领域是基于Burgess和Chilvers(2006)和Blackstock等人(2007)，他们强调过程的结果与其基础环境、研究设计和决策情况之间的联系。结果，我们选择了以下几个主要的标准领域:(1)过程发生的政治、社会、文化、环境背景，(2)构成研究设计起点的决策情况(例如，在过程中所设定的目标或坚持的原则)，以及(3)研究设计，涉及从工具设计到实施的过程设置。

方法、数据来源和分析

我们使用定性研究方法(2003)与2000年林肯,刊登了整版从科学文献相结合的数据,报告,和采访(图2)。科学论文和研究报告关于主题(Mathijs et al . 2004年,Mulier et al . 2004年,乃文et al . 2008年,Meul et al . 2008年,2009年,Campens et al . 2010年,德最大经济产量et al . 2011年)进行了分析确定初始目标的工具,和重建的过程中从设计到实现的过程。此外，我们对参与MOTIFS过程的人员进行了深入采访，以获得关于现有MOTIFS出版物中没有出现的评价标准所选领域的更多具体细节。我们采访了参与该过程不同阶段的12名研究人员，其中一人只参与了MOTIFS的实际实施。由于Meul等人(2009)和De Mey等人(2011)已经对农民和农业顾问的经历进行了描述和分析，所以没有将他们纳入研究。每次采访都被记录下来。

为了保证在访谈中所选择的评价标准领域得到处理，我们使用了访谈指南(Marchall和Rossman 2006)。为了深入了解MOTIFS过程的背景，我们向受访者询问了项目启动的原因和方式，他们和社会的期望是什么，以及他们如何认为农民的做法可以变得更可持续。关于决策情况的问题收集了关于MOTIFS开发背后的基本原理、受访者对可持续性的定义、他们对提高农业可持续性的工具的有用性的想法以及这些工具应该是什么样子的信息。为了深入了解MOTIFS过程的研究设计，我们询问了研究设计的设置、过程中涉及的利益相关者、受访者对研究设置的意见和经验、他们在过程中感受到的障碍和成功因素，以及他们对未来项目的了解。

我们分析了NVivo 9 (QSR International 2010)的采访记录，这使我们能够对定性数据进行结构、标签和分类。我们使用了Strauss和Corbin(1998)描述的编码方法，基于研究人员的专业知识(Rogge et al. 2011, Kerselaers et al. 2013)。首先，数据被分类为现象、记录片段，代表被调查者提到的与我们的研究相关的离散事件、想法、事件或行为。每个现象都有标签，以便将相似的现象分组在一个共同的标题下。两个或两个以上的受访者提到的每个现象都被定义为一个概念。概念被分类并与评价标准的不同领域相联系。例如，“农民的代表性不足。很少有农民坐在桌旁”和“利益相关者主要是专家”被认为是一种现象。这两种现象都被定义为“在工具开发过程中专家主导咨询委员会”的概念。这一概念被归入“利益相关者参与和角色”的范畴，并与评价标准“研究设计”相联系。 For further details on this method, see De Mey et al. (2011).

研究效度和评价人员

在定性研究中，我们需要三角测量来确保整个数据收集和分析的客观性(Strauss和Corbin 1998, Patton 2002)。在我们的例子中，我们应用了以下三角测量技术:

• 通过使用不同来源或不同类型的受访者(例如，只参与开始、结束或整个MOTIFS过程的研究人员)进行数据三角测量。


• 通过使用多种方法来收集数据(使用已发表的科学论文、研究报告和访谈)


• 通过在关键信息提供者和未参与过程的评估者之间进行平衡，以确保重要问题不被隐藏或忽视(Blackstock et al. 2007)。

对MOTIFS过程进行反思的作者包括两名未参与该过程的人和三名参与该过程的人(其中两人也接受了采访)。采访是由没有参与这个过程的作者进行的。采访记录的编码由三名作者完成，其中一人参与了这个过程。这些作者深入讨论了数据分析的结果，并将其转化为经验教训。

结果

表1根据预先确定的评价标准的主要领域概述了检测到的障碍或成功因素。它们被分为三组经验教训，在讨论．通常，我们可以从不同的障碍和成功因素中学到类似的教训。

上下文

2001年，两位佛兰德著名学者和一位政策办公厅主任发表了一份名为“佛兰德斯可持续农业的未来愿景”的愿景文本(Mathijs等，2004年)。当时，在弗兰德斯，关于农业可持续性的常识相当有限。因此，佛兰德斯政府决定成立Stedula(2002-2006)，即佛兰德斯可持续农业政策研究中心，这是佛兰德斯加强农业可持续性的首批举措之一。这个大学间研究小组的任务是概述可持续农业部门的有关专题，确立目标和可实现的目标，并制订一套适当的指标。该指标集应使政府能够监测和评估农业的可持续性状况以及政策和措施的效率(Nevens et al. 2008)。

据受访者称，社会对农业可持续性的认识发生了变化。stdula研究人员与广泛的直接或间接参与佛兰德斯农业的利益相关者之间沟通不足，加上双方不断变化的见解，导致研究人员和利益相关者对stdula研究结果的期望存在分歧。例如，尽管Stedula的研究人员认识到，将可持续发展具体化比最初预期的要复杂得多(例如，对可持续发展的三个支柱的不平等的知识导致了良好的社会指标的缺乏)，但他们认为，利益相关者仍然希望在一个单一工具中解决农业中的所有问题。我们认为这些不同的期望是MOTIFS成功设计和实现的障碍。

Stedula研究团队设定的广泛任务是另一个障碍，这是源于对可持续农业最初有限的知识。正如答复者所提到的，这可能导致制定非常多样化的项目目标。当被问及该工具的用途时，受访者描述了一系列应用。他们的答案五花八门，从衡量农场的可持续性，到衡量弗兰德斯地区的农业可持续性，再到创造一种工具来鼓励和激励农民提高农场的可持续性。这导致了MOTIFS的多种潜在功能和最终用户。连续的实施项目(Schoonhoven 2008, Meul等人2009,2012,De Mey等人2011)显示了MOTIFS的功能从监控工具到通信工具，最后是决策支持工具的演变。图3说明了这一演变过程，给出了每个函数的优缺点。

由于研究团队的变化，对该工具目标的混淆进一步复杂化了。最突然的变化发生在2007年，当时Stedula项目转移到农业和渔业研究所。在研究团队中，这导致了知识的不连续，以及对工具目的的变化的看法和解释。新研究人员使用该工具的经验有限，而且缺乏关于之前决策的文档，这使得他们很难就该工具的目的达成一致。研究团队的协调人也换了不止一次。这可能是缺乏关于工具开发目标的必要决策的一个原因。

决定的情况

Stedula的研究始于对可持续性原则的一个愿景和定义。与前面提到的Stedula目标一起，它们形成了影响研究设计的开发过程的决策情况。

同时兼顾经济、生态和社会可持续性维度的原则(Nevens等人，2008年)导致了一种整体工具的开发。根据受访者的说法，这种工具的主要成功因素是它能够提高人们对可持续发展的整体概念的认识。其他受访者质疑农业实践的整体工具的价值。他们认为，一些可持续性问题不适合在农场层面进行监测，而且在实践中很少为管理和监测目的在一个工具中同时执行三个维度。这一整体原则指导了跨学科研究团队中的各种专业知识，为知识建设创造了成功因素。研究小组由农学家、兽医、经济学家、人类学家和地理学家组成。但研究团队的组成与可持续发展的三个方面并不相称。在整个团队中，社会科学家(1名人类学家，2名社会地理学家)和经济科学家(2名经济学家)的比例低于具有环境背景的科学家(16名农学家，1名兽医)。这一障碍可能导致社会指标的制定失败。

Stedula的目标是为可持续性提供科学合理的解释，这可能导致关注定量指标的发展，并选择开发一种监测工具(而不是，例如，加强农场社会可持续性的指导方针)。根据受访者的说法，这一决定是受到政府对量化进展的偏好和团队中自然科学家的普遍存在的刺激。然而，社会科学家质疑这种方法，因为他们认为一些社会问题需要定性的方法。在开发过程中，研究团队在一些可持续性主题的量化表达上遇到了困难。这导致了一个不完整的指标集，破坏了该工具的整体监测目的，并导致部分研究团队将其工具的目的从监测转变为决策支持工具。

将可持续性定义为一个动态概念的目的是将MOTIFS开发为一个动态工具;例如，一个需要不断适应新数据和变化上下文的工具。在MOTIFS过程中，不断变化的背景和见解没有充分地转化到工具中上下文)．在整个过程中，广泛的利益相关者群体的更密切参与可能会增加研究人员对不断变化的环境(和利益相关者的需求)的意识。

研究设计

2005年，Stedula对Mathijs等人(2004)关于弗兰德斯农业可持续性的原始愿景文本进行了更新，题为“在明天的土地上”(Nevens等人，2008年)。他们采用了多利益相关者、跨学科的方法，让直接或间接参与佛兰德农业的广泛利益相关者(农民和农民组织的代表、科学家、政府代表、供应商、教育、非政府组织、农村、消费者、分配和食品加工[Nevens等人，2008年])参与其中。研究人员将MOTIFS作为实现这一愿景目标的战略，通过监测农场在经济、生态和社会方面的综合可持续发展的进展。由于2005年支持的远景开发和2002年开始的工具开发之间的时间间隔，在MOTIFS开发过程的最开始阶段缺乏涉众的投入。这可能会导致障碍，因为研究人员错过了利益相关者对开发基于指标的佛兰德农业工具的支持，以及预期最终用户(农民或农场顾问)对这种工具的任何潜在需求的信息。

专家和预期的最终用户(通常是农民组织的代表)通过参加顾问委员会参与指标选择、设计和验证的工具开发(参见Meul et al. 2008, 2009了解更多信息)。然而，专家们常常主宰着顾问委员会。研究人员认为这种不平等是一个障碍，导致难以平衡一个指标的准确性、效率、透明度和用户友好性。此外，一些研究者在工具开发过程中遇到了管理不同涉众群体的困难，因为涉众的背景、思维和沟通方式各不相同。

在MOTIFS发展的实施阶段，农民和农业顾问更多地参与其中。在第一次实施和验证期间(Schoonhoven 2008, Meul et al. 2009)，农民表示他们不愿意使用该工具，因为他们认为它不友好。他们觉得这既耗时又复杂，无法提供具体的农业建议，有时还难以解释。然而，他们赞赏在专家在场的讨论小组中使用该工具。由于它的高级状态，对工具本身的调整不被认为是一个选项。正如Mulier et al.(2004)和Meul et al.(2009)所示，这导致了工具的预期最终用户和实现设置的转变(图3)。在过程开始时，研究人员希望设计一种可供农民独立使用的工具。然而，由于上述见解，MOTIFS转变为一种由农业顾问使用的工具，使农民小组讨论能够由专家参加(De Mey et al. 2011, Meul et al. 2012)。农民更早地参与到开发过程中可以促进对工具本身的调整，而不仅仅是对目标终端用户和实施设置的调整。

农业顾问在使用该工具时也遇到了困难。受访者指出了农业顾问采用农业顾问的主要障碍:(1)必要的数据并不总是容易获得，特别是在生态和社会主题方面;(2)基础指标计算复杂且不总是透明;例如，所做的假设并不总是明确的，(3)MOTIFS的设计不适用于佛兰德斯的所有农业系统，(4)缺乏对农业顾问在实践中采用该工具的指导。

讨论

MOTIFS开发过程的障碍和成功因素描述在结果转化为经验教训(表1)。图4显示了这些经验教训之间的关系。我们将它们分为三个集群:(C1)制度嵌入性，(C2)所有权，(C3)工具功能。

集群C1处理研究人员在开发过程中的角色。复杂的可持续性概念需要一个支持知识创造的多元化研究团队。MOTIFS案例表明，成功依赖于团队所有成员共享的过程愿景和目标。Neef和Neubert(2011)确认，在这一过程中，应留出时间进行频繁的反思和决策，以维护目标。MOTIFS案例中的障碍表明，知识必须在研究团队中通过激励和记录决策来积累和促进。这也有助于解决团队组成变化带来的问题。团队协调者在鼓励团队内部的决策、评估和愿景一致方面扮演着重要的角色。我们把这些研究者在这一过程中的角色称为围住适应性学习过程的制度嵌入性。

集群C2指的是需要在过程中创建涉众的所有权。农民必须认识到并接受他们在实现更可持续的农业实践方面的责任。工具本身并不能保证农业的可持续发展。为积极的利益相关者创造参与的机会可以激发这种所有权感(Voinov和Bousquet 2010, Prost等人2012)。许多作者(van de Kerkhof 2006, Bohunovksy和Jäger 2008, de Kraker et al. 2009, Friend et al. 2009)已经认识到利益相关者参与的优势:(1)增加对感知到的问题和解决问题所需措施的意识和接受度，(2)更好的决策，因为它考虑到观点的多样性、(本地)知识和关于问题和解决方案的信息，(3)增加对评估结果的支持，(4)学习。MOTIFS案例研究表明，组织和管理良好的利益相关者参与是一个巨大的挑战(Reed 2008, Neef和Neubert 2011)。考虑到预期的最终用户，为不同的过程阶段选择深思熟虑的涉众是至关重要的(Weaver和Rotmans, 2006)。利益相关者的参与和所有权的创造需要研究者与利益相关者之间的频繁沟通和研究者与利益相关者之间的评估。这也提倡通过有能力的协调人的存在促进利益相关者之间的知识交流(Reed 2008, Cuéllar-Padilla和Calle-Collado 2011)。

集群C3包含有关工具功能的课程。MOTIFS过程引出了多种工具功能，如监测、通信和决策支持。这些功能都需要关于实现设置和最终用户的不同规范(Bockstaller等，2009年，Cerf等，2012年，Prost等，2012年)。即使在同一组终端用户中，需求也可能不同。例如，随着他们的业务朝着更大的可持续性发展，农民需要具有不同功能的工具。他们首先需要一个沟通工具来提高他们的意识，然后才需要决策支持或监控工具。MOTIFS案例揭示了将所有这些功能组合到一个工具中的困难，这导致在单独应用功能时存在缺陷(de Ridder等人2007年，Schader等人2012年，Marchand等人，2014)．因此，在开发过程中保持与预期工具使用的联系是很重要的(Cerf et al. 2012)。MOTIFS案例中显示的另一个工具特征是工具的实现设置的重要性;例如，在讨论组中使用。工具功能、最终用户和用户设置的多样性支撑了为工具定义明确目标的重要性(Reed 2008)。

通过将数据处理成经验教训，我们观察到集群之间有两种类型的关系。首先，发现C2和C3之间的相似性，并将其确定为“多样性的丰富程度”(图4)。多样性涉及涉众和最终用户(C2)。，farmers, farm advisors, government, or food processors—and tools (C3), emanating from different possible tool functions and/or the various intended end users. Several times, respondents mentioned the importance of this richness in diversity. A second kind of relationship is indicated as actions for researchers (A1 to A3 in Fig. 4). In fact, the lessons learned necessitate three main challenges for researchers regarding the clusters ownership (A1) and tool functions (A3) and the link between them (A2).

第一种行动(A1)是“承认相互学习”。研究人员和专家并不垄断知识，他们能够也应该向利益攸关方和最终用户学习。我们可以用Reed(2008)来支持这一行动，他提倡组织文化中的参与制度化。这支持适合预期目的和最终用户的工具设计。Cerf等人(2012)展示了设计师和用户对问题的解释之间的显著差异，并将研究人员和最终用户之间所谓的“汇报会议”作为研究人员的学习环境。他们强调了在过程早期让终端用户参与进来的重要性。Berthet等人(2012)谴责了参与式设计方法缺乏自反性，并强调需要开发自反性框架来分析和比较它们。Grin等人(2004)将其描述为反身设计或“一个判断过程，在这个过程中，通常被认为理所当然的假设、知识主张、区别、角色和身份必须被严格审查。”同样，Langvad(2012)表示需要更多的案例研究，寻求对过程为何会以这种方式展开的更深入的理解。

第二种行动类型(A2)涉及“适当使用工具的指导”，以考虑涉众和工具功能的多样性。几位作者(Niemeijer和de Groot 2008, Bockstaller等人2009,Gasparatos和Scolobig 2012)提到，在可持续性评估文献中，缺乏如何在工具之间进行选择的指导方针或标准。未来研究如何将现有的可持续性评估工具与特定目的的最终用户联系起来至关重要。

第三种动作类型(A3)源于不同的工具可能的功能。它需要结构化不同工具类型的开发，并探索现有工具的派生产品。例如，通过在不同的上下文中使用现有的工具，可以设计出新的工具概念(Cerf et al. 2012)。在此背景下，Marchand等人(2014)提出了工具的互补使用和为不同的农业情况开发灵活的工具。然而，跨学科和尺度连接工具的科学基础仍然薄弱(Ewert等，2009年)。

现在，除了这些教训和行动的启示，这篇论文的独特之处是什么?我们区分了三个主要问题:我们调查了什么，我们调查的方式，以及它产生的结果。首先，我们分析MOTIFS的开发和实现过程以解释其缺乏实际应用的方法，据我们所知，迄今为止几乎没有执行过。Prost等人(2012)认为，农业研究界并不关心设计方法对工具适用性和潜在应用的影响。然而，我们表明，对开发过程的评估可以为未来的工具开发提供有价值的见解。第二，Blackstock等人(2007)的框架被证明是这种过程评估的合适方法，尽管据我们所知它很少被使用。这个框架帮助描述了我们反思过程的目标和执行它的方法。它帮助构建了关于主题的丰富信息。此外，认识到背景、研究设计和决策情况之间的联系的整体方法(Burgess和Chilvers 2006)揭示了开发过程中的障碍和成功因素。第三，我们的反身性研究产生了可以被文献证实的教训，但又揭示了这些教训之间的关系，从而揭示了研究者的行动。 These normative results make us eager to discuss similar or contradictory experiences with others.

结论

对MOTIFS开发过程的严格的自我反思研究使我们能够确定影响其被农民和农场顾问采用的特征。我们不仅发现了各种可以被文献中类似发现证实的失败和成功的因素，我们还发展了一个整体的图景，将这些元素作为经验教训。这一安排的基本结构包括三组经验教训。第一类是“制度嵌入性”，指的是研究人员的角色。至关重要的是，一个具有协调员明确指导作用的多元化团队的存在。此外，充分的、记录良好的反思和决策时刻的合并必须支持开发过程。第二个集群，“所有权”，涉及涉众的角色和责任。后者可以通过利益攸关方和最终用户的深思熟虑和积极参与而得到加强。这需要经常的沟通和适当的促进过程。第三个集群，“工具功能”，揭示了依赖于预期功能和最终用户的广泛的工具种类，要求在工具开发过程中有明确的目标和对工具使用的深思熟虑(社交)设置。

我们的结果表明，对工具开发过程的反思可以为未来的工具开发和实现提供有价值的见解。此外，它们为研究人员和未来的研究唤起了三种类型的行动。研究人员应该(1)向涉众和最终用户学习，(2)为适当使用工具提供指导，(3)对不同工具类型进行结构化开发，并探索现有工具的副产品。我们希望我们的规范结果能促使研究人员分析他们的工具开发过程，并传播他们的知识，以促进对该主题理解的辩论。此外，未来研究的灵感可以从我们为研究人员提出的行动中找到;例如，探索现有可持续发展评估工具、最终用户和目的之间的联系，或检查研究人员、利益相关者和最终用户之间的学习关系。

文献引用

贝尔，S.莫尔斯，R. A.沙阿。2012。理解利益攸关方参与研究是可持续发展的一部分。环境管理杂志101:13-22。http://dx.doi.org/10.1016/j.jenvman.2012.02.004

berthee, C. Barnaud, N. Girard和J. Labatut. 2012。为农业制度创新提供一个比较集体设计方法的反思性框架。在会议记录10^thIFSA研讨会-生产和再生产农业系统:未来可持续粮食系统的新组织模式．7月1日至4日，丹麦奥胡斯。(在线)网址:http://www.ifsa2012.dk/downloads/WS2_3/Berthet_Labatut_Girard.pdf

宾德，c.r, G.费奥拉，J. K.斯坦伯格，2010。考虑基于指标的农业可持续性评估的规范性、系统性和程序性方面。环境影响评估检讨30:71 - 81。http://dx.doi.org/10.1016/j.eiar.2009.06.002

K. L.布莱克斯托克，G. J.凯利和B. L.霍西。2007。开发和应用一个框架来评估可持续性的参与性研究。生态经济学60:726 - 742。http://dx.doi.org/10.1016/j.ecolecon.2006.05.014

布克斯托勒，C. L.圭查，O.凯钦格，P.吉拉丁，m . b。盖兰和盖莱尔德。2009。评估农业系统可持续性的方法比较。复习一下。农学促进可持续发展29:223 - 235。http://dx.doi.org/10.1051/agro:2008058

博洪诺夫斯基和J. Jäger。2008.可持续发展综合评估中的利益相关者整合与社会学习．2008年全球环境变化的人类层面柏林会议，社会生态研究计划国际会议。http://userpage.fu-berlin.de/ffu/akumwelt/bc2008/download.htm

伯吉斯和J.奇尔弗斯。2006。提高赌注:设计和评估参与式技术评估的概念框架。科学与公共政策33:713 - 728。

坎彭斯，V.， K. De Mey, J. D 'hooghe和F. Marchand. 2010。Melkveecafé: Samen grenzen verleggen．Mededeling ILVO 74号，比利时，Merelbeke。

Castoldi, N.和L. Bechini. 2010。意大利北部种植制度与农业生态和经济指标的综合可持续性评估。欧洲农学杂志32:59 - 72。http://dx.doi.org/10.1016/j.eja.2009.02.003

Cerf, M. Jeuffroy, L. Prost和J. Meynard. 2012。农业决策支持工具的参与式设计:考虑使用情况。农学促进可持续发展32:899 - 910。http://dx.doi.org/10.1007/s13593-012-0091-z

克雷斯韦尔，2003。研究设计。定性、定量和混合方法的方法．第二版。Sage出版社，千橡，加利福尼亚州，美国。

Cuéllar-Padilla, M.，和A. Calle-Collado。2011.我们能和人一起找到解决方案吗?与安达卢西亚小型有机生产者进行的参与性行动研究。农村研究杂志27:372 - 383。http://dx.doi.org/10.1016/j.jrurstud.2011.08.004

De Kraker, J. C. Kroeze, P. Kirshner. 2009。模型作为参与式综合评估中的社会学习工具．498 - 499页在范·伊特瑟姆，j·沃尔夫，g·冯·拉尔，编辑。2009年AgSAP会议论文集．2009年10-12 maart，荷兰Egmondaan Zee。荷兰瓦赫宁根大学和研究中心。

De Mey, K. D 'Haene, F. Marchand, M. Meul和L. Lauwers. 2011。通过利益攸关方参与实施MOTIFS学习:佛兰德斯可持续农业的综合评估模型。国际农业可持续发展杂志9:1-14。

de Ridder, W.， J. Turnpenny, M. Nilsson和A. Von Raggamby. 2007。可持续发展综合评估中工具选择和使用的框架。环境评估、政策与管理杂志9:423 - 441。http://dx.doi.org/10.1142/S1464333207002883

丹津，北K，和Y. S.林肯，编辑。2000.质性研究手册．第二版。Sage出版社，千橡，加利福尼亚州，美国。

Díez, E.和B.麦金托什。2009.对影响信息系统使用和有用性的因素的回顾。环境建模与软件24:588 - 602。http://dx.doi.org/10.1016/j.envsoft.2008.10.009

Ewert, F.， M. van Ittersum, I. Bezlepkina, O. Therond, E. Andersen, H. Belhouchette, C. Bockstaller, F. Brouwer, T. Heckelei, S. Janssen, R. Knapen, M. Kuiper, K. Louhichi, J. Olsson, N. Turpin, J. Wery。维恩和沃尔夫。2009。提高农业综合评估灵活性的方法。环境科学与政策12:546 - 561。http://dx.doi.org/10.1016/j.envsci.2009.02.005

《朋友》，M. A. M.邓恩，J.詹宁斯，2009。有效应用参与式行动研究的经验教训:来自新南威尔士州乳业的案例研究。动物生产学49:1007 - 1014。http://dx.doi.org/10.1071/EA08168

Gasparatos, A.和A. Scolobig. 2012。选择最合适的可持续发展评估工具。生态经济学80:1-7。http://dx.doi.org/10.1016/j.ecolecon.2012.05.005

Girardin, P.， C. Bockstaller和H. Van der Werf. 2000。农业做法对环境潜在影响的评估:AGRO*ECO方法。环境影响评估检讨20:227 - 239。http://dx.doi.org/10.1016/s0195 - 9255 (99) 00036 - 0

格伦茨，J.， M.肖赫，A. Stämpfli, C.塔尔曼，2011。RISE 2.0现场手册．瑞士农业学院，佐利芬市，瑞士。

格林，J. F.费利克斯，B.博斯和S.斯波尔斯特拉，2004。反思设计的实践:来自荷兰可持续农业项目的经验教训。国际远见与创新政策杂志1:126 - 149。

Halberg, N, H. van der Werf, C. bas- men, R. Dalgaard和I. de Boer. 2005。用于评价和改进欧洲畜牧生产系统的环境评估工具。畜牧生产科学96:33-50。http://dx.doi.org/10.1016/j.livprodsci.2005.05.013

Kerselaers, E.， E. Rogge, E. Vanempten, L. Lauwers, G. Van Huylenbroeck. 2013。农村土地使用的变化:利益相关者对弗兰德斯正在进行的农村规划过程的看法。土地使用政策32:197 - 206。http://dx.doi.org/10.1016/j.landusepol.2012.10.016

Langvad, a . 2012。多方利益相关者地面水达到管理。如何在实践中构建可持续措施?在会议记录10^thIFSA研讨会-生产和再生产农业系统:未来可持续粮食系统的新组织模式．7月1日至4日，丹麦奥胡斯。(在线)网址:http://www.ifsa2012.dk/downloads/WS2_3/Langvad.pdf

Marchall, C.和G. B.罗斯曼。2006。定性研究设计．第四版。Sage出版社，千橡，加利福尼亚州，美国。

Marchand, F.， L. Debruyne, L. Triste, C. Gerrard, S. Padel和L. Lauwers. 2014。农场层面基于指标的可持续性评估中工具选择的关键特征。生态和社会19(3) 46。http://dx.doi.org/10.5751/ES-06876-190346

Mathijs, E.， D. Reheul和J. Relaes, 2004。弗拉丹的Toekomstvisie duurzame landbouw．http://lv.vlaanderen.be/nlapps/docs/default.asp?id=136

麦克考恩，2001。学习弥合基于科学的决策支持和农业实践之间的差距:从设计到对话，基于模型的研究和干预的范式演进。澳大利亚农业研究杂志52:549 - 571。http://dx.doi.org/10.1071/AR00119

Meul, M.， F. Nevens和D. Reheul. 2009。验证可持续性指标:关注佛兰德奶牛场的生态方面。生态指标9:284 - 295。http://dx.doi.org/10.1016/j.ecolind.2008.05.007

Meul, M.， S. Van Passel, D. Fremaut, G. Haesaert. 2012。集约放牧比零放牧的奶牛系统具有更高的可持续性。农学促进可持续发展32:629 - 638。http://dx.doi.org/10.1007/s13593-011-0074-5

M. Meul, S. Van Passel, F. Nevens, J. Dessein, E. Rogge, A. Mulier和A. Van Hauwermeiren. 2008。MOTIFS:综合农场可持续发展的监测工具。农学促进可持续发展28:321 - 332。http://dx.doi.org/10.1051/agro:2008001

Mortelmans, d . 2007。Handboek kwalitatieve onderzoeksmethoden．亚柯,比利时鲁汶。

缪利尔，A.， F. Nevens, D. Reheul和E. Matijs. 2004。我的家乡，我的家乡，我的家乡，我的家乡．Publicatie 9。Steunpunt Duurzame Landbouw, Merelbeke，比利时。

Neef, A.和D. Neubert, 2011。农业研究项目的利益相关者参与:反思和决策的概念框架。农业与人类价值28:179 - 194。http://dx.doi.org/10.1007/s10460-010-9272-z

Nevens, F.， J. Dessein, M. Meul, E. Rogge, I. Verbruggen, A. Mulier, S. Van Passel, J. lep奥特和M. Hongenaert. 2008。“在明天的基础上”，2030年佛兰德农业:参与式将可持续性原则转化为未来愿景的案例。清洁生产杂志16:1062 - 1070。http://dx.doi.org/10.1016/j.jclepro.2007.06.007

聂梅杰，德格鲁特，2008。选择环境指标集的概念框架。生态指标8:14-25。http://dx.doi.org/10.1016/j.ecolind.2006.11.012

巴顿,m . 2002。定性研究和评价方法．Sage出版社，千橡，加利福尼亚州，美国。

蒲柏，J.， D. Annandale和A. Morrison-Saunders。2004.即可形成可持续性评估。环境影响评估检讨24:595 - 616。http://dx.doi.org/10.1016/j.eiar.2004.03.001

普罗斯特，L.， M.瑟夫，M.杰弗罗伊，2012。农艺模型设计中缺乏对最终用户的考虑。复习一下。农学促进可持续发展32:581 - 594。http://dx.doi.org/10.1007/s13593-011-0059-4

Pülzl, H.， I. Prokofieva, S. Berg, E. Rametsteiner, F. Aggestam，和B. Wolfslehner. 2012。可持续发展影响评价中的指标制定:理论与实践的平衡。欧洲森林研究杂志131:35-46。http://dx.doi.org/10.1007/s10342-011-0547-8

近年国际》2010。Nvivo 9:起步．QSR国际，墨尔本，澳大利亚。

里德博士，2008年。环境管理中的利益相关者参与:文献综述。生物保护141:2417 - 2431。http://dx.doi.org/10.1016/j.biocon.2008.07.014

里格比，D. P.伍德豪斯，T.杨和M.伯顿，2001。构建可持续农业实践的农场层面指标。生态经济学29:463 - 478。http://dx.doi.org/10.1016/s0921 - 8009 (01) 00245 - 2

罗格，J. Dessein和H. Gulinck. 2011。利益相关者对公众对主要景观变化的态度的看法:以弗兰德斯的温室集群为例。土地使用政策28:334 - 342。http://dx.doi.org/10.1016/j.landusepol.2010.06.014

Schader, C.， M. S. Meier, J. Grenz和M. Stolze. 2012。粮食系统可持续性评估的范围和准确性之间的权衡。在会议记录10^thIFSA研讨会-生产和再生产农业系统:未来可持续粮食系统的新组织模式．7月1日至4日，丹麦奥胡斯。(在线)网址:http://www.ifsa2012.dk/downloads/WS6_1/Schader.pdf

2008年,判给史库禾温d。斯德克已克雷姆斯遇到了梅尔克这两个!甚至是掌管om duurzaam melk te produceren．platselijke Groep Leader+ Meetjesland。Eeklo。(在线)网址:http://www.meetjesland.be/Sterk_met_melk/brochure%20Sterk%20met%20Melk%20DEF.pdf

施特劳斯，A.和J.科尔宾，1998。定性研究基础:扎根理论、程序和技术。Sage出版社，千橡，加利福尼亚州，美国。

van de Kerkhof, M. 2006。以对话方式加强对可持续性的学习——荷兰在气候变化领域采用两种参与式方法的实验。beplay竞技桥梁科学与政策综合评估杂志6:7-34。

Van Meensel, J.， L. Lauwers, I. Kempen, J. Dessein, G. Van Huylenbroeck, 2012。参与式方法对农业决策支持系统成功开发的影响:Pigs2win案例。决策支持系统54:164 - 172。http://dx.doi.org/10.1016/j.dss.2012.05.002

Van Passel, S.和M. Meul. 2012。农业系统的多层次和多用户可持续性评估。环境影响评估检讨32:170 - 180。http://dx.doi.org/10.1016/j.eiar.2011.08.005

Voinov和F. Bousquet, 2010。造型与利益相关者。环境建模与软件25:1268 - 1281。http://dx.doi.org/10.1016/j.envsoft.2010.03.007

韦弗，P. M.和J.罗特曼，2006。综合可持续发展评估:什么是综合可持续发展评估，为什么进行综合可持续发展评估，如何进行综合可持续发展评估?国际创新与可持续发展杂志1:284 - 303。

伍德沃德，S. J. R.罗梅拉，W. B.贝斯考，S. J.洛瓦特，2008。更好的模拟建模支持农业系统创新:回顾与综合。新西兰农业研究杂志51:235 - 252。http://dx.doi.org/10.1080/00288230809510452

Zahm, F.， P. Viaux, L. Vilain, P. Girardin和C. Mouchet. 2008。用IDEA方法评估农场的可持续性——从农业可持续性的概念到农场的案例研究。可持续发展16:271 - 281。http://dx.doi.org/10.1002/sd.380