洞察力，一部分的特别功能粮食系统可持续性多准则评估

农场层面基于指标的可持续性评估中工具选择的关键特征

• 摘要
• 简介
• 可持续发展评估工具的变化
• 方法
  • 情况下
  • 文献来源
  • 涉众的反馈
  • 额外的实践经验
  • 分析框架增加了额外的特征
  • 三角测量
• 结果
  • 规范方面
  • 系统性方面
  • 程序方面
• 讨论
• 结论
• 对本文的回应
• 致谢
• 文献引用

介绍

实现农业系统的更大可持续性对于向可持续发展过渡至关重要(经合组织，1999年)。可持续性评估对这一过程是一个重要的帮助(Pope等人，2004年)，越来越多的可持续性评估工具和框架已经开发出来，以支持农业决策(Gasparatos, 2010年)。这一发展带来了不同的工具，从农场级到工业级、区域级和国家级的应用(Binder等，2010年)。然而，关于如何在工具之间进行选择的研究的缺乏构成了可持续性评估文献的一个主要空白。缺乏工具选择的标准(Gasparatos和Scolobig 2012)。目前，这种选择要么是“临时的”，考虑到涉众做出决定的环境(Gasparatos和Scolobig 2012)，要么是务实的，考虑到数据可用性(de Ridder et al. 2007)。

各种特性都会影响工具的选择。一篇研究工具变化的文献综述可持续性评估工具的变化)使我们得到了这些特征的一些迹象。例如，当前评估工具的选择通常取决于数据、时间和预算限制(Gasparatos和Scolobig 2012)。我们专注于农场层面基于综合指标的可持续性评估工具。综合方面很重要，因为它涉及到将可持续性概念(即生态、经济和社会)纳入决策的更广泛目标(Pope 2006)。指标方面意味着操作问题，例如指标是单独处理，还是作为平衡/加权集的一部分，还是结合成一个综合指数(Farrell和Hart, 1998年)。最后，农场层面涉及到使用农场层面的数据，农民作为目标群体，农场作为评估系统。我们对这一层面特别感兴趣，因为农民做出影响农场可持续性的战略和运营管理决策。

我们的目标是在农场层面确定基于指标的综合评估工具的关键特征，可以作为工具选择的标准。首先，探索性文献分析描述了可持续发展评估工具的变化，使相关案例的选择成为可能。然后，详细阐述了比较方法，得出了工具选择的关键特征。最后，基于这些特征，我们讨论了在单个农场层面上的两种基于指标的综合工具及其可能的互补用途。

可持续性评估工具的变化

一些文章对可持续性评估工具进行了回顾、元分析或分类(Halberg等人2005,de Ridder等人2007,Ness等人2007,Gasparatos等人2008,Binder等人2010,Gasparatos 2010, Gasparatos和Scolobig 2012, Singh等人2012)。Gasparatos(2010)将可持续性评估工具分为生物物理、货币或基于指标的工具家族。Binder等人(2010)专注于基于指标的农业可持续发展评估工具，根据空间层面，即农场/地区和利益相关者参与程度，将其区分为三种类型:(1)自上而下的农场评估方法，(2)自上而下的区域评估方法，有一定的利益相关者参与，(3)自下而上的跨学科方法，在整个过程中都有利益相关者参与。尽管这些分类工作大多揭示了与工具选择相关的因素，但没有一个关注决定农场层面基于指标的工具特性的具体选择。通过对农场层面工具的探索性文献综述，我们提出了四种工具(表1)，它们是最近出现的，是集成的，是同行评审发表的，并有一些实际实现。

为了阐明与工具选择相关的特性，文献提供了以下指示。可持续发展评估工具的出发点、目标和假设各不相同，例如，衡量什么是重要的，如何衡量，哪些可持续发展观点是相关的和合法的(Gasparatos 2010)。因为这些基本特征在不同的工具之间是不同的，所以工具的选择会影响评估的结果(Gasparatos 2010)。第一个重要特征是工具开发者的目标:尽管他们的总体目标是相似的，即在农场层面提供洞察，为农民的决策提供信息，但具体的目标可能不同(表1)。例如，评估公共产品的目标产生的工具将更多地关注与政策相关的问题，而衡量农场层面可持续发展进展的目标产生的工具将更多地关注与农场相关的问题。在工具开发过程中，工具开发人员的目标并不总是明确或不能总是实现(Triste et al. 2014)。此外，在实践中使用的工具可以提供不同的功能，而不考虑开发人员在开发过程中的目标(Langeveld等人，2007年，Schader等人，2014年):工具可以通过描述可持续性主题提供一个交流平台，即交流功能(De Mey等人，2011年);它可以促进思想和知识的交流，即学习功能(Terrier et al. 2010, De Mey et al. 2011, Gerrard et al. 2011)，并进一步诱导管理反应，即管理功能(Grenz et al. 2009);它可以履行法定控制或产品认证的监控义务(Wiek and Binder 2005, Grenz et al. 2009, Meul et al. 2012)，即监控和认证功能(Hülsbergen 2003, Rodrigues et al. 2010)。此外，工具中的方法步骤可能包含对可持续性的特定框架的显著偏差(Bond和Morrison-Saunders 2011年)。例如，当包含一个指标选择步骤时，最终用户可能会忽略不符合他们对可持续性的特定观点的指标(Hugé et al. 2013)。 As a result, these differences in aim, function, and methodological steps might result in varying sustainability aspects considered during the assessment (Table 1). Ideally, the decision to use a particular tool should be made on a scientifically underpinned basis considering these characteristics, resulting in a match between a certain tool or tool function and the end user’s aim (de Ridder et al. 2007). Nevertheless, at present, the tool choice is mainly based on data, time, and budgetary constraints instead of scientific support (de Ridder et al. 2007, Gasparatos and Scolobig 2012).

除了目标和可持续性方面的变化，表1还说明了数据、时间和预算限制方面的差异。“数据收集方法”包括农民的自我评估、与训练有素的顾问的面谈以及专家对农场的访问。数据来源从农民的知识、可用数据(如财务账目和种植记录)、需要农民额外努力收集数据的额外详细农场数据到专家信息不等。完成评估所需的时间从两到四个小时到几天或几个星期不等。这三个特征都影响到第四个特征，完成评估所需的预算。

方法

为了描述农场层面基于综合指标的评估工具之间的差异，我们进行了基于定性数据的比较案例研究。作为表1中文献综合的基础，我们选择了两种在“数据收集方法”、“数据来源”、“数据收集时间”和“预算”特征上有很大差异的工具:基于指标的综合农场可持续发展监测工具(MOTIFS)和公共产品工具(PGT)，它们都是为奶牛场设计的。我们结合了多个证据来源:深入的文献分析、涉众对实际工具使用的反馈，以及在相似的条件和背景下使用这两种工具获得的经验。为了进行比较案例研究(Yin 2009)，框架的构建对成功至关重要。我们选择了Binder等人(2010)的框架，但从文献和数据中提取的附加特征增强了它。

情况下

第一个案例是MOTIFS在31个佛兰德奶牛场的应用Melkveecafes(奶牛cafés)和欧盟(EU)内的Interreg项目。MOTIFS是一种可视化的多层次监测工具(Meul et al. 2008)，集成了经济、生态和社会维度。第1级概述了农场的整体可持续性(图1)。第2级概述了特定可持续性维度中的可持续性主题。第3级显示特定主题的指标得分。

其次，PGT应用于参与欧盟第7个框架计划SOLID项目的8个国家的7-14个有机或低投入奶牛和山羊农场。作者负责对该工具进行调整，并在弗兰德斯、荷兰和英国进行了评估。PGT，最初旨在评估英国有机农场提供的公共产品(表1;杰拉德等人，2012)，调整为更适用于欧盟范围内的奶牛场。由此产生的工具(图2)评估了单个农场的可持续性表现，而不仅仅是其公共产品的供应。

文献来源

使用了科学出版物和主流出版物。Mulier等人(2004)描述了MOTIFS工具设计的选项和开发监测农场层面可持续性的工具的(劣势)优势。Nevens等人(2008)使用参与式愿景过程为弗兰德斯的一种工具提供输入。Meul等人(2008)描述了佛兰德奶牛场MOTIFS的方法和实际开发。Meul等人(2009)、Campens等人(2010)和De Mey等人(2011)报告了MOTIFS的验证和实施步骤;而Marchand等人(2010)和Triste等人(2014)则报告了MOTIFS的学习和发展过程。Gerrard等人(2011)描述了PGT的发展、激励和活动。Gerrard等人(2012)报告了关于PGT的方法、发展和反馈。

涉众的反馈

我们收集了利益攸关方关于工具实际使用的反馈并已发表，但我们也广泛使用了访谈和问卷调查的数据。De Mey等人(2011)在MOTIFS实施的几个阶段对6名农业顾问和3名会计师进行了15次半结构化访谈。Marchand等人(2010)对农民进行了19次访谈，以描述MOTIFS在农民学习过程中的作用。Triste等人(2014)对实现该工具的工具开发人员和研究人员进行了12次采访，以揭示MOTIFS开发过程中的经验教训。Gerrard等人(2012)通过问卷调查，获得了12名农民对PGT使用情况的反馈。

额外的实践经验

为了进行更直接的比较，两位参与实施MOTIFS的研究人员Melkveecafes和dairy yman项目也在SOLID项目中使用了ptt。在当地会议、农民讨论会上，以及与农民、顾问、工具开发人员、实施工具的研究人员和科学界(即不使用工具的研究人员)的非正式对话中，对这两种工具的思考被系统地记录在笔记和报告中。

分析框架增加了额外的特征

我们依赖Binder等人(2010)的框架来构建数据。该框架分别分析了工具的规范性、系统性和程序性维度:(1)如何评估系统的可持续性?(2)系统是否被所使用的一组指标恰当地描述?(3)如何进行评估?为了丰富分析，我们在文献的基础上增加了特征，并经我们的数据证实。De Mey等人(2011)确定了实施综合可持续发展评估(ISA)工具的关键成功因素(CSFs)，我们选择了相关特征进行分析(表2)。CSFs“模型用户对可持续发展的态度”和“讨论会议的组织”与工具的类型无关，因此被排除在分析之外。数据中出现了另外两个特征，并已被文献证实:“输出精度”或结果的精确度(Schader et al. 2014)和“工具功能”(de Ridder et al. 2007)。这些特征的添加产生了一个增强的框架(表3)来执行比较分析。

三角测量

在数据收集和分析过程中，我们使用了各种三角测量类型，以确保客观性和提高有效性(Guion et al. 2002, Golafshani 2003, Koro-Ljungberg 2008)。首先，通过使用不同的来源或利益相关者(即农民、顾问、会计师、研究人员、工具开发人员等)来应用数据三角化。其次，使用多种方法来收集数据，即科学和流行的文章、采访和问卷调查、工具实施的经验、讨论笔记和报告，确保方法的三角化。此外，由于两名研究人员实现了这两种工具，进行了分析，并讨论了结果，因此实施了研究者三角测量。

结果

规范方面

MOTIFS的目标源自一份愿景声明，该愿景是在与各利益相关方的跨学科对话中制定的(表3)。布伦特兰可持续发展定义主要是从农民的角度解释的，从而产生了对可持续发展的清晰的规范性感知。工具开发人员将这一愿景的主要原则转化为10个具体主题，而指标则是与专家合作开发的。MOTIFS的开发者描述了该工具的不同目标和功能(Mulier et al. 2004, Meul et al. 2008, Triste et al. 2014)。最初的目标是开发一个具有监视和通信功能的工具(表1)。工具实现过程使工具开发人员认识到该工具的其他功能:学习和管理功能(Triste等人，2014年)。然而，每个功能都意味着该工具的特定用法。监测功能只适用于以准确数据为基础的定量指标。交流或学习功能建议在社会环境中使用工具，例如，在有顾问或专家出席的农民讨论小组中。最后，管理功能需要能够生成具体管理建议的工具。该功能不包括在MOTIFS中，但是熟悉农场的农场顾问可以使用该工具生成的信息提供管理支持。

PGT的产生源于政策制定者对提供粮食生产以外的“公共产品”的农场越来越感兴趣(Gerrard等人，2012年)。目标的设定是通过文献综述和利益相关者会议进行的，参与者包括研究人员、农业顾问和来自自然英格兰(一个行政的非部门公共机构)的代表。最初的工具进行了调整，以适用于整个欧洲，并给予奶牛场更多的关注。这导致了农场对可持续性的更广泛的审视，而不是只从社会的角度关注公共产品。根据ptgt的开发人员的说法，它不是一种政策工具，也不是提供可验证评估的工具，而是现在旨在刺激关于可持续性的辩论，让农民专注于学习而不是监测。此外，它可以用来说明一个地区内农场的多样性，它可以揭示需要注意的问题和农场表现好的领域。

系统性方面

这两种工具都没有使用简约性或充分性作为指标选择的显式标准，但它们是隐式存在的(表3)。例如，对于MOTIFS，简约性是间接重要的，因为工具开发人员避免在两个指标中表示相同的方面(Triste et al. 2014)。在目前的形式中，当相同的输入数据用于不同的指标时，该工具可以可视化指标之间的权衡。但是，指标之间的联系和权衡，即指标的相互作用，并没有纳入公式或聚合方法。因此，基于不同数据输入的指标之间的权衡并不总是可检测到的，尽管这是MOTIFS设计期间的一个目标(Mulier et al. 2004)。因此，在设计MOTIFS时隐含地考虑了系统表示，但还没有得到科学的保证。

在PGT中，对每个激励指标计算的数据需求(定性和定量)足以提供关于该激励的农场绩效(即充分性)的深入信息。最初，没有明确追求系统表示和指标交互。然而，当该工具扩大到包括其他农业方面，如创业和财务风险评估时，通过与所有项目伙伴的讨论，从质量上解决了系统代表性问题。

程序方面

准备阶段和指标选择

使用MOTIFS需要从农民、顾问和专家那里收集大量的数据。PGT是在个人基础上使用的，即农民顾问，并提前告知农民评估期间所需的数据。对于这两种工具，由于指标集是给定的，所以在这两种工具的实现中都没有指标选择阶段。

度量阶段

“数据收集的方法”、“数据源”、“数据收集的时间”和“预算”(表1)对csf的“兼容性”、“用户友好性”、“数据可用性”和“数据正确性”(表2)有影响，这些在度量阶段是主要重要的。在使用MOTIFS时，需要非常具体的数据或专家信息，这意味着需要大量的时间和金钱来收集必要的数据。此外，计算是一个耗时和复杂的过程，分布在不同的Excel文件中。这导致了相当低的用户友好性，使该工具不适合农民独立使用。此外，当农场会计系统收集的数据在讨论组内不一致时，就会出现兼容性问题。这造成了可比较数据的缺乏。然而，具体的数据和专家信息保证了数据的高水平正确性。尽管工具开发者和科学界强烈相信MOTIFS的数据正确性，但顾问们确实注意到，农民并不总是系统地或正确地收集他们的数据。这可能会导致准确性降低和农场之间各种指标的质量差异。另一方面，pggt是直接的，它使用来自农场账户、种植和牲畜记录的直接可用数据，以及农民对一些关键活动的知识。 As such, PGT can easily be used independently from existing accountancy systems. Some expert judgments, e.g., related to energy use or nutrient balances, are built into the underlying calculations, but experts are not required during the practical use of the tool. As a result, PGT scores high on “compatibility” and “data availability.” The “user-friendliness,” of PGT was also ranked high because results were immediately available from a single Excel file after an assessment of two to four hours. Nevertheless, the tool might compromise on “data correctness” because the farmer’s knowledge can be biased by the farmer’s perception. The experiences from the researchers implementing the PGT confirm the risk of rather low data correctness. However, a difference in the answer to one question does not create a high difference in the results at the spur level. Furthermore, because of the mainly qualitative interpretation and the tool’s learning function, this did not create as much of a problem as when a quantitative, rigorous assessment was being attempted.

评估阶段

评估阶段包括评分和聚合方法，已经在规范维度中提出。这些主要影响CSF的“透明度”。MOTIFS的具体数据需求在大多数情况下更加客观，确保了不同农场的可比性和制定基准的可能性。基准是直接根据指标的观察结果构建的，这在比较农场时是一个优势。然而，这可能导致透明度降低，例如，将绝对值转换为0-100刻度的相对值时。在PGT中，农场之间的比较必须谨慎执行，因为数据来自对农民的采访，参考了帐户，可能更主观。然而，PGT的“透明度”很高，因为问题的得分在1到5之间，每个答案的得分都可以在Excel文件中看到。

应用和后续

应用和后续工作与用户组使用评估结果的机会有关。因此，“输出的准确性”、“复杂性”、“沟通辅助”和“有效性”变得相关。MOTIFS的输出精度对监测功能非常重要，受到科学界的高度重视，因为许多指标都有科学依据和同行评议发表。MOTIFS结果允许农民将自己置于一个基准中，并为确定成功的农场管理实践提供了基础。然而，一些指标仍在“建设中”，因为它们尚未采用科学的方法进行设计。例如，复杂的社会问题难以监测。研究人员和农民有时会质疑PGT的输出准确性:例如，质疑3.5分是否优于3.2分，以及营养管理的3分是否实际上等同于农场业务弹性的3分。这些疑问也与定义分数的管理问题有关。管理的改变会改变分数，但不清楚这是否会对农场的可持续性产生重大影响。在与在SOLID项目中使用过该工具的农场顾问进行额外讨论时，评估了PGT评分的有效性和准确性。 The farm advisers were able to correlate the individual scores of each farm with their knowledge of the farm. They confirmed that the results are in line with their expectations. This gives more validity to the scores from PGT. Furthermore, they argued that the resulting PGT graphs are very alike within 2 groups of similar farms, which probably reflects results from similar farm management strategies within those groups.

考虑到CSF的“复杂性”，MOTIFS旨在通过多级监测方法来掌握可持续性的复杂性，其图形设计试图以一种简单的方式将其可视化。然而，顾问和农民认为这个工具相当复杂。在能够解释工具之前，他们首先需要对工具的复杂表示有一些熟悉。此外，权衡也很难确定。此外，农民表示，他们需要一名顾问的协助，以利用MOTIFS的结果改变他们的管理。因此，他们声称只有忠诚的农民才会使用这些工具。与此相反，顾问们强烈相信PGT的沟通方面。PGT的目标不是包括可持续性的全部复杂性，而是关注农场的可持续性和农场提供的公共产品。该工具的使用比MOTIFS工具更直接。pggt在讨论结束时绘制图表的能力得到了许多农民的肯定，即立即获得了“投资回报”。 The effectiveness of MOTIFS implementation depends on the desired function, presented in the normative dimension. According to advisers, the effectiveness of PGT for the learning function is high because meeting the farmer in person enables positive discussions. Farmers reported an increased level of knowledge and understanding of public goods and sustainability after taking part in the assessment. Moreover, farmers believed that advisers could provide an added value, compared to a mere web-based tool, by offering experience from other farms and farming systems and possible courses of action and interpretations.

讨论

比较分析清楚地显示了工具之间的差异。对于11个特征，我们观察到两个极端之间的连续统(图3)。我们提出了两个极端的工作定义:全面可持续性评估(FSA)和快速可持续性评估(RSA)工具。FSA工具使用详细的农场数据和/或专家信息，需要训练有素的顾问和/或专家访问来收集数据，而且持续时间相当长和昂贵。RSA工具代表了光谱的另一端。它们利用农民的知识或现成的数据，允许农民或顾问进行审计，而且持续时间相对较短。正如在结果在美国，这些关于数据、时间和预算的约束会影响其他特性，比如输出精度、数据正确性和可用性、用户友好性、兼容性、透明度和复杂性。

尽管有具体的案例，这些特征的差异使我们能够讨论这两种工具类型的优点和缺点，与最终用户的目标和工具在实践中的功能有关。更高的输出精度是FSA工具中特定和大数据需求的一个显著优势。此外，FSA工具可以在设计过程中考虑到可持续性概念的复杂性，其中保证了经过深思熟虑的系统表示。此外，通过使用基准，FSA可以成为比较不同农场的非常合适的工具。因此，基于专家信息和经过深思熟虑的系统表示的FSA工具非常适合监测农业系统的可持续性方面。当能够收集到足够数量的农场的准确数据时，比较不同的农业系统也是可能的。因此，FSA工具可能用于认证。例如，达到一定门槛的农场可以根据其可持续生产或产品获得认证。当顾问或专家对当地农业条件的了解补充了工具的使用时，管理功能可以得到加强(Meul等人，2012年)。通过在讨论组中使用该工具，FSA工具可以作为促进社会学习的交流工具(Marchand et al. 2010)。 However, because of the time-consuming, expensive data gathering and complex data processing, the user-friendliness of an FSA tool for a farmer or adviser is rather low. Results indicate that only highly motivated farmers will be reached with this approach. For the communication function, the time and cost investment inherent in using an FSA tool make it less attractive than other faster and cheaper alternatives.

RSA工具的优点是易于数据收集。这些工具既可以使用广泛可得的农业会计和管理数据，也可以仅依靠农民的知识，通过标题和简单的评分系统(例如，《措施2004》)组织农民和顾问之间关于可持续性的对话。RSA工具比FSA工具更友好，更简单，使用透明和可理解的指标。这些RSA工具的主要优点是提高人们的意识，让农民思考与可持续性相关的不同问题。较高的用户友好度似乎促使农民更愿意使用RSA工具。然而，这些优势也暗示着弱点。与FSA工具相比，一些容易访问的数据源固有的主观性导致其输出精度相当低。ptt的指标基于管理选项。主要问题是，这些做法是否足够好地代表了它们旨在衡量的可持续性影响。因此，该工具可用于监测此类管理实践，但农民或顾问可能对其监测可持续性的能力缺乏信任。 This lack of trust makes these tools less suitable for monitoring sustainability for, e.g., certification purposes.

不同种类和水平的可持续性评估研究得出的结论是，没有一种可持续性评估工具是“一刀切”的(de Ridder et al. 2007, Schader et al. 2014)。我们的研究在考虑农场层面的基于指标的工具时证实了这一说法。例如，MOTIFS旨在成为一种适合社会学习的交际监测工具(Meul et al. 2008, Marchand et al. 2010, De Mey et al. 2011)。这种多功能的目标产生的紧张关系反映在指标的选择上。监测的目标导致制定了具有高精度测量的指标。然而，为了适合学习的目的，指标需要是可理解的和透明的。例如，对于诸如描述社会问题的指标，将这些功能结合起来是一项有问题的任务。它们的复杂性无法通过容易理解和透明的计算来正确监测。因此，并非所有指标都能达到监测的高精度标准，这与农民和顾问的期望相反。另一方面，PGT的开发人员关注的是农民的学习方面，而不是监测方面。 This created transparent and communicative indicators with a more uniform quality level. When selecting a tool, we therefore suggest first choosing a clear and well-defined function: either monitoring or learning. Combining both functions within one tool has proved to be ineffective (Triste et al. 2014).

在FSA和RSA工具的各种实现过程中，我们注意到某些最终用户，主要是农民和顾问，希望根据项目的目标或参与农民的特征(即部门、可用数据等)来调整或选择指标。因此，最终用户应该能够根据项目的目标、特定于环境的需求和条件，或参与农场的特点，选择模块和/或指标。因此，工具的模块化对工具开发人员来说是一个挑战。此外，与更高级别的工具类似(Gasparatos 2010, Bond和Morrison-Saunders 2011)，最终用户应该意识到农场级别的工具是从特定的框架、愿景或价值观开始构建的，因此可能包含对特定框架或可持续性视角的显著偏差(Schader等人，2014)。

结论

我们发现，基于指标的综合可持续发展评估工具在农场层面存在多重差异。由于这些特征上的差异也可以作为工具选择的标准，我们进一步揭示了FSA和RSA工具可以共存，并具有互补的优点和缺点。RSA工具适用于更大的农民群体。它们更倾向于学习，并能激发农民对农场可持续性的兴趣。此外，这样的评估可以提高意识，揭示在农业可持续发展的特定问题或障碍。当农民对可持续性或某些特定方面感兴趣时，他们可以通过使用FSA工具专注于监测这些特定方面。这些农民必须更有动力，因为他们需要在监测过程中投入更多的时间和金钱。FSA可以通过在农民小组中讨论和比较他们的个人成果来支持他们继续学习。如果农场顾问增加农场特有的知识，就可以加强管理职能。早期的研究(Folke et al. 2003, Darnhofer 2010, Darnhofer et al. 2010)也表明，通过组合不同类型的信息源并在各种网络中共享这些信息，农民对可持续性的学习可以受益。 Therefore, future research should focus on the different types of information sources provided by complementary use of FSA and RSA tools. Research on modularity of tools can be a second focus for future research on ISA tools. For example, a clear methodology for using modular tools is a challenge because certain characteristics, e.g., system representation, must be ascertained to achieve sustainable farm development.

文献引用

宾德，c.r, G.费奥拉，J. K.斯坦伯格，2010。考虑基于指标的农业可持续性评估的规范性、系统性和程序性方面。环境影响评估检讨30:71 - 81。http://dx.doi.org/10.1016/j.eiar.2009.06.002

邦德，A. J.和A.莫里森-桑德斯。2011.重新评估可持续性评估:将愿景与实践相一致。环境影响评估检讨31:1-7。http://dx.doi.org/10.1016/j.eiar.2010.01.007

坎彭斯，V.， K. De Mey, J. D 'hooghe和F. Marchand. 2010。Melkveecafé: Samen grenzen verleggen。农业和渔业研究所(ILVO)第74号出版物。ILVO Merelbeke,比利时。

Darnhofer, i . 2010。家庭农场加强抵御能力的战略。环境政策及管治20:212 - 222。http://dx.doi.org/10.1002/eet.547

Darnhofer, S. Bellon, B. Dedieu和R. milestone . 2010。增强农业系统可持续性的适应性。复习一下。农学促进可持续发展30:545 - 555。http://dx.doi.org/10.1051/agro/2009053

De Mey, K. D 'Haene, F. Marchand, M. Meul和L. Lauwers. 2011。通过利益攸关方参与实施MOTIFS学习:佛兰德斯可持续农业的综合评估模型。国际农业可持续发展杂志9:350 - 363。

de Ridder, W.， J. Turnpenny, M. Nilsson和A. von Raggamby. 2007。可持续发展综合评估中工具选择和使用的框架。环境评估、政策与管理杂志9:423 - 441。http://dx.doi.org/10.1142/S1464333207002883

法雷尔和M.哈特，1998。可持续性到底意味着什么?寻找有用的指标。环境:可持续发展的科学和政策40:4-31。http://dx.doi.org/10.1080/00139159809605096

C. Folke, J. Colding, F. Berkes. 2003。综合:建设社会生态系统的恢复力和适应能力。352 - 387页在F.伯克斯，J.科尔丁，C.福尔克，编辑。在生态系统。建立对复杂性和变化的适应能力。剑桥大学出版社，英国剑桥。http://dx.doi.org/10.1017/CBO9780511541957.020

Gasparatos, a . 2010。可持续发展评估工具中的嵌入价值体系及其影响。环境管理杂志91:1613 - 1622。http://dx.doi.org/10.1016/j.jenvman.2010.03.014

加斯帕拉托斯，M. El-Haram和M. Horner, 2008。对评估可持续性进展的简化论方法的批判性审查。环境影响评估检讨28:286 - 311。http://dx.doi.org/10.1016/j.eiar.2007.09.002

Gasparatos, A.和A. Scolobig. 2012。选择最合适的可持续发展评估工具。生态经济学80:1-7。http://dx.doi.org/10.1016/j.ecolecon.2012.05.005

杰拉德，c.l.， l.g.史密斯，S.帕德尔，B.皮尔斯，R.希钦斯，M. Measures和N.库珀。2011。OCIS公共品工具开发．有机研究中心报告。有机研究中心，伯克郡，英国。

杰拉德，C.， L.史密斯，B.皮尔斯，S.帕德尔，R.希钦斯，M. Measures和N.库珀。2012。公共产品和农业。页22页在e . Lichtfouse编辑器。农业促进粮食和水安全。可持续农业评论第10卷。施普林格，Dordrecht，荷兰。http://dx.doi.org/10.1007/978-94-007-4500-1_1

Golafshani: 2003。理解质性研究的信度和效度。定性的报告8:597 - 607。

格伦茨，J.， C.塔尔曼，A. Stämpfli, C.斯图德，F. Häni。2009.RISE -在农场层面评估农业生产可持续性的方法。农村发展的新闻1(2009): 5 - 6。

圭恩，L。d。c。迪尔和d。麦克唐纳。2002.三角测量:建立定性研究的有效性。没有出版。FCS6014。美国佛罗里达州盖恩斯维尔市佛罗里达大学食品和农业科学研究所。(在线)网址:http://edis.ifas.ufl.edu/fy394

Halberg, N. H. M. G. van der Werf, C. baskit - men, R. Dalgaard和I. J. M. de Boer. 2005。用于评价和改进欧洲畜牧生产系统的环境评估工具。畜牧生产科学96:33-50。http://dx.doi.org/10.1016/j.livprodsci.2005.05.013

Hugé， J.， T. Waas, F. Dahdouh-Guebas, N. Koedam，和T. Block. 2013。可持续发展评价的话语分析视角:在实践中解读可持续发展。可持续性科学198年8:187�。http://dx.doi.org/10.1007/s11625-012-0184-2

王永平，2003。恩特威克隆和安文东eines bilanzierungsmodels zur Bewertung der Nachhaltigkeit landwirtschaftlicher系统。德国亚琛的Shaker Verlag。

Koro-Ljungberg m . 2008。质性研究背景下的有效性和验证。定性的健康研究18:983 - 989。http://dx.doi.org/10.1177/1049732308318039

兰格维尔德，j.w. A, A.费尔哈根，J. J.尼特森，H. van Keulen, J. G. Conijn, R. L. M，席尔斯和J. Oenema. 2007。利用农业环境指标评价农场绩效:荷兰氮管理的近期经验。环境管理杂志82:363 - 376。http://dx.doi.org/10.1016/j.jenvman.2005.11.021

Marchand, F.， K. De Mey, L. Debruyne, K. D 'Haene, M. Meul和L. Lauwers. 2010。从个人行为到社会学习:开始一个可持续农业的参与过程。670 - 682页在I.达恩霍夫和M. Grötzer，编辑。第九届欧洲国际农业系统协会(IFSA)研讨会论文集:建设可持续的农村未来(2010年7月4日至7日，奥地利维也纳)。国际食品协会欧洲集团，奥地利维也纳。

措施,m . 2004。农场可持续性审计。页面的观众在a·霍普金斯,编辑器。有机农业:有利可图的家畜和作物的科学与实践．英国草原协会，雷丁，英国。

Meul, M.， F. Nevens和D. Reheul. 2009。验证可持续性指标:关注佛兰德奶牛场的生态方面。生态指标9:284 - 295。http://dx.doi.org/10.1016/j.ecolind.2008.05.007

Meul, M.， S. Van Passel, D. Fremaut, G. Haesaert. 2012。集约放牧比零放牧的奶牛系统具有更高的可持续性。农学促进可持续发展32:629 - 638。http://dx.doi.org/10.1007/s13593-011-0074-5

M. Meul, S. Van Passel, F. Nevens, J. Dessein, E. Rogge, A. Mulier和A. Van Hauwermeiren. 2008。MOTIFS:综合农场可持续发展的监测工具。农学促进可持续发展28:321 - 332。http://dx.doi.org/10.1051/agro:2008001

缪利埃，F. Nevens, D. Reheul和E. Mathijs. 2004。我的家乡，我的家乡，我的家乡，我的家乡。Stedula第九版。Steunpunt Duurzame Landbouw (Stedula)，贡特罗德，比利时。

Ness, B.， E. Urbel-Piirsalu, S. Anderberg和L. Olsson. 2007。对可持续性评估工具进行分类。生态经济学60:498 - 508。http://dx.doi.org/10.1016/j.ecolecon.2006.07.023

Nevens F. J. Dessein, M. Meul, E. Rogge, I. Verbruggen, A. Mulier, S. Van Passel, J. lep奥特和M. Hongenaert. 2008。“在明天的基础上”，2030年佛兰德农业:参与式将可持续性原则转化为未来愿景的案例。清洁生产杂志16:1062 - 1070。http://dx.doi.org/10.1016/j.jclepro.2007.06.007

经济合作与发展组织(经合发组织)。1999.农业环境指标。问题和设计．经合组织,巴黎,法国。

教皇,j . 2006。编辑:可持续性评估有什么特别之处?环境评估、政策与管理杂志8: v x。http://dx.doi.org/10.1142/S1464333206002505

蒲柏，J.， D. Annandale和A. Morrison-Saunders。2004.即可形成可持续性评估。环境影响评估检讨24:595 - 616。http://dx.doi.org/10.1016/j.eiar.2004.03.001

罗德里格斯，g.s.， i.a.罗德里格斯，C. C. de Almeida Buschinelli, I. de Barros. 2010。农村活动环境管理的综合农场可持续性评估。环境影响评估检讨30:229 - 239。http://dx.doi.org/10.1016/j.eiar.2009.10.002

Schader, C.， J. Grenz, M. S. Meier和M. Stolze. 2014。粮食系统可持续性评估方法的范围和准确性。生态和社会19(3): 42。http://dx.doi.org/10.5751/ES-06866-190342

辛格，R. K, H. R.穆尔蒂，S. K.古普塔，A. K.迪克什特。2012。可持续发展评估方法综述。生态指标15:281 - 299。http://dx.doi.org/10.1016/j.ecolind.2011.01.007

梗，M.， P. Gasselin和J. Le Blanc, 2010。评估支持农户项目的活动系统的可持续性。812 - 822页在I.达恩霍夫和M. Grötzer，编辑。第九届欧洲国际农业系统协会(IFSA)研讨会论文集:建设可持续的农村未来(2010年7月4日至7日，奥地利维也纳)。国际食品协会欧洲集团，奥地利维也纳。

特里斯特，L.， F. Marchand, L. Debruyne, M. Meul和L. Lauwers. 2014。可持续发展评估工具开发过程的反思:借鉴佛兰德案例。生态和社会19(3): 47。http://dx.doi.org/10.5751/ES-06789-190347

维克，A.和C.宾德，2005。决策的解决方案空间——城市区域的可持续性评估工具。环境影响评估检讨25:589 - 608。http://dx.doi.org/10.1016/j.eiar.2004.09.009

阴,r . 2009。案例研究的研究。设计和方法。第四版。Sage，千橡，加利福尼亚州，美国。

Zahm, F.， P. Viaux, L. Vilain, P. Girardin和C. Mouchet. 2008。用IDEA方法评估农场的可持续性——从农业可持续性的概念到农场的案例研究。可持续发展16:271 - 281。http://dx.doi.org/10.1002/sd.380