研究

协同治理:管理环境管理中科学、行政和战略不确定性的工具?

• 摘要
• 简介
• 文献综述
  • 不确定性nonknowledge
  • 合作治理
• 案例描述与方法
• 结果
  • 审查再许可过程中不确定性的性质
  • 合作如何帮助不同的不确定性
  • 不确定性对合作的影响
• 讨论
• 对本文的回应
• 致谢
• 文献引用

介绍

这都是不确定性。这是所有风险。(水务公司代表谈管理水电项目的挑战)

不确定性，即“个人或群体感知到的与所采取的目标或行动相关的知识的缺乏”(Abbott 2005:238，另见Sigel et al. 2010)，是环境决策的一个基本特征和挑战。社会环境系统是动态的，需要在社会和环境领域内部及之间进行非线性和复杂的相互作用(Liu et al. 2007一个， Dudney et al. 2018, Pulver et al. 2018)。管理者面临着许多未知的环境和社会参数，包括环境问题的原因或后果的不完全信息，以及公众或机构价值观将随时间变化的方式(Newig et al. 2005, Liu et al. 2007)b)．然而，许多环境学者倾向于将这些不确定性单独定义为风险管理问题:“决策者(或分析师)不太可能知道全球系统未来所有可能的状态，或这些状态的概率。没有这些知识，就不可能定义结果的条件概率”(Polasky et al. 2011:400)。在这个框架中，不确定性决定了政策的结果，解决不确定性需要收集更多的信息来减少不确定性和/或使用情景来设想一系列可能的结果(Brugnach等人2008,Raadgever等人2011,Stelzenmüller等人2015)。

然而，这种所谓的科学或实质性的不确定性只是与决策相关的不确定性的一个方面。例如，环境规划和管理过程往往需要与许多不同的利益相关方进行接触;预测他们的价值观以及个人之间的关系会使管理过程复杂化(Koppenjan和Klijn 2004年，Abbott 2005年，Bijlsma等人2011年，Zandvoort等人2019年)。此外，随机的、真正不可预测的不确定性，如政府的意外变化、大规模的环境干扰或战争，可以极大地影响决策发生的背景(Abbott 2005, Balint et al. 2011)，并揭示一系列新的未回答的问题(Gross and Bleicher 2013)。这些不确定性会影响决策的质量和结果。不确定性导致人们做出非理性的决定(Kahneman和Tversky 2000)，并鼓励自私的行为(Barrett和Dannenberg 2014)。此外，个体感知风险和不确定性的方式不同，这可能导致沟通错误，价值排序不充分，环境问题处理无效(Douglas and Wildavsky 1982, Lukacs et al. 2017)。然而，不确定性并不总是不利于决策制定，因为它们为管理者提供了学习和创新的机会(Gross and Bleicher 2013, Roberts 2013)。

学者们经常提到协作治理，即在多个组织之间共享决策权的治理安排，作为管理不确定性的工具(Koppenjan和Klijn 2004年，Balint等人2011年，Bijlsma等人2011年，Raadgever等人2011年，Duncan 2013年，Hutter 2016年，Kirschke和Newig 2017年)。跨组织的协作使管理人员能够将不同类型的知识整合到一个过程中，并了解涉众可能如何响应一个政策决策(Newig et al. 2005)。例如，通过参与式或协作建模方法，利益相关者可以通过相互竞争的价值结构进行工作，并公开评估系统中存在的环境和社会未知类型(Cravens 2016, Ulibarri 2018)一个)．此外，包容、审慎的过程有助于建立解决问题的能力，并降低处理模糊、复杂的环境和关系所需的交易成本(Feldman和Khademian, 2008, Gerlak等人，2012)。由于这些原因，当公共组织的问题设置变得更加不确定和“邪恶”时，他们通常会转向更协作的方法(Lach et al. 2005, Hutter 2016)。事实上，不确定性被认为是协作治理的必要驱动力，因为个体寻求一起工作来分担风险(Emerson和Nabatchi 2015)。

然而，协作并不总是管理不确定性的有效工具。这可能会增加短期内的不确定性，因为“主管当局非常清楚的问题可能会被公众参与者重新定义”，使其不那么直接(Newig et al. 2005:341)。利益相关者可能对哪些信息是确定的或不确定的有不同的观点(Zandvoort等人，2019年)。此外，与不同的利益相关者群体一起产生想法的过程会增加对可能结果的不确定性(Abbott 2005)。这些复杂性表明，合作和不确定性之间的相互作用可能比通常认为的更微妙。

我试图澄清环境挑战管理中的不确定性与协作之间的相互作用，特别是加利福尼亚水电站的许可案例。我首先调查了在协作过程中产生的不确定性的类型，并描述了它们对决策的挑战。然后，我将探讨不确定性和协作如何相互作用，问:(1)协作如何减轻和/或放大不确定性;(2)不确定性如何支持或阻碍协作过程。最后，我将对协同环境治理的设计和实践提出建议。

文献综述

不确定性nonknowledge

不确定性^[1]是一个具有挑战性的术语;它是跨越众多学科的研究课题，因此缺乏共同的统一特征(Smithson 2008)。的牛津英语词典将不确定性定义为“在持续、延续、发生等方面不确定的性质;不确定的，不清楚的:不确定的或不完全清楚的状态;doubtfulness或含糊不清。”因此，最基本的不确定性就是对某一主题缺乏了解(Abbott 2005)。

然而，文献指出，这种知识的缺失可能有不同的性质和来源。首先，未知的内容可能会有所不同。在环境治理工作中，一种经常被考虑的不确定性类型是科学的，也被称为实质性或因果性不确定性，“缺乏对政策问题的实质知识，例如土壤性质和植被之间的关系，市场价格的波动，或土地使用对地下水的影响”(Bijlsma等人，2011年，也见Tickner 1999年，Koppenjan和Klijn 2004年，Abbott 2005年，Balint等人，2011年)。很多注意力都集中在减少科学的不确定性，试图更好地建模或预测系统中相关组成部分之间的关系:如果我们增加了河流流量，这是否会增加鲑鱼的栖息地?对决定决策者可以做什么的规章制度也可能缺乏知识，这被称为行政或制度不确定性(Koppenjan和Klijn 2004, Balint等人2011)。管理和规划方面的学者也注意到，参与其中的人可能是不可预测的，导致在预测其他个人知道什么、将要求什么或他们将如何反应时产生“战略”或“人与组织的不确定性”(Koppenjan and Klijn 2004, Abbott 2005)。最后，还有真正不可知和不可预测的不确定性，这些随机或偶然事件可以极大地改变决策发生的环境(Abbott 2005, Balint et al. 2011)。

根据收集更多的信息是否有助于解决不确定性，可以进一步评估每一种不确定性。在“认识论”的不确定性中，包括许多科学、战略和制度不确定性的实例，存在着关于系统的关键知识缺口。例如，很难估计地下水的确切分布和数量或哮喘的原因，但通过收集更多的信息，这些知识差距可以缩小。在“本体论”的不确定性中，系统本质上是不可预测的，收集更多的信息也不会有帮助(Walker et al. 2003, Brugnach et al. 2008)。例如，即使使用最好的模型，预测河口海平面上升的幅度也存在固有的未知因素。

最后，对于每种类型的不确定性，个体可能意识到也可能没有意识到他或她缺乏对某个主题的知识(Böschen et al. 2010)。如果个体意识到这种不确定性，它就变成了“不知道”，个体可以选择在决策中解释这种不知道，也可以选择忽略它。相反，完全缺乏知识，即“未知的未知”，根据定义不能被感知，被称为“无知”。重要的是，未知的未知可以变成已知的;对受影响的人来说，这将是一个惊喜，但它使他们意识到有一组新的信息，他们不知道(Gross 2010, Gross和Bleicher 2013)。

值得注意的是，知识的缺乏不同于对现有知识的无知(Roberts 2013)。人们可能没有意识到他们拥有知识，例如，嵌入在行为或群体中的规范，或者人们可能积极地压制某些类型的知识，例如，通过保持秘密或禁忌(Smithson 2008, Roberts 2013)。我关注的是个人解决知识缺失的方式，即已知或未知的未知，而不是有意或无意识地埋葬现有知识。

合作治理

协作治理是“一个或多个公共机构直接与非国家利益相关者在一个正式的、以共识为导向的、审慎的集体决策过程中进行的治理安排，目的是制定或实施公共政策或管理公共项目或资产”(Ansell and Gash 2008:544)。根据协作治理机制框架(Emerson和Nabatchi 2015)，该框架是基于对协作文献最全面的综述之一，协作治理由三个相互作用的元素或“动态”组成，它们共同产生世界的变化，包括学习和管理能力等近期产出，以及对环境的长期影响。第一个是“有原则的接触”，是参与者相互接触的过程，具体来说是利用审议和基于利益的谈判来共同作出决定。第二个是“共同动机”，是个体参与者对彼此和整个过程的情感立场，也就是说，他们是否信任其他参与者，是否觉得自己的利益受到团队的尊重，是否认为协作过程是合法的。第三个是“联合行动的能力”，涉及支持参与所需的结构和资源，包括促进、领导和科学信息(Emerson和Nabatchi 2015年)。这三种动力构成了协作的关键。

案例描述与方法

我通过对加州水电站许可过程的民族志研究，探讨了不确定性和协作之间的相互关系。管理水力发电是一个典型的邪恶问题(Rittel and Webber 1973):它需要平衡发电与其他社会产品，如供水、娱乐活动、水质和水生栖息地，而围绕水力发电对这些资源的影响的科学是不确定的。决定是否发电，何时发电，以及在多大程度上进行资源管理的竞争和同样合理的观点。

美国所有的水电大坝都由联邦能源管理委员会(FERC)监管，该委员会向项目运营商发放30至50年的许可证。大多数大坝都是在20世纪中期建造的，因此，由于原有的许可证即将到期，项目所有者必须向FERC和其他环境监管机构申请重新认证。这个“再许可”过程大约需要5到10年，目的是使项目符合公众对环境保护价值不断变化的期望，并符合《清洁水法》和《濒危物种法》等环境法规。重新获得许可需要(1)确定受大坝影响的潜在资源的范围过程，(2)进行研究以量化这些影响，以及(3)制定许可证申请，提出将减轻负面影响的运营要求和/或管理措施。在公用事业公司提交申请后，它将经历各种审查，以确保符合联邦保护(Ulibarri 2018b)．根据FERC的规定，水电公用事业公司被要求召开几次公开会议:启动范围确定过程，分享他们提出的研究计划，并分享研究结果。然而，一些公用事业公司，比如我研究的公司，选择了高度协作的方法，在许可证开发的每个阶段与政府机构、非政府组织(ngo)和其他相关方密切合作(Ulibarri 2015)一个，b)．FERC不直接参与程序，也不出席会议;相反，它充当由公用事业或利益相关者群体做出的决定或产生的问题的外部调解者和法官。

研究的案例是加利福尼亚州中央谷正在进行的水力发电再许可过程。自2009年开始重新颁发许可证以来，这家当地公共水务机构已经召开了400多次利益相关方会议。这些会议是由一家工程咨询公司召集的，该公司负责管理加州大部分水力发电许可程序;会议本身由第三方推动者运行。参加这些会议的利益攸关方相当多样化，包括联邦资源机构，如美国林务局(USFS);州资源机构，如加州鱼类和野生动物部(CDFW);以及环保和娱乐非营利性组织，例如，钓鱼非政府组织塞拉俱乐部。这一进程的目标是合作决策，以审慎的、以协商一致意见为基础的方法作为谈判的目标。

我使用了民族志、单一案例的方法，借鉴了会议观察和利益相关者访谈，这是一种有用的方法，可以生成构建理论的见解(Yin 2009)。从2012年到2016年，我参加了71次利益相关者会议，总计超过300小时。当我开始观察时，再许可小组已经确定了它的技术研究清单，因此这个时间框架记录了它如何进行研究、解释结果和协商拟议的操作需求。在现场观察决策过程可以实时记录与会者的情况、他们讨论了什么、他们如何参与材料以及如何与他人交流、团队如何克服冲突、分歧和不确定性;现场记录包含了这些和许多其他主题。

2016年春，我对涉及再许可的所有关键机构的代表进行了26次采访，包括水电公用事业;咨询公司;联邦机构，例如USFS和国家海洋渔业服务(NMFS);国家机构，如CDFW和国家水资源管理委员会;非政府组织;以及过程促进者。这26人是最经常参加会议的人，还有一些人的组织在重新发牌中发挥了重要作用，但选择不参加会议。访谈是半结构化的，有关于受访者如何参与过程的提示，特别关注技术研究的发展和实施;他们和谁以及为什么合作;关于他们所面临的任何挑战，关于与其他参与者的互动和做出他们需要做的决定，这个问题引出了许多关于合作和不确定性的答案; and on anything they would change if they could go through the process again. The interview protocol did not explicitly cover uncertainty. As many interviewees had participated in numerous other relicensings, I also asked each individual to compare his or her experience in this relicensing process to any others the individual had been engaged in, to contrast collaboration and decision making in this case with the broader norms of joint decision making and water management.

现场记录和访谈记录使用改进的扎根理论方法进行分析(Corbin和Strauss 2008)。第一轮代码确定了不确定性的实例，我将其大致定义为任何涉众不知道他们需要做出决策的事情的时候。然后，我迭代地改进这些代码，以开发出一种不确定性的类型学，它反映了之前回顾的文献，但不受其影响。为了探索是否以及如何使用协作方法来管理每个不确定性，我重新查看了现场笔记和采访，以评估每个不确定性产生的背景，以及利益相关者采取了什么行动，单独或作为一个团体，来解决或克服每个不确定性。

结果

审查再许可过程中不确定性的性质

在重新获得许可约3年后，该公司对一个导流坝进行了一些例行监测工作，发现水库正在被泥沙填满。这令人意外，引发了人们对大坝完整性的担忧，以及该公司向水力发电设施引水的能力。在随后的利益相关者会议上，该公司提出了一个想法，即测试它是否可以在暴雨期间通过一个低水平的出口冲走沉积物。环境组织，尤其是美国海洋和自然资源管理局，喜欢这个想法，因为它会向河流中引入更多的沉积物，这将有利于鱼类的栖息地和河岸植被。从供水、发电和环境的角度来看，这是一个双赢的解决方案。

第一步是弄清楚这个想法是否可行。该公司从未使用过这个出口，因此不知道它能通过多少水:“工程设计说闸门每秒能通过800立方英尺(立方英尺)，但那里有很多沉淀物……可能流量更实际的是100立方英尺(工程顾问代表该公司发言)。”为了弄清它能通过多少水，从而估计它能调动多少泥沙，该公司需要(1)挖掘大坝后面的泥沙，(2)测试闸门，看看它下面能流过多少水。然而，由于众多相互作用的不确定性，这个看似简单的任务花了将近2年的时间才完成。

该公司首先需要确认并获得挖掘沉积物的许可。该公司具体需要哪些许可证，何时能获得许可证，目前尚不清楚。例如，大坝部分位于USFS的土地上，但不清楚USFS是否需要联邦政府的批准才能进行建设。此外，对于是否需要获得州政府(CDFW)的许可也存在分歧，因为该活动可能是在运营该项目的总体豁免下被允许的，如果是的话，疏浚和闸门测试是否需要单独的许可。在确定每个许可证都是必需的之后，该组织就不知道许可证何时会颁发。在许可证悬而未决的几个月里，几乎每次会议上都要简短地讨论许可证问题。其次，一旦获得许可证，该公司需要一段时间不下雨，并提前几天通知流量将会减少，以便动员人员和设备，在大坝后面挖掘。第三，一旦沉积物被挖掘出来，该公司需要一套额外的许可证和多日的暴雨来进行测试流量。由于这发生在一个严重的、多年的干旱期间，暴雨的时间是非常不可预测的，也就是说，几天或几年之后。最后，在整个过程中，该小组需要估计何时能从我的研究中获得所需的信息，以便继续提出管理建议，这与再许可的其他领域相关，并希望它及时赶上FERC设置的监管截止日期。

由于一个不可预测的外部变化，整个过程变得更加复杂。沉积物问题被发现三个月后，联邦政府17年来首次关闭。USFS和美国鱼类和野生动物管理局不能再参加会议，美国陆军工兵部队不能处理许可证申请，FERC也无法就如何管理悬而未决的沉积物问题或何时做出最终决定提供指导。尽管非联邦利益相关方继续开会，但该集团无法知道政府关门何时结束，整个集团的决策何时才能恢复。

这个例子说明了一个相当简单的科学不确定性，例如，有多少水会通过出口，变成了一个更复杂的问题，因为每个决定都突出了需要回答的额外的未知。事实上，该小组花了3年多的时间才“回答”了最初的问题，即有多少泥沙会通过闸门，而从纯技术的角度来看，如果天气条件良好，这个问题本可以在一个月内解决。尽管这只是一个单独的例子，但它概括了我参加的大多数会议的核心特征——层叠的、复杂的不确定性。

在整个再许可过程中，出现了许多不同类型和性质的不确定性。整个沉积物事件始于一个意外，一个未知的未知被发现(Gross and Bleicher 2013)，随之而来的是人们意识到许多需要解决的新问题。其中一些开放的问题，比如出口会通过多少沉积物，是认识论上的不确定性:它们有一个已知的可能结果范围，通过收集更多的信息，研究小组可以缩小这个范围。还有一些则是本体论的，比如何时会下雨:研究小组知道自己存在知识鸿沟，但无法通过收集新信息来解决这一鸿沟。此外，这些不确定性相互影响，相互影响，例如，如果没有获得施工许可证，预报下雨就没有任何意义。

合作如何帮助不同的不确定性

面对再许可过程中影响深远和相互影响的不确定性，以及FERC的法定期限，再许可的利益相关者必须找到在不确定性面前保持决策过程向前推进的方法。召集实用程序致力于一种协作的方法，因此它每个月举行多次涉众会议，并根据来自不同的涉众集合的输入做出大多数决定，包括关于如何解决不确定性的决定。然而，合作在如何有效地解决涉众所面临的不同类型的不确定性方面存在差异。

协作收集信息

从实质性的角度来看，合作使原本不会沟通或沟通效率不高的行为体之间能够交换信息(Newig et al. 2010, Berardo 2014, Steelman et al. 2014)。在这个框架下，聚集存在于利益相关者网络某处的信息应该有助于解决或至少管理不确定性。为了解决重新授权过程中许多认识论上的不确定性，需要收集更多的信息，合作是一个恰当的解决办法。例如，当试图确定一项特定活动需要什么许可证时，涉众将详细讨论该活动的要求(例如，您将使用哪条通路?你们是否有CDFW的代表在场，帮助处理鱼类?)，以确定将触发什么法规，因此需要什么许可证。有时，在场的利益相关方具有最终确定需要哪些许可的专业知识;如果没有，利益攸关方将要求他们的网络，例如他们组织内的法律专家或他们从其他再许可中认识的人，具体说明需要什么保护。由于是协作过程，因此当领导机构参与过程时，决定需要哪些许可证是相当直接的。相比之下，要获得不在场的机构所要求的许可证的指导就困难得多，例如美国陆军工兵部队和国家农业和农业事务部。

然而，解决不确定性有时需要的不仅仅是简单地聚合网络中存在的信息，因为并不是所有的群体成员一开始都愿意分享他们所知道的一切，或接受其他人所说的表面价值。一位受访者描述了这个群体停止隐瞒信息、相信彼此陈述的缓慢对话过程:

我只是在学习认识到，大多数(当有人说他们不能做某事的时候)都是空话，如果我们坐在谈判桌前，我们不断地交谈，最终这些理解会达成……坐在谈判桌前，错误的信息、虚假的信息、隔离的信息，当信息通过合作变得可行时，这个过程中发生的所有事情都变得毫无意义．

对于其他几位受访者来说，当他们将这次再授权与他们曾经参加过的其他再授权进行比较时，他们就发现了信任其他参与者的话的重要性。例如，一位受访者表示，在许多其他的再许可中，公用事业公司喜欢与利益相关者玩“隐藏球”，故意对利益相关者不坦诚。

协作治理文献表明，协作可以在利益相关者之间建立信任，这样人们更愿意交换和/或接收信息(Koppenjan和Klijn 2004年，Feiock等人2010年，Emerson和Nabatchi 2015年，Ulibarri 2018年一个)．正如爱默生和纳巴奇(2015:66)所报告的，信任的发展“随着时间的推移，各方一起工作，相互了解，并向对方证明他们可以是合理的、可预测的和可靠的。”在这种情况下，合作似乎起到了这个作用。通过坐在桌前彼此交谈，参与者能够超越其他参与者故意歪曲或隐瞒信息的假设，并从表面价值上接受共享的信息。与此同时，它帮助个人更愿意充分分享他们的兴趣和知识。这意味着认识论的不确定性的产生是由于真正缺乏知识，而不是通过保密故意构建不确定性(Smithson 2008)。

协作筛选内部和外部的未知因素

在再许可过程中出现的其他一些不确定性涉及未知的外部参数，如何时会下雨，FERC何时会对一个悬而未决的问题作出决定，或附近的再许可是否会进入研究争议，这些参数在房间里没有人知道，在某些情况下，除了雨神，没有人知道。对于这些本体论的不确定性，收集更多的信息并不能解决它们。从集体行动的角度来看，这些不确定性应该更难通过合作来解决，因为它们涉及到核心参与者群体外部的未知因素(York and Schoon 2011)。然而，利益相关者仍然转向合作的方法来解决这些更无法解决的不确定性。

首先，在小组协调人的指导下，一个“过程团队”定期开会(每2到3个月)，以确定会议时间表和议程。这个过程团队有一名来自公用事业公司的代表、咨询团队、所有主要参与的政府机构和一名来自参与的非营利组织联盟的协调员。在会议上，该小组将评估目前谈判的状况，并重新确定它认为前进的最佳方向。过程团队会议是涉众筛选不确定因素并确保没有遗漏任何东西的关键工具，即使没有正确的信息或人员可以立即做出决定。流程团队会议也是与其他再许可流程进行分类的第一个切入点。

其次，在全体利益相关者会议上，小组成员讨论了不确定性并明确地讨论了他们的过程。当有一个悬而未决的许可证或不可预测的天气模式时，小组成员讨论它并制定一个计划，以便他们准备在条件合适时立即采取行动。例如，为了处理一项因下雨而推迟的研究，一位参与者建议说:“我认为试着让它继续进行，这样每当下雨时(研究)就可以继续进行。”我们能把它列入议事日程吗?特别是追踪泥沙运动的方法?”小组成员希望提前决定研究的设计、方法和负责人员，以便在身体条件成熟时就可以准备好。

在这两种方法中，让不同的人在房间里相互交谈有助于协作。与所有涉众公开讨论不确定性创造了一个环境，使更深思熟虑和有效地处理不确定性成为可能。有了不同的团队，涉众可以迅速识别不确定性，并考虑许多不同的方法来解决它们。此外，该小组拥有行政管理、生物学和水文学方面的专业知识，能够更细致地理解每个不确定性的更广泛的影响。由于持续的干旱使河水温度过高，一系列的鱼类调查没有发现任何鱼，房间里的生物学家很快就能思考低数量意味着什么，从而推断出河流的健康状况，以及他们可以使用什么其他方法。

合作增加了短期内的不确定性

尽管协作帮助涉众向前推进并在不确定性中工作，但重要的是要注意到，协作有时会在短期内增加不确定性。当研究小组发现一个新的知识缺口时，比如沉积或鱼类调查未能捕获到鱼，这就增加了感知的不确定性。当利益相关者讨论每一个新的不确定性时，他们会提出问题，例如，我们认为FERC将如何对这个新信息作出反应，或者我们有什么选择来解决这个问题?因此，每个问题都会产生一个或多个新的不确定因素，利益相关者要么要回答这些问题，要么要围绕这些不确定因素进行管理。如果会议室里没有不同的利益相关者，即没有合作，可以想象，其中一些问题永远不会被提出。换句话说，合作让整个团队都能看到未知的未知。

不确定性对合作的影响

许多受访者认为，不确定性有助于促进合作，因为它将利益相关者聚集在一起解决问题。正如一位顾问所描述的，

如果你稍微思考一下，(一项监管上的未知)给所有各方、涉及的每一方带来的不确定性是非常重要的。这对我有利，尤其是对被许可方有利，但对所有人都有利。它创造了一种你想要合作的氛围，几乎是合作，因为……没有人知道他们真正拥有什么权力……虽然这在(效用)方面并不确定，但它创造了足够的不确定性，它真的促使人们以严肃的方式进行讨论。你不知道结果会怎样。这需要很长时间，因为会有很多诉讼和上诉。可能会持续20年。我认为这种不确定性创造了一个合作的环境，我认为这种不确定性影响着每个人。人们已经考虑过了．

在这种情况下，受访者特别强调了诉讼威胁所造成的不确定性，这增加了成本，造成了延误，并可能破坏先前的“某些”决定。该顾问认为，通过合作，利益相关者可以减少诉讼的可能性。然而，在FERC的再许可过程中，诉讼频繁发生，即使是高度合作的过程(Ulibarri 2015b)．

同样，许多利益相关者的一大担忧是不知道FERC将如何裁决该小组提出的管理建议。作为公用事业公司的代表，在重新授权中得失最大的集团表示，

我们真的戴上手铐。如果我们必须做这项研究，把结果作为数据转储报告，然后等待FERC根据数据和初步条款和条件进行环境分析，这对我们来说太不确定了，不能只是坐在那里等待．

相反，他更喜欢尝试“达成一个地方决定，而不是把它扔给FERC，让他们做决定，因为没有人对FERC的决定感到满意。”这些表述呼应了文献中的一个共同理解，即不确定性是协作治理的必要驱动力(Ansell和Gash 2008, Emerson等人2012,Emerson和Nabatchi 2015)。

在实践中，由于决策不受个人或群体控制而产生的不确定性，不确定性似乎会引发合作。当FERC、监管机构或立法机构做出直接影响集团的决定时，利益相关者会有意地转向以一致同意为基础的决定。这种方法最突出的是管理“房间里的大象”，即缺乏监管机构。利益相关者认为，如果有广泛的支持，FERC更有可能批准所要求的管理决策:“我认为，除了(失踪的机构)之外，所有人都同意x -是的，他们有监管权力，但我们合作(制定我们的提案)是有益的。”(州机构代表)。不确定性激励人们朝着一个共同的决定努力，这是不确定性推动合作的一个不可否认的例子。

然而，很少有其他的不确定性立即导致整个利益相关者群体之间的合作对话。相反，当面临新的不确定性时，涉众通常会要求在公用事业公司及其咨询团队不在场的情况下召开一个简短的核心会议。在这些分组会议上，政府机构和非政府组织的代表将讨论他们与不确定性相关的个人利益，并制定统一的叙述或回应与公用事业公司分享。只有在他们解决了个人的担忧和犹豫之后，他们才会与公用事业公司讨论这种不确定性。在这些情况下，不确定性确实导致个人合作，但只有有限的利益相关者群体，即机构和非政府组织。虽然这些利益相关者不同的利益和要求,他们不如整个集团多元化,包括水电效用。

例如，如果被问及他们何时准备讨论河流下游段的水流需求，这些机构就召集与非政府组织的核心会议。会议内容包括美国鱼类和野生动物管理局正在进行的一项内部GIS分析的最新进展，关于该机构的工作人员是否需要以及如何让他们的老板参与讨论的辩论，以及如何处理一个关键监管机构失踪的事实。在讨论了这些悬而未决的问题之后，专家组回来宣布，在地理信息系统的分析完成之前，它不准备讨论下游段。在这种情况下，机构和非政府组织基本上是在优先考虑他们认为哪些不确定性对讨论的分类最重要。为了确定优先次序，他们提出了关于这个主题的所有开放问题，这增加了选择的多样性，因此在短时间内增加了结果的不确定性;然而，这些机构和非政府组织选择在没有公用事业机构(利益最明显的组织)在场的情况下这样做。

在如何改变模拟水文以应对上游流动的变化以及某些流动退潮率是否会改善河岸生境等问题之后，也召开了讨论会。在这些情况下，公用事业、机构和/或非政府组织之间对不确定性对决策的影响存在分歧，即不确定性是否为不确定性，如果是，是否可解决。利益相关者似乎不愿与全体成员就这些分歧发表意见，但会与更多志同道合的人讨论这个问题。一旦他们有了一个关于为什么这是一个不确定性以及它如何影响决策的内部叙述，他们就会回到整个小组。在这些情况下，党团会议在短期内增加了模糊性(Brugnach et al. 2008)。

最后，需要注意的是，所有的核心会议并不遵循不确定性，因为有些是在公用事业公司要求小组作出坚定决定时调用的。他们的问题包括:我们应该如何储存鱼?对于监视组，我们需要什么要求?我们该把温度记录仪拿走了吗?在这些情况下，与不确定性相关的核心小组一样，机构/非政府组织小组将在内部做出决定，然后向公用事业公司报告。

讨论

我探讨了在多利益相关者的水电许可过程中，不确定性和协作治理之间的相互关系。在四年的谈判中出现了各种各样的不确定性，这些不确定性往往以混乱和难以预测的方式相互作用。合作是利益相关者处理出现的不确定性的重要工具。在某些情况下，协作有助于通过网络移动信息，帮助更快地解决不确定性;在其他情况下，合作帮助利益攸关方对无法通过收集更多信息来解决的不确定性进行分类。此外，许多涉众谈到，不确定性是他们选择合作的一个激励因素。与此同时，不确定性和合作之间的联系有时是模糊的，因为涉众选择在两个阶段的过程中处理一些不确定性，内部合作处理最初的混乱，然后全团队合作通过更大的蓝图进行工作。

这项工作的第一个含义是，环境治理中出现了许多类型的不确定性，而不仅仅是环境学者经常考虑的科学或实质性不确定性(例如，Sigel等人2010,Polasky等人2011,Raadgever等人2011,Head 2014, Hurlbert和Gupta 2016, Hutter 2016, Poff等人2016,Lukacs等人2017)。这包括关于个人和组织的目标和行动的战略不确定性(Koppenjan和Klijn 2004, Abbott 2005)和从根本上重塑决策环境的意外事件(Balint et al. 2011)。一些不确定性来自利益相关者群体内部，例如，试图预测需要多长时间来协商一个流量机制，而另一些不属于合作范围，不受任何利益相关者的控制，例如，在极端干旱期间何时可能下雨。该小组开发了工具，以协作的方式围绕这些不确定性制定计划，但不确定性本身使环境问题的解决和谈判更具挑战性。重要的是，我的研究并不是第一个承认解决环境问题的不确定性的多样性或复杂性的研究(Abbott 2005, Bijlsma等人2011,Kirschke和Newig 2017)。然而，鉴于该领域过于强调不确定性，认为它主要与问题的未知原因或决定的结果有关，因此有必要重申一遍。

这项研究还揭示了一些关于环境管理中不确定性本质的新观察。首先，现有的不确定性类型学常常孤立地考虑不同类型的不确定性(Koppenjan和Klijn 2004年，Abbott 2005年，Brugnach等人2008年，Balint等人2011年)。在本研究中，不确定性很少单独产生，而是相互作用和复合。在泥沙的例子中，仅仅解决物理或管理上的不确定性，例如，在没有许可证的情况下发生降雨事件，对于帮助小组取得进展是无用的。其次，除了考虑大规模随机事件外，现有的类型学往往忽略了外部因素对特定决策论坛中所发生事情的影响。Abbott(2005:242)是个例外，他的外部不确定性，即"关于更广泛的社会环境及其如何与形势相关和影响的不确定性"，描述了需要考虑改变决策所依据的边界条件的外部变量。然而，Abbott关于外部不确定性(迁移)的例子与他所研究的规划过程截然不同。尽管大规模的外部变化确实产生了不确定性，有时也解决了不确定性，但FERC重新颁发许可证也有许多与规划过程密切相关的外部不确定性。特别是，有一组密切相关的政策或规划场所，包括其他再许可和流域论坛，同一组参与者参与了整个地区的许多场所(Lubell et al. 2010, Lubell 2013)，并解决了类似的环境问题。在一个地点做出的决定，从确定会议日期到协商跨部门协议备忘录或一套新的流量要求，都会对整个网络的不确定性产生级联效应。 This type of external uncertainty has not previously been described.

关于协作和不确定性之间的相互作用，本研究支持了文献中的普遍假设，即协作非常适合解决不确定性(Koppenjan和Klijn 2004, Balint等人，2011,Bijlsma等人，2011,Raadgever等人，2011,Duncan 2013, Hutter 2016, Kirschke和Newig 2017)。对于认识论的不确定性，让不同的利益相关者参与进来，可以扩大他们现有的知识和专业知识，从而有效地找到突出问题的答案。对于无法“解决”的本体不确定性，而是系统固有的不确定性，组织间协作为涉众建立了管理不确定性的过程、结构和关系。过程很重要，因为与所有利益相关者公开讨论不确定性创造了一种环境，能够更深思熟虑和有效地处理不确定性，特别是通过分类，以便决策能够继续向前推进。这两种方法都得益于定期会议的结构和建立基于信任的工作关系的时间(Emerson和Nabatchi 2015)，这强调了充分合作的必要性，即由不同的利益相关方联合决策，而不仅仅是通过协商或协调共享信息(Arnstein 1969)。尽管一些学者认为，合作可以降低对不确定性的处理效率(Zandvoort等人，2019年)，但这种趋势在FERC案例中并不明显。

然而，不确定性既是合作的驱动因素，也是合作的障碍。受访者认为，不确定性有助于将利益相关者拉到谈判桌前(Ansell and Gash 2008, Emerson et al. 2012, Emerson and Nabatchi 2015)，但围绕许多新出现的不确定性进行的两阶段谈判的动态表明，不确定性有时会破坏合作对话和协商，或至少鼓励利益相关者首先与更相似的人进行协商。

不幸的是，数据并没有揭示为什么资源机构和非政府组织选择使用如此多的核心会议，但有几个合理的解释。首先，与会者可以战略性地利用这种不确定性作为一个机会，以对他们最有利的方式组织辩论。在谈判理论中，要约的框架和提出时间会影响实质性结果的类型(Fisher et al. 2011)。通过消除内部矛盾，机构/非政府组织核心小组可以提出最互利的建议。如果这种解释是正确的，那么支持两阶段谈判的可能机制是对其他参与者的信任程度:如果所有参与者都信任彼此，相信他们会为团队的共同最佳利益而行动，他们就更有可能在整个过程中与整个团队共同合作。

相反，利益相关者可能对不确定性感到恐惧，并认为如果他们能够在一个更受约束的群体中处理它，他们就能保持更大的控制感。心理安全的观点认为，当人们感到不安全时，他们会寻求自己的舒适区(Edmondson and Lei 2014, Frazier et al. 2017)，利益相关者可能会通过转向群体中志同道合的人来应对不确定性。在受约束的群体中进行对话会给人们一种控制不确定性的感觉，帮助他们有足够的安全感回到完整的群体中。如果第二种解释是正确的，那么推动合作的可能机制就是过程中的信任:尽管利益相关者有经验，但他们不相信有原则的参与将有助于有效地管理不确定性。然而，如果在面对不确定性时，人们的自然倾向是把头埋进沙子里，那么人们最终来到谈判桌的事实是至关重要的。

这种两阶段谈判模式的特别有趣之处在于，在不确定性上出错的风险通常落在公用事业公司身上，而不是召集核心小组的利益相关者。为整个重新授权提供资金的公用事业公司，在延误的情况下，有可能支付更多的咨询费和研究费用;在错误计算不确定性导致基础设施失败的情况下，它可能会失去声誉、被起诉、面临破产或失去许可证。尽管野生动物保护机构确实面临着支持导致物种减少的决定的风险，但他们从重新授权中承担的总体风险是最小的。人们会认为，直接承担风险的组织最有可能需要心理安全，但事实并非如此。在某些情况下，公用事业公司和它的咨询团队确实在整个团队之前就知道了不确定性，所以他们有一些时间来做内部规划，类似于机构/非政府组织的核心小组，但情况并非总是如此。

作为一个单一的案例研究，一个关键的悬而未决的问题是，类似的不确定性在其他情况下会如何发生。虽然在这种情况下，需要仔细注意不确定性以推动对话，但在合作程度较低的环境中，不作为一个群体讨论不确定性可能导致利益攸关方感到这些问题没有得到充分解决，从而使与会者离开谈判桌。在一个组织已经选择将他们稀缺的时间、人员和资源分配给一个协作小组的背景下(Lubell等人，2010年)，知道如何吸引核心参与者并随着时间的推移保持他们的参与对发展有效的协作至关重要(Bonnell和Koontz, 2007年，Hui等人，2018年，Scott等人，2018年)。

此外，尽管涉众努力应对各种各样的和相互作用的不确定性，在这种情况下的不确定性可能比在其他协作环境中存在的更受限制。与许多出现在环保领域的草根合作不同，FERC的重新许可涉及的问题相对较少，需要协商的问题只有一个单一的、固定的目标:制定一个新的运营许可证。因此，这种情况可能代表涉众所面临的不确定性类型的一个下限;增加不确定性的数量和类型可能会降低协作的效率，因为它会产生更多的独立组件来进行分类。

总之，我主张对环境问题管理中的合作与不确定性之间的关系有更细致的理解。通过扩大在协作过程中产生的不确定性的范围，以及这些不确定性如何与涉众交互作用，这项工作旨在使项目经理和召集协作小组的其他人能够更好地管理决策制定中的不确定性角色。仔细考虑协作和不确定性如何相互作用，可以帮助协同治理过程中的召集者和参与者优化他们的交互，最终为环境和依赖环境的人带来更好的结果(Scott 2015, Ulibarri 2015)b)．

^[1]在这篇稿件中，我使用了“不确定性”一词，因为它是我的听众(即环境科学家)在讨论未知事物时最常用的术语。科学社会学的学者采用了“无知”一词(Böschen et al. 2010, Gross 2010, Roberts 2013)，它既包含了非知识，即未知的事物，我称之为不确定性，也包含了被有意识或无意识压抑的知识。

文献引用

雅培,j . 2005。理解和管理未知:规划中不确定性的本质。规划教育与研究杂志24(3): 237 - 251。https://doi.org/10.1177/0739456X04267710

安塞尔，C.和A.加什，2008。协同治理的理论与实践。公共管理研究与理论杂志18(4): 543 - 571。https://doi.org/10.1093/jopart/mum032

阿恩斯坦，1969年。公民参与的阶梯。美国规划师学会杂志35(4): 216 - 224。https://doi.org/10.1080/01944366908977225

巴林特，P. J.， R. E.斯图尔特，A.德赛和L. C.沃尔特斯，2011。恶劣的环境问题:管理不确定性和冲突．美国华盛顿特区岛。https://doi.org/10.5822/978-1-61091-047-7

巴雷特，S.和A.丹南伯格，2014。集体行动对气候引爆点不确定性的敏感性。自然气候变化beplay竞技4:36-39。https://doi.org/10.1038/nclimate2059

Berardo, r . 2014。双模式合作网络中的桥梁和联结资本。政策研究》杂志42(2): 197 - 225。https://doi.org/10.1111/psj.12056

毕尔斯玛，R. M.， P. W. G. Bots, H. A. Wolters和A. Y. Hoekstra. 2011。利益相关者对政策制定影响的实证分析:不确定性处理的作用。生态和社会16(1): 51。https://doi.org/10.5751/ES-03865-160151

邦内尔，J. E.和T. M.昆茨，2007。蹒跚前进:建立和维持协同流域管理的组织挑战。社会与自然资源20(2): 153 - 167。https://doi.org/10.1080/08941920601052412

Böschen, S.， K. Kastenhofer, I. Rust, J. Soentgen, P. weling . 2010。科学的非知识及其政治动力:农业生物技术和移动电话的例子。科学、技术和人的价值35(6): 783 - 811。https://doi.org/10.1177/0162243909357911

布鲁纳赫，M.， A. Dewulf, C. Pahl-Wostl和T. Taillieu, 2008。对于不确定性的关系概念:知道的太少，知道的太不一样，以及接受不知道。生态和社会13(2): 30。https://doi.org/10.5751/ES-02616-130230

柯尔宾，J.和A.施特劳斯，2008。定性研究基础:发展扎根理论的技术和程序．第三版。Sage，洛杉矶，加利福尼亚州，美国。https://dx.doi.org/10.4135/9781452230153

克雷文斯，2016年出版。合作软件的谈判和决策:MarineMap如何“改变游戏”在加州的海洋生物保护法案倡议。环境管理57(2): 474 - 497。https://doi.org/10.1007/s00267-015-0615-9

道格拉斯，M.和A.威尔达夫斯基。1982。风险与文化:一篇关于选择技术和环境危险的文章．加州大学出版社，伯克利，加州，美国。

达德尼，J. J.霍布斯，R.海尔迈尔，J. J.巴斯和K. N.苏丁。2018。驾驭弹性管理中的新奇和风险。生态学与进化趋势33(11): 863 - 873。https://doi.org/10.1016/j.tree.2018.08.012

邓肯,r . 2013。为应对不确定性开辟新的制度空间:建构主义的视角。环境影响评估检讨38:151 - 154。https://doi.org/10.1016/j.eiar.2012.07.004

埃德蒙森，a.c.，雷Z. 2014。心理安全:人际结构的历史、复兴和未来。组织心理学与组织行为学年度评论1:23-43。https://doi.org/10.1146/annurev-orgpsych-031413-091305

艾默生，K.纳巴奇，2015。合作治理机制．乔治敦大学出版社，华盛顿特区，美国。

艾默生，K.纳巴奇，S.巴洛格，2012。协作治理的整合框架。公共管理研究与理论杂志22(1): 1至29。https://doi.org/10.1093/jopart/mur011

菲奥克，R. C.， I. W. Lee, H. J. Park, k . H. h。李。2010。地方民选官员之间的协作网络:信息、承诺和风险规避。城市事务审查46(2): 241 - 262。https://doi.org/10.1177/1078087409360509

费尔德曼，M. S.和A. M. Khademian. 2008。政策形成的持续过程。页面37-59在K.艾哈迈德和E. Sánchez-Triana，编辑。政策的战略环境评估:善治的工具．世界银行，华盛顿特区，美国。

R.费舍尔，W. L.尤里和B.巴顿，2011。说“是”:不让步地谈判达成协议．修改后的版本。企鹅书店，纽约，纽约，美国。

弗雷泽，M. L.， S.芬什米特，R. L.克林格，A.佩泽什坎，V. Vracheva. 2017。心理安全:元分析的回顾与延伸。人事心理学70(1): 113 - 165。https://doi.org/10.1111/peps.12183

Gerlak, A. K.， T. Heikkila, M. Lubell. 2012。协作治理的承诺和表现。413 - 434页在M. E.克拉夫特和S.卡米涅茨基，编辑。美国环境政策的牛津手册．牛津大学出版社，英国牛津。https://doi.org/10.1093/oxfordhb/9780199744671.013.0019

生产总值(gdp), m . 2010。无知与惊奇:科学、社会与生态设计．麻省理工学院出版社，剑桥，马萨诸塞州，美国。https://doi.org/10.7551/mitpress/9780262013482.001.0001

Gross, M.和A. Bleicher. 2013。“鹤嘴锄前总是黑的”:在污染土地的长期修复中组织无知。时间与社会22(3): 316 - 334。https://doi.org/10.1177/0961463X12444059

2014年。澳大利亚气候变化决策中的证据、不确定性和恶劣问题。beplay竞技环境与规划C:政府与政策32(4): 663 - 679。https://doi.org/10.1068/c1240

Hui, I.， N. Ulibarri和B. Cain. 2018。区域水合作的参与和代表性模式。《政策研究杂志》，出版中．https://doi.org/10.1111/psj.12266

Hurlbert, M.和J. Gupta, 2016。适应性治理、不确定性和风险:政策框架和对气候变化、干旱和洪水的反应。beplay竞技风险分析36(2): 339 - 356。https://doi.org/10.1111/risa.12510

Hutter, g . 2016。协同治理与城市地区罕见洪水——应对不确定性和突发性。环境科学与政策55(2): 302 - 308。https://doi.org/10.1016/j.envsci.2015.07.028

D.卡尼曼和A.特沃斯基，2000。选择、值和框架．剑桥大学出版社，英国剑桥。https://doi.org/10.1017/CBO9780511803475

Kirschke, S.和J. Newig. 2017。解决环境管理和治理的复杂性。可持续性9(6): 983。https://doi.org/10.3390/su9060983

科本扬，j.f. M, e - h。Klijn》2004。管理网络中的不确定性:解决问题和决策的网络方法．劳特利奇,伦敦,英国。

拉赫，D. S.雷纳和H.英格拉姆，2005。治水:治理水资源管理痼疾的策略。国际水学杂志3(1): 17。https://doi.org/10.1504/IJW.2005.007156

刘，J, T. Dietz, S. R. Carpenter, M. Alberti, C. Folke, E. Moran, A. N. Pell, P. Deadman, T. Kratz, J. Lubchenco, E. Ostrom, Z.欧阳，W. Provencher, C. L. Redman, S. H. Schneider，和W. W. Taylor. 2007一个．人类与自然耦合系统的复杂性。科学317(5844): 1513 - 1516。https://doi.org/10.1126/science.1144004

刘，J.， T. Dietz, S. R. Carpenter, C. Folke, M. Alberti, C. L. Redman, S. H. Schneider, E. Ostrom, A. N. Pell, J. Lubchenco, W. W. Taylor, Z.欧阳，P. Deadman, T. Kratz，和W. Provencher. 2007b．人类和自然系统的耦合。人类环境杂志36(8): 639 - 649。https://doi.org/10.1579/0044 36 - 7447(2007)[639:陈氏]2.0.CO; 2

卢贝尔m . 2013。管理制度复杂性:游戏框架的生态。政策研究》杂志41(3): 537 - 559。https://doi.org/10.1111/psj.12028

卢贝尔，a·d·亨利和M·麦考伊。2010.游戏生态中的协作机构。美国政治科学杂志54(2): 287 - 300。https://doi.org/10.1111/j.1540-5907.2010.00431.x

Lukacs, H. A.， N. Sawe和N. Ulibarri. 2017。2014年西弗吉尼亚州化学品泄漏的风险、不确定性和制度失败。环境案例研究1(1): 1 - 7。https://doi.org/10.1525/cse.2017.000604

Newig, J.， D. Günther，和C. Pahl-Wostl。2010.网络中的突触:环境管理背景下治理网络中的学习。生态和社会15(4): 24。https://doi.org/10.5751/ES-03713-150424

Newig, J.， C. Pahl-Wostl和K. Sigel. 2005。公众参与管理水框架指令执行过程中的不确定性的作用。欧洲环境15(6): 333 - 343。https://doi.org/10.1002/eet.398

波夫，N. L.， C. M.布朗，T. E.格兰瑟姆，J. H.马修斯，M. A.帕尔默，C. M.斯宾塞，R. L.威尔比，M.哈斯努特，G. F.门多萨，K. C.多米尼克，和A.巴伊扎。2016。未来不确定性下的可持续水资源管理与生态工程决策尺度。自然气候变化beplay竞技6:25-34。https://doi.org/10.1038/nclimate2765

Polasky, S. R. Carpenter, C. Folke和B. Keeler. 2011。巨大不确定性下的决策:全球变化时代的环境管理。生态学与进化趋势26(8): 398 - 404。https://doi.org/10.1016/j.tree.2011.04.007

普尔弗，S.， N.乌利巴里，K. L.索博金斯基，S. M.亚历山大，M. L.约翰逊，P. F.麦考德，J.戴尔安杰洛。2018.社会环境研究前沿:组成、联系、尺度和背景。生态和社会23(3): 23。https://doi.org/10.5751/ES-10280-230323

Raadgever, G. T, C. Dieperink, P. P. J. Driessen, A. A. H. Smit和H. F. M. W. van Rijswick. 2011。不确定性管理战略:荷兰区域执行水框架指令的经验教训。环境科学与政策14(1): 64 - 75。https://doi.org/10.1016/j.envsci.2010.11.001

里特尔，H. W. J. M. M.韦伯，1973。一般规划理论中的困境。政策科学4(2): 155 - 169。https://doi.org/10.1007/BF01405730

罗伯茨,j . 2013。组织无知:从管理的角度看待未知。管理学习44(3): 215 - 236。https://doi.org/10.1177/1350507612443208

斯科特,t . 2015。合作有什么不同吗?将协同治理与环境成果联系起来。政策分析与管理杂志34(3): 537 - 566。https://doi.org/10.1002/pam.21836

斯科特，T. A.， N.乌利巴里，R. P.斯科特。2018。利益相关者参与协作监管过程:使用自动编码来跟踪出勤和行动。《监管与治理》，出版中．https://doi.org/10.1111/rego.12199

Sigel, K.， B. Klauer，和C. Pahl-Wostl。2010.环境决策中的不确定性概念化:以欧盟水框架指令为例。生态经济学69(3): 502 - 510。https://doi.org/10.1016/j.ecolecon.2009.11.012

史密森,m . 2008。许多不确定的面孔和面具。13 26页在G.班默和M.史密森，编辑。不确定性和风险:多学科视角．劳特利奇,伦敦,英国。

斯蒂尔曼，T. A.诺埃尔，D.巴约米，S.麦卡弗里。2014.理解灾害应对过程中的信息交换:来自信息中心分析的方法论见解。管理与社会46(6): 707 - 743。https://doi.org/10.1177/0095399712469198

Stelzenmüller, V, T. Vega Fernández, K. Cronin, C. Röckmann, M. Pantazi, J. Vanaverbeke, T. Stamford, K. Hostens, E. Pecceu, S. Degraer, L. Buhl-Mortensen, J. Carlström, I. Galparsoro, K. Johnson, J. Piwowarczyk, V. Vassilopoulou, R. Jak, M. L. Pace，和L. van Hoof. 2015。评估与空间管理区域的监测和评估相关的不确定性。海洋政策51:151 - 162。https://doi.org/10.1016/j.marpol.2014.08.001

提克纳，1999。预防性决策的地图。162 - 186页在C. Reffensperger和J. A. Tickner，编辑。保护公众健康和环境:执行预防原则．美国华盛顿特区岛。

Ulibarri: 2015一个．联邦水电许可合作:对过程、产出和结果的影响。公共绩效与管理评审38(4): 578 - 606。https://doi.org/10.1080/15309576.2015.1031004

Ulibarri: 2015b．协同治理绩效的追溯过程:联邦水电许可的比较案例研究。政策研究》杂志43(2): 283 - 308。https://doi.org/10.1111/psj.12096

Ulibarri: 2018一个．协同模型开发增加了环境决策中科学信息的信任和使用。环境科学与政策82:136 - 142。https://doi.org/10.1016/j.envsci.2018.01.022

Ulibarri: 2018b．合作是否影响环境许可程序的期限?环境规划与管理杂志61(4): 617 - 634。https://doi.org/10.1080/09640568.2017.1327845

沃克，W. E. P. Harremoës, J.罗特曼斯，J. P.范·德·斯卢吉斯，M. B. A.范·阿塞尔特，P.杨森，M. P.克拉弗·冯·克劳斯。2003。定义不确定性:基于模型的决策支持中的不确定性管理的概念基础。综合评估4(1): 5。https://doi.org/10.1076/iaij.4.1.5.16466

尹荣凯，2009。案例研究:设计与方法．第五版。Sage，千橡，加利福尼亚州，美国。

约克，a.m.和M. L.舍恩，2011。西部山脉的集体行动:应对外部和内部威胁。国际下议院杂志5(2): 388 - 409。https://doi.org/10.18352/ijc.286

赞德沃特，M.， R.范·德·布鲁日，M. J.范·德·Vlist和A.范·登·布林克。2019。协同规划中的不确定性处理:为IJsselmeer开发适应性策略。环境规划与管理杂志62(2): 248 - 265。https://doi.org/10.1080/09640568.2017.1409196