去pdf本文的版本
克雷文斯，A. E.和N. M.阿尔多因，2016。在权威数据来源的阴影下谈判可信度和合法性。生态与社会21(4): 30。
https://doi.org/10.5751/ES-08849-210430
在权威数据来源的阴影下谈判可信度和合法性
摘要
环境机构指定某些数据集为“权威”数据集，或用于决策的官方数据集。虽然这是一个常见的行政术语，但在社会科学文献中，某些来源具有权威性的概念很少受到关注。当科学被认为是突出的、可信的和合法的时，它就会转化为环境决策。但数据被视为可信和合法的实际过程却很少受到关注。通过58次半结构化访谈，我们研究了在《海洋生物保护法》倡议的支持下，在加利福尼亚州新海洋保护区发展的规划过程中发生的相互谈判和社会学习。地理空间决策支持工具MarineMap被科学家和国家机构工作人员视为权威的数据源。然而，利益相关者接受某些数据需要长期的对话和信任的建立。对数据和工具的接受程度影响了参与者对整个规划过程的看法。这个案例揭示了关于模糊或缺失数据的对话的方式影响了利益相关者对科学分析的信任，以及他们对决策合法性的信仰。介绍
在环境管理科学决策中存在着相互矛盾的理想。一种是，决策应该基于客观的科学证据，但这一过程可能会模糊实践中通过谈判达成科学共识的方式(Wynne 1992, Francis et al. 2005)。另一方面，政府机构越来越多地利用合作来获得那些受资源使用决策影响的人的洞察力和支持(Frame et al. 2004, Benson et al. 2013)。一般来说，成功的环境管理合作需要将当地的理解与来自标准科学实践的观点结合起来。这些观点可能并不总是一致的(Berkes 2009, Morgan and Grant-Smith 2015)。过去的研究和实践表明，当科学突出、可信和合法时，它可以转化为环境管理(Cash et al. 2003)，然而科学家、利益相关者和决策者可能不会以同样的方式感知数据的突出性、可信度和合法性。
为了帮助参与环境下的决策制定，环境和自然资源管理者越来越多地求助于信息技术，信息技术可以作为科学家、利益相关者和决策者之间的边界对象和桥梁(Star和Griesemer 1989)。协作技术的两种关键类型包括(1)决策支持工具(DSTs)的重叠类别，即构建决策过程并可能具有各种用户界面的软件应用程序;(2)地理空间系统，即在地图界面上显示信息并允许用户切换不同数据层的软件工具，例如Esri ArcGIS和谷歌maps (Malczewski 2006, Matthies et al. 2007, Cravens 2014)。技术边界对象在翻译中提供了各种好处，包括帮助解释技术信息和鼓励共享理解(Cravens 2016)，但实现这一承诺需要一种方法来确定包含哪些信息，特别是在稀缺或模糊数据的情况下。技术工具的可信度，以及使用这些工具的决策过程的合法性，都源于利益相关者对基础数据质量的共识。
环境机构(参见，例如，美国内政部2006年)通过指定某些数据集作为权威数据源(或英国英语用法中的权威数据集)来指导其员工;这些数据集将用于构建地理空间系统和后续决策。美国地质调查局和美国土地管理局等政府机构都有规定，规定使用权威数据源，除非管理者能够证明数据集不满足特定需求(USGS[日期未知])。尽管作为一个管理术语被广泛使用，但学术文献很少关注权威数据源的概念。学者们很少考虑会发生什么，例如，当一个权威数据源在一个框架(通常是政府机构的框架)中获得其可信度和合法性时，将其集成到一个旨在包括多个视图的跨界过程中。
为了解决这一差距，我们以加州海洋生物保护法(MLPA)倡议为例，研究了指定权威数据源中的科学数据被视为可信的过程。使用混合方法，该研究考察了一个特定的边界对象(称为MarineMap的DST)如何影响参与者对科学完整性的看法。尽管政府雇员和承包商将该工具视为流程的权威数据源，但其他利益相关者更广泛地接受稀缺或不确定的数据需要持续的对话。研究MarineMap突出了通过社会学习发展和维护利益相关者信任的重要性。虽然可以以最小的代价忽略个人关注，但当这种情况发生时，对数据充分性或准确性的担忧可能会导致个人利益相关者之间的不信任，鼓励他们质疑过程的合法性。
理论框架:权威数据来源与协商科学
最近，管理人员和机构对使用信息技术工具(如DSTs、地理空间系统和模型)来辅助环境决策越来越感兴趣，特别是在涉及大量技术信息时(Balram和Dragicevic 2006, Malczewski 2006, Matthies等人2007,Wright等人2009,Voinov和Bousquet 2010, Bourget 2011)。地理空间系统和dst被认为是特别有前途的，因为它们有助于组织和可视化复杂的信息，以便在多个约束条件下或在地理空间中进行决策(MacEachren 2004)。然而，作为它们所代表的世界的简化，dst和地理空间系统都或隐或显地构建信息以特权某些观点(Cravens 2016)。
制图学者强调，大多数地理空间系统的用户缺乏批判性地检查地图突出或模糊的经验(Wood和Fels 1992)。地理空间接口的一个优点是，它们使所有查看者都能看到数据差距。同时，由于视觉显示的结果，不确定或模糊的数据可能看起来比实际更确定(MacEachren 2004)。类似地，地理信息系统(GIS)的底层设计通常被认为偏向于显示定量信息(Sheppard 1995)。因此，更多基于经验的数据，通常本质上是定性的，可能不会被代表或可能被视为更多的轶事。然而，一旦创建了地图，那些没有参与创建地图讨论的人倾向于将其视为“现实”，并且没有意识到给定数据层的模糊性。因此，对于环境决策过程的参与者来说，了解决策是基于与他们的经验相匹配的地图是优先考虑的。
当出现在地理空间系统中的数据被政府机构指定为官方权威数据源时，可能导致其创建的混乱，以及任何其他观点，都因其被指定为事实准确而进一步模糊了。特别是，“权威数据”的称号与社会科学研究的传统并列，它揭示了创建政策、文件和其他人工制品的谈判(cf. Gieryn 1999)。研究人员形成了一个实践社区，其规范和假设形成了他们的结论以及他们的分析评估(Carolan 2008)，该机构由同行评审(Bornmann 2008)管理。由于环境决策越来越多地在公民参与下进行，决定科学信息是否有足够的质量和数量来做出决策越来越多地与公民和其他科学家协商或“共同产生”(Dunsby 2004, Roux et al. 2006)。
就像合作协商的其他方面一样，科学信息成为促进合作的社会学习过程的一部分(Muro和Jeffrey 2008, Gerlak和Heikkila 2011)。社会学习，也被称为“工作”(丹尼尔斯和沃克2001年)，知识合作生产(Roux等人2006年，戴尔和阿米蒂奇2011年)，和集体学习(海克拉和格拉克2013年)，是一个过程，在一个协作决策过程中，参与者通过审议、挑战假设和重构问题，找到对问题的共识和评估解决方案的方法(Pahl-Wostl 2006年，爱默生等人2012年)。众所周知，促进社会学习的因素包括开放的交流、多样化的参与、充足的时间、建设性的冲突、民主的结构、多种知识来源和便利的对话(Schusler et al. 2003)。然而，Reed等人(2010)警告说，社会学习的支持条件或结果往往与社会学习的过程相混淆。因此，作者强调了个体学习者和他们的社区之间的互动，将社会学习定义为“一种理解上的变化，它超越了个体，通过社会网络中的参与者之间的社会互动，成为更广泛的社会单位或实践社区”(Reed et al. 2010)。并非所有的社会学习都能带来管理者或机构可能渴望或期望的结果;例如，Vinke-de Kruijf等人(2014)描述为“非建设性的学习过程”的某些情况可能会导致信任下降或未来合作意愿下降，这取决于谁学习了什么。
边界对象，如DSTs和地理空间系统，可以在确定哪些信息是可信或有用的过程中发挥桥梁作用(Star和Griesemer 1989, Hegger et al 2012)。在参与式决策中，各机构已经授权了部分决策权力(Emerson et al. 2012)，数据必须对利益相关者以及科学家和管理人员可信和合法。换句话说，决策过程的参与者必须了解问题的内容，以及决策所依据的基本数据和科学方法。
在这项研究中，我们考虑了当指定的“权威”数据源与利益相关者的经验知识不匹配时，参与性决策中会发生什么。我们认为，当权威数据源被认为是社会学习过程的结果以及技术对象时，机构工作人员和管理人员将更加意识到在参与过程的社会环境中发展信誉和合法性的过程。权威数据源可以从两个同时的角度来看待:(1)参与者对数据的科学可信度和信任的学习和谈判的重点，以及(2)观察关于数据的谈判如何影响更大规划过程的感知合法性的基础。
方法
案例研究:MarineMap
1999年通过的《加州海洋生物保护法》(MLPA)的目标是利用现有的最佳科学，沿着加州海岸建立一个海洋保护区(MPAs)网络(1999年《加州渔业和狩猎法》)。“最佳可用科学”通常规定了决策需要多少科学，但这是一个不稳定的，有时是模糊的法律标准;其含义受到代理实践和当地环境的影响(Francis等人，2005年，Gerlach等人，2013年)。
实施该法律的MLPA倡议是一个公私合作伙伴关系(Gleason et al. 2013, Kirlin et al. 2013)，旨在模拟参与性和透明的规划过程(Sayce et al. 2013)。MLPA倡议和执行机构将海岸划分为四个研究区域(见图1)，并为每个区域任命了一个咨询区域利益相关者小组(RSG)。每个研究区域的RSG在一年的时间里通过每月会议制定了确定海洋保护区的建议。例如，由33名成员组成的北海岸RSG在2010年召开了13天的会议;每次会议都由一名专业的中立调解人主持。一个由大约20名自然和社会科学家组成的科学咨询小组(SAT)制定了设计指南，对科学有效性做出了决定，并为RSG成员产生的提案提供了评估标准(见Saarman et al. 2013)。图2提供了更多关于RSG成员和SAT如何适应规划过程的整体结构的细节。值得注意的是，MLPA倡议结构(以及在SAT的情况下，立法本身)为决策参与者定义了独特的角色。虽然参与程度很高，但该进程并非以协商一致意见为基础;指定的利益相关者提出了由科学家评估的建议，利益相关者对评估标准进行了输入。 Thus the negotiations over scientific credibility described here took place within a context in which the scientists remained officially responsible for ensuring the use of the “best available science.”
在本文中，“利益相关者”是指指定的RSG成员以及参与与数据准确性相关讨论的公众成员。“科学家”是指科学顾问团队(SAT)的指定成员。我们根据在规划过程中所扮演的角色来进行这些指定，因此接受过正式科学培训的RSG成员不包括在“科学家”分组中。“参与者”包括在MLPA倡议中发挥作用的每个人，以及本研究的受试者。我们意识到，这是一个比社会科学研究中经常使用的“利益相关者”定义更窄的定义，同时我们也认识到，被排除在“利益相关者”定义之外的科学家、机构雇员和合同员工也有特定的视角。然而，我们选择以这种方式使用利益相关者这个词，是因为它使我们与那些参与研究决策过程的人保持一致。它也与其他撰写MLPA倡议的作者的术语一致(Gleason等人，2013年，Kirlin等人，2013年，Merrifield等人，2013年，Sayce等人，2013年，Cravens 2016年)，并反映了过程中的角色分工。对于MLPA倡议的参与者来说，“利益相关者”是一个不同于科学家和工作人员的类别;它指的是RSG成员和对海洋保护区位置提供评论的其他公民。
一个由大学科学家、非政府组织(NGO)科学家(与SAT不同)和技术专业人员组成的联盟创建了地理空间DST MarineMap，用于第三和第四个研究区域，以帮助利益相关者协商海洋保护区的位置(见Merrifield et al. 2013)。MarineMap由基于地图的用户界面和分析模型后端组成，允许用户提出MPA位置，并接收关于他们提出的地理位置与SAT用于评估建议的科学标准相比如何的近实时反馈(Saarman et al. 2013)。关注他们提出保护的位置，用户可以切换空间数据层(表1)，以查看特征，包括商业和娱乐渔业数据、沿海接入点、栖息地数据、海底地图和海洋导航图等等。(为了保护渔民的专有信息，只有登录MarineMap应用程序的RSG或SAT成员才能在地图界面上访问渔业热图。普通公众或未登录的人可以通过具体MPA提案的报告访问数据，但不能一次看到整个研究区域的渔业数据。)
MarineMap以多种方式用于补充参与者在该过程中的不同角色，并被利益相关者广泛认为是关于海洋保护区选址的谈判和决策的有效工具(Merrifield 2013, Cravens 2016)。RSG成员利用它来了解正在使用的地理和科学标准，确定共同或分歧的利益，并共同寻找谈判挑战的解决方案。在RSG成员之间以及他们与其他参与者的交流中，该工具有助于为参与者创建一个共同的词汇表。科学家们使用MarineMap主要是为了获取信息，尽管在这一过程的最后，对海洋保护区的大部分评估也使用了该工具。科学家们根据利益相关者的意见，决定在工具中包含哪些数据。
我们的研究主要集中在MarineMap上，因为MLPA倡议解决的决策制定(选址受多重约束标准约束的MPAs)类似于其他环境和规划决策。这些决策通常需要将对空间数据的理解与给定的设计标准联系起来。因此，使用该工具时观察到的动态与各种环境管理设置中技术的使用有关。MarineMap的早期工作表明，该工具的价值依赖于它被用户视为权威数据源(Cravens 2016);然而，之前的研究并没有阐明用户将MarineMap视为权威数据源的社会过程。我们的研究解决了这一差距。
数据来源及分析
我们的分析主要来自于2013年对进程参与者进行的48次全程半结构化访谈，包括指定的RSG成员(27人)、涉及的公众成员(2人)、指定的BRTF政策顾问(5人)、SAT成员(4人)和合同员工(10人)。这些访谈代表了使用MarineMap的两个研究区域中约23%的RSG成员，20%的指定SAT成员，以及几乎所有的关键工作人员(通过滚雪球抽样确定)。我们选择的受访者代表MLPA倡议中存在的兴趣和关注的范围，如娱乐和商业捕鱼、非消费性用户、部落社区等等。当我们能够确定他们的身份时，我们与参与其中的公众进行了交谈，但他们在我们的样本中代表性不足，因为他们很难定位，不像指定的RSG成员、指定的科学家和工作人员，他们的名字是公共记录的一部分。
基于以下迭代分析，我们制定了访谈方案(见表2):(1)对10名MLPA倡议和机构工作人员进行探索性访谈;(2)在线调查参与者(n = 105);(3)北海岸和南海岸研究区SATs和RSGs会议录像分析(图1)，分别于2008 - 2009年和2009 - 2010年召开。
我们使用开放编码过程来分析访谈数据，包括探索性访谈和长篇访谈(Strauss和Corbin 1998)。关键涌现主题包括MarineMap作为权威数据源的角色;参与者的科学素养和元数据的理解;对数据准确性或不确定性的看法;对数据可信度和合法性的看法;以及对决策过程的信任。同样，在参与者的描述中特别重要的是与海带和近岸环境有关的数据。对文件(包括会议记录、科学家和工作人员的报告以及外联材料)的审查为分析访谈数据提供了背景。
结果与讨论
我们描述了科学家和工作人员如何将MarineMap视为权威数据源，但社会学习过程(图3)对于让利益相关者接受工具中的数据作为“最佳可用”科学至关重要。这种学习使利益相关者、科学家和工作人员对数据的可信度和合法性有了更大的认识，从而导致了合作数据的改进，或者科学家保持他们对数据的看法，利益相关者开始接受潜在的基本原理。然而，有时，对话的中断不仅使某些利益相关者对基于MarineMap的分析不信任，而且使他们对整个决策过程不信任。换句话说，通过使用工具和过程，这些人并没有学到科学数据，而是学会了对决策过程持怀疑态度。图3中描述的社会学习过程将在下面的章节中详细描述。引号中的所有名字都是笔名。
MarineMap作为权威数据源
MLPA立法规定，指定MPAs应基于“最佳的现成科学”(加州渔业和狩猎法规1999:§2855 (a))。工作人员和科学家明确表示，“最佳可用”只是指“目前可用的数据”。一位利益相关者承认，“在任何科学驱动的过程中，知识永远不会完美。它不像重力，你知道吗?”大多数利益相关者和科学家都很清楚，“最佳可用”并不意味着完整，而是意味着找到足够高质量的数据来完成选址任务。
再加上立法的严格时间表，通常情况下，最佳可用标准允许MLPA倡议继续取得进展，即使面临声称没有足够数据的批评。即使在数据不完美或稀缺的情况下，最佳可用标准通常也能让参与者证明行动的合理性，因为正如一位参与者指出的那样，“这是我们拥有的最好的标准。”
工作人员和科学家将MarineMap作为MLPA计划的权威数据源。大多数参与者毫无疑问地接受了这一权威，这使得MarineMap为用户提供了一个理解、比较和评估拟议MPAs的公共平台(Cravens 2016)。不同角色的参与者也依赖MarineMap进行翻译和交流;通过这种方式，利益相关者可以查看数据和起草提案，也可以相互协商。将数据输入软件的行为成为了一个关键指标，表明它们是否达到了科学家的门槛，被公认为最好的可用科学。因此，该工具创建了一个标准，用于定义哪些数据应该包含在决策制定中。例如，一位代表环保非政府组织的利益相关者描述了她在与一位渔民讨论时如何使用MarineMap的纳入标准作为数据是否可信的指标:“我没有听我的朋友杰克告诉我，‘不，那个地方真的有坚硬的岩石。’(我说)‘太好了，杰克，我在地图上没看到。’”因为渔民讨论的岩石特征没有出现在MarineMap中，所以在谈判过程中基本上不存在。
然而，在MarineMap能够提供权威数据源的功能，创建一个公共平台，从而限制谈判发生的空间(Cravens 2016)之前，大量的利益相关者必须接受其中的数据作为沿海环境的准确表示。一位参与多个规划区域的州机构雇员这样总结动态:
像MarineMap这样的程序只和你输入的信息一样好。在大多数地区，我们有很多信息，但在一些地区，比如南加州，岩石和海带的位置，尤其是一些岛屿周围，我们就是不知道。当然，这种不确定性也反映在MarineMap中。
与会者一致认为，该工具中的数据创建了对海洋保护区选址至关重要的海岸表示。同时，MarineMap的可视化界面显示了数据空白，并突出显示了该工具的数据与一些用户对海岸的经验知识不匹配的地方。因此，关于稀缺或不确定数据的争论通常表达为对MarineMap数据准确性的担忧。(许多受访者还提到了法律的适应性管理框架，认为它是一个安全阀，可以在最初决策时的最佳可用数据被证明是错误的情况下，促进中途纠正。然而，其他人则怀疑在选址谈判完成后大幅改变边界在政治上是否可行，即使后来的监测数据显示，海洋保护区并没有像预期的那样发挥作用。)
个人问题
作为MLPA倡议的权威数据来源，MarineMap展示了各种数据层，这些数据层来自一系列原始来源(如加州渔猎部、加州海岸委员会、国家海洋和大气管理局以及科学研究人员)，具有混合的确定性和分辨率。(见表1;参见Merrifield et al. 2013。)科学家和工作人员倾向于区分数据集的来源，了解关于数据来源的信息可以为其质量提供重要的背景。他们也倾向于在工具中寻找有关数据的信息;这被技术专业人士称为“元数据”。相比之下，大多数利益相关者倾向于将出现在MarineMap中的数据视为足够真实的海洋和海岸代表。一名工作人员解释说，很少有人想知道更多关于信息来源的信息，或者信息是如何收集的，他说:“我们时不时会收到请求，要求更多地访问元数据，但这种请求并不频繁。对大多数人来说，MarineMap中可见的内容就足够了。”
然而，对于某些人来说，关于数据充分性或准确性的潜在问题是重要的。我们的分析以三种方式对个体进行分类。首先，一些参与者接受了专门的培训，使他们能够通过考虑数据的来源来理解问题空间。例如，一些专业从事科学家或地理空间分析工作的RSG成员就数据层的内容以及所使用的计算和评估方法向科学家和工作人员提供了详细的反馈。
其次，当MarineMap对他们熟悉的领域的描述与他们的个人经验不匹配时，利益相关者更加关注数据层是如何创建的。一位来自北海岸研究区域的RSG成员描述了当MarineMap的测深(海底)数据显示底部没有岩石时，科学家们评估算法的细节:
在Redding Rock附近有一个特别的地区…基本上，科学顾问们认为那片区域没有岩石，因为船无法进入那里并绘制地图。我以为是…令人信服的是，当你看空中图像时，你可以看到很多岩石……根据我对这个地区和其他人的了解，我们知道那里有很多岩石。
根据该地区的经验，该利益相关者使用航空图像来纠正MarineMap中他认为不准确的数据。他认为，这种不准确是由于在船只无法到达的地区缺乏海底地图。
最后，当利益相关者认为数据在讨论中具有政治或战略价值时，关于数据如何生成的信息就变得重要起来。有时，这可能是一种拖延战术;一名工作人员描述了某些利益相关者，他们“对元数据的了解刚好足以质疑数据”，这种方式不利于达成协议。然而，大多数时候，当个人的个人经历和担忧有足够的说服力，足以在小组讨论中考虑时，围绕数据确定性、充分性、准确性和来源的讨论才会出现。促进小组的一名成员描述了情况:
我们基本上是在MarineMap中使用数据层，这成为了数据的来源……有些时候(利益相关者)明确地……会说，‘嘿，我们正在讨论海带，我想提醒大家，我们真的不知道海带在哪里。这是谈判的一个重要部分……我认为它反映在工具中，但它有点隐藏，除非你去寻找或询问它。
因此，由于个体利益相关者的坚持，对海带数据准确性的关注在小组讨论中变得重要起来。
将个人关注转化为群体关注
关于MarineMap中数据的讨论在规划过程的轨迹中是否重要，取决于关注点是否转化为团队层面。当一个人的关注点没有被其他团队成员采纳时，他们对最终的决策过程几乎没有影响，大多数情况下会导致利益相关者放弃关注点。南加州的一名渔民回忆说，他曾提出为什么斯克里普斯海洋研究所的某些数据没有被包括在内，并指出，“它没有去任何地方。到了一定程度，你就放弃了。”
在其他时候，个人关注合并为群体层面的关注(Heikkila和Gerlak 2013)。当个人对数据充分性或准确性的担忧被更大的利益相关者群体所接受时，集体可以迫使工作人员和科学家改变方向。例如，在南海岸的过程中，对海带数据的担忧导致科学家在评估中对海带的计算方式发生了变化。
受访者提到了影响个人对数据的关注是否成为群体关注的三个因素。第一个因素是持一致意见的人数。当一个人质疑MarineMap数据时，有时会被认为是轶事，但当多人提出同样的问题时，这种担忧更有可能被视为有效。因此，当科学家和工作人员听到多个RSG成员的意见时，他们似乎特别有可能解决这些问题。尽管调解人小心翼翼地不让简单多数投票来推动这一进程，但他们确实使用了民意测验和类似的技术，以获得群体的普遍意愿，从而在处理群体关切问题时产生了更大的合法性。
其次，尽管主持人组织会议以尽可能减少权力差异，但某些人在利益相关者群体中发挥了领导作用，因为他们对特定地理位置的个人知识、子社区中的社会地位(如渔民或环境非政府组织)、专业培训，甚至能够使用MarineMap(见Cravens 2016中对专家用户的描述)。在这些谈判中的权威主张中，一个地方的个人经验被认为特别重要(Lukacs和Ardoin 2014, Oakes et al. 2016)。一位非政府组织利益相关者解释说:
在这种情况下，你能讲的最引人注目的故事通常是，“我在过去65年里一直在这里钓鱼/使用这个空间。我观察到了以下趋势，我有这个数据支持我，因此这个地方应该保留还是不应该保留。“没有人会争辩……大部分都是这样。从一个非本地居民的角度来看，这很难说。
最后，除了在群体中赋予个人更高地位的特征外，在有问题的数据影响决策结果的领域，对数据不确定性或不充分的担忧对群体来说更为突出。例如，南海岸的海带问题变得重要，不仅因为数据不明确，而且因为海带床是一种限制栖息地类型，通常决定给定的MPA是否符合所需的科学标准。
群体关注导致协同数据细化
当RSG成员、工作人员和科学家合作检查科学数据，并将其与其他形式的证据(包括利益相关者的经验知识)相协调时，一个社会学习的过程随之而来。在某些情况下，这为协作优化数据层或评估MPAs的方法创造了机会。
科学家和利益相关者接受的可信知识的联合生产要求科学家以合作的方式理解他们在MLPA中的角色，尽管他们对确保科学严谨性负有正式责任(Coburn 2007, Hegger et al. 2012)。SAT对从利益相关者的知识中学习的开放态度促进了迭代数据细化的过程。该倡议的整体文化是一种学习和适应(Gleason et al. 2013)，这在整个过程中创造了鼓励公众评论的动态。一名工作人员反映，持续而非一次性的对话提高了可信度，因为它提出了意料之中的挑战:“一旦有人对科学的一个方面提出挑战，而他们的论点得到了小组其他成员的信任，(科学)就很容易失去可信度。然后，突然之间，一切都成了问题。然而，如果你经常进行这样的对话，那就不是什么大问题。”在第三和第四个研究区域，科学家和RSG成员参与了流体相互作用，形成了所使用的数据，包括出现在MarineMap中的数据。因此，正如MarineMap所反映的那样，科学权威是科学家与利益相关者积极合作以完善各自理解的过程。
在MLPA倡议中，当RSG成员质疑描绘海洋生态系统的科学研究时，科学和地方两种知识经常交叉。科学是形式化的知识，通过在同行评审过程中仔细审查的数据收集程序赋予有效性(Bornmann 2008)。相比之下，当地知识，一个地方的居民所拥有的知识，也可以被称为传统或传统生态知识(Dale和Armitage 2011)，是通过各种方式获得的，包括经验，例如，通过对资源或地方的直接经验，或通过社会学习和互动。支持本地知识的观测可能是情景性的，空间尺度通常较小(Riedlinger和Berkes 2001, Dale和Armitage 2011)。RSG的一位代表非消费用户的成员这样描述对比:
我认为这是双方都有合法性的事情之一。渔民们只有一种经历，他们的经历就是日复一日……这是我们所看到的。科学家们说，‘好吧，这是我们用来监测的协议’……一定有办法的。它不能只是‘在任何你能找到的地方寻找所有的海藻，然后数一数。’”
尽管在数据稀缺的情况下，本地知识提供了有价值的观点，但将MarineMap中出现的科学研究信息与个人用户的知识协调起来有时具有挑战性。在这些谈判中，MarineMap使数据不那么像一个黑箱，虽然这是一个强大的透明度来源，但也是一个挑战，因为该工具使科学数据和当地知识之间的紧张关系可见。一名工作人员这样描述它的效果:“(使用软件)授权的缺点之一是看到分析的所有瑕疵和缺陷。”
虽然MarineMap中的数据最初被工作人员和科学家定义为权威的，但该工具也是社会学习过程的焦点，使其能够作为权威数据源。正如南海岸RSG的一名成员所描述的那样，“(这个工具)在科学家之间造成了很多往来……到最后，大多数人都同意里面的数据。”MarineMap成为了一个寻找大多数参与者都同意的“科学真理”版本的场所。将MarineMap视为协商的场所也打破了本地知识和科学知识之间的二分法。这两种认识方式最终都依赖于一个群体的接受。这些社区的规范各不相同，包括什么赋予某人权威发言的可信度，例如，在当地知识的情况下，花时间进行体验活动;在科学知识方面，花在严格的对照研究上的时间;但最终，在任何一种情况下，证据都不是“真实的”，直到社区接受它。
群体关注影响学习和合法性
在其他情况下，社会学习导致利益相关者了解原始数据选择的基本原理，而不是协作数据改进。当RSG的一组成员对被认为不准确的数据提出担忧，或提交“新”数据供考虑时，科学家们提供了使用原始版本做出决定和/或拒绝不合适的建议数据的科学理由。在这些情况下，RSG成员基本上是在挑战科学家们对最佳可用科学的定义，而科学家们并不同意。尽管他们可能承认现有数据的不完善，但有时RSG成员的答案是，正如一位科学家总结的那样，“这是我们得到的最好的数据。”虽然在这些情况下，工具中的数据保持不变，但当关于科学方法细微差别的扩展对话导致利益相关者群体作为一个整体接受RSG成员先前质疑的数据时，社会学习就发生了。
尽管对利益相关者的反馈持开放态度，但在MLPA倡议结构下，科学家仍然有责任确定利益相关者对数据的批评是否成立。包括RSG成员、公众、工作人员和科学家在内的社区并不是一个具有平等社会权力的扁平等级制度;相反，科学家在数据选择方面保留了更大的正式权威、任务和责任。因此，MarineMap中的最终数据反映了科学家维持的正式权威，以否决利益相关者的反对意见。然而，当科学家们觉得这样做是合适的时，他们通常会就其基本原理进行方法上的对话，从而获得有助于提高数据合法性的知识，并最终信任决策。
在经常涉及数据收集或处理的细微细节的冗长交流中，科学家和工作人员同时扮演着看门人和教育者的角色。一位与SAT团队密切合作的工作人员描述了关于圣地亚哥北部海洋保护区的讨论:
利益相关者非常希望将该区域计算为MPA……他们对我们在那里的岩石可用性的数字提出了质疑，然后实际上带来了一些数据，他们让人用某种遥感收集……我深入研究了[这些方法]，因为我想，‘我们只在一个小范围内进行了研究，它完全不符合我们在整个研究区域内全面掌握的数据。“它在数每样东西……所以，基本上，鹅卵石被算作岩石，小藻类被算作海带……我们经历了整个过程，‘好吧，这些方法是什么?“我们对提交信息的利益相关者这样做，对整个团队也这样做;[我们]讨论了这些数据的意义以及它如何适用或不适用。最终，他们不情愿地理解了不替换这个非常不同的数据源以使那里有足够的岩石的理由。
通过对话，RSG成员和科学家最终就哪些数据代表了现有的最佳科学达成了一致。上述例子说明，当科学家、工作人员和许多利益攸关方意识到如何收集和分析这些数据对决策结果有很大影响时，讨论在多大程度上集中在科学方法的细节上。一些RSG领导人和科学家就数据收集和处理的细微差别展开了对话。MLPA倡议的大部分栖息地数据是由加州海底测绘计划(COPC 2007)提供的，该计划使用水深测量(水下地形)对潜在的栖息地类型进行分类。然而，将测绘结果转化为规划中使用的栖息地分类，需要科学家做出判断，而利益相关者并不总是同意这些判断。例如，一位拥有丰富数据分析经验的南海岸RSG成员描述了他对科学家的某些方法选择的沮丧:
(数据缺口)不会被次优数据填补。它只会留下一个洞。有几种不同的处理方法。你可以使用整个数据，或者你可以使用一个非常完善的理论，叫做空间自相关，它说附近的东西很可能与你有数据的东西相似，你把所有的洞都填满，但我们没有这样做。这在南方的几个地区，给我的团队带来了一些心痛。
在最好的情况下，这种对数据准确性的担忧导致了关于科学和数据分析如何发生以及什么使其有效的微妙讨论。海底测绘计划在样本区域进行了地面真相调查(例如，Cochrane等人2015年)，但工作规模和可用资源意味着大多数基底数据都是基于海底的远程测绘。在其他情况下，海带调查等数据可能只存在于特定地点或一年中的特定时间;规划工作的时间表通常不允许收集额外的数据。因此，对有效性的判断往往必须基于数据的收集方式，这使得对方法的讨论尤为重要。
其中一个挑战是，MarineMap中与数据准确性和方法相关的讨论需要大量的时间和精力。一些与会者对花在这些讨论上的时间感到沮丧，因为他们认为这些讨论不会对最终决定产生重大影响。然而，大多数科学家和工作人员强调了这种对话在提高科学投入质量方面的效用。也许更重要的是，来自所有三个角色的参与者都指出，使用一个透明的系统，如MarineMap，意味着“每个人都可以对这些数据是真实的还是真实的，或者是最好的可用数据是否有意见，所以你必须为系统中的数据而斗争”，以确保参与者的声音被听到。
一名工作人员强调说，这些对话对建立信誉很重要。她还强调了海洋地图在确保透明对话方面发挥的作用:
总有那么一点RSG成员…有一些信息与科学家们使用的信息不一致，(然后就会)倾向于说，‘科学家们还没有去过那里。他们不知道自己在说什么。“如果这种言论没有进行公开透明的对话，没有听取双方的意见，那么你最终会对科学团队所说的一切完全缺乏尊重和可信度。MarineMap开启了对话……我认为(使用MarineMap)最终会强化科学。这意味着你必须时刻保持警惕。你必须准备好深入研究这些方法，阅读这些信息，回应RSG成员有时听起来很疯狂的要求，他们认为某些信息很重要……只是公开地进行这样的对话……提高信誉。
个人的担忧得不到解决会造成不信任
并非所有关于数据的对话都能为所有利益相关者带来建设性的共享学习过程。两名接受采访的RSG成员表示，对话结束后，他们对MarineMap数据的准确性和质量感到失望。在其他访谈中，工作人员和RSG其他成员还报告了某些未接受访谈的利益相关者表示，他们对数据问题没有得到解决感到沮丧。(不仅数据的准确性受到了挑战;一些参与者还质疑了整个决策框架和创建保护性保护区的潜在科学假设[Osmond等人，2010]。本文的分析主要围绕数据的准确性和不确定性进行讨论。在某些情况下，利益相关者试图讨论数据的质量和有效性，但最终感觉他们没有被倾听;在其他情况下，利益相关者不愿意参加这种对话，因为他们认为他们的利益得不到满足。
为了回应个别RSG成员的担忧而与科学家进行互动，可能导致对话破裂，特别是RSG成员或选民对他们的担忧没有得到解决感到沮丧。一名代表休闲渔民的南海岸RSG成员回忆道:
对方的回答是:“没有。我们不会调整MarineMap来显示这个。“我的意思是，因为我们的文件显示那里没有冲浪草。这就归结为(工作人员)贾斯汀那句臭名昭著的名言，‘这是我们拥有的最好的可用的坏科学，我们将遵循它。
对于这个人来说，收到的关于冲浪草(以及其他类型的数据)的回应产生了一种感觉，即整个过程是基于“糟糕的科学”。对数据的不信任，进而延伸到决策过程，有时与对使用MarineMap的怀疑有关，尽管很难理清原因和结果。可能是利益相关者试图真正参与进来，但他们在这个过程中的经历产生了一种幻灭感;也可能是某些人倾向于不信任这一过程，因此，他们的参与方式证实了他们自己的怀疑预期。一位南海岸的利益相关者讨论了对基础数据的不信任最终如何阻止其他利益相关者使用该工具:
那些如此关注(工具中数据的不准确性)的人开始疏远其他人，因为这就像一个坏掉的记录，一遍又一遍地都是同样的论点。一旦你想出了一个MarineMap显示，他们就会完全无视你，然后很生气。一段时间后，它不再是一个有效的工具，因为它与一个错误的特定论点相关联。
最后一个联系很重要，因为它不仅是数据，而且是传递数据的工具，成为沮丧的来源(White et al. 2010)。对于这些利益相关者来说，MarineMap并不是通过社会过程学习科学数据的来源，而是他们对规划过程本身的幻灭的来源和焦点。换句话说，利益相关者通过参与学到的是不要再参与。在计划过程结束后进行的采访中，两个利益相关者表达了不信任感;另一位利益相关者报告说，关于数据的谈话让其他人感到“厌倦”。一名代表休闲渔民的南海岸RSG成员表示，“我认为SAT团队是在一个正直的地方运作，如果我知道结果，我会采取完全不同的策略。”另一位代表渔民的利益相关者评论说:“我们的目标是说服(组成团体的其他人)，如果我们公平参与，这个过程就没问题……这成了我们最大的问题……最终，我们无法相信这个过程。”该计划的一名工作人员将受访者的评论放在了更广阔的角度:“我认为存在担忧，尤其是消费性用途领域的人……that the data were being incorporated [into MarineMap], the layers were being used, and that there was not necessarily a sufficient discussion around data quality [of information in the tool].” Although numerically, participants with perspectives such as these were in the minority, for these individuals, concerns related to data accuracy and credibility were intimately related to perceived legitimacy of the overall decision-making process. It is impossible, however, to disentangle whether these individuals were more skeptical of this often-controversial planning process or whether events during the MLPA Initiative led to their disillusionment. Their experience suggests that discussions related to data accuracy can be either the cause, or expression of, suspicions resulting in perceptions of a process as illegitimate.
在MLPA倡议中，这些人足够少，以至于他们的不信任似乎对整个过程的感知成功的影响相对较小。一位RSG成员描述了他对数据的担忧如何影响MLPA倡议的观点:“最终人们达到了一个舒适的水平，好吧，这就是我们所拥有的……我不认为这是一个真正重要的问题，在一天结束的时候。我们没有掌握完美的信息，但这是现有的最佳信息，仍然足以推动行动。”尽管南海岸研究区域的决策有时尤其激烈，但海洋保护区最终被选址，法律也得以实施，尽管认为选址这些海洋保护区的决定不太合法的个人可能不太可能尊重最终的边界(Stern 2008)。然而，如果有更多的利益相关者在结束这一过程时对科学的可信度表示担忧，结果可能会有所不同。加利福尼亚州最初试图在1999年实施《海洋生物保护法》，但由于渔民担心基于他们没有参与的科学决策的合法性，这一过程失败了(Osmond et al . 2010)，提供了一个警示故事。
结论:作为过程的可信度和合法性
MarineMap的功能是一个社会学习场所，当数据稀缺、不确定或模糊时，利益相关者、MLPA计划工作人员和科学家就“最佳可用科学”的含义进行谈判。最后，大多数参与者认为这些数据是可信和合法的，无论科学家最终是否改变了权威数据源中的数据来反映利益相关者的观点多样性。我们的分析表明，在协商哪些数据被认为是可信和合法的过程中，讨论行为本身比最终是否采纳或采纳一个人的观点更重要。相比之下，当缺乏社会参与和对话时，那些觉得自己的声音没有被听到或观点没有得到尊重的人就会怀疑MarineMap中数据的可信度和/或合法性;推而广之，他们不信任决策过程。当参与性论坛导致参与者感到他们的担忧没有得到解决时，在其他地方也观察到类似的沮丧情绪(Risvoll et al. 2014)。
因此，在本研究中，我们强调最佳可用科学的概念来自一个过程;特别是，它们是参与者之间进行社会学习对话的结果。虽然回顾性方法不能完全理解为什么某些人在结束学习过程时感觉被排斥在学习社区之外，但未来的研究可以在多个时间点进行访谈。引申式访谈，参与者观看过程的视频，叙述动态，并描述他们的感受，也可以帮助阐明为什么有些人，而不是其他人，不信任过程和结果(Harper 2002, Henry and Fetters 2012)。此外，将本研究中发现的动态与未来案例中的动态进行比较，可以帮助阐明哪些方面是MLPA倡议所特有的，哪些方面代表了更普遍的趋势。MLPA倡议是一个资源充足的公私合作伙伴关系，采取了不同寻常的努力，以确保利益相关者的关切被纳入最终的海洋保护区网络(Kirlin et al 2013, Sayce et al 2013)。因此，它可以被视为一个关键案例(Flyvbjerg 2006)，其中不信任和不满的程度可能与任何参与性规划环境一样低。事实上，我们发现在这种情况下，某些人在离开过程时感到被忽视，这表明在没有相同资源用于确保公众参与的规划工作中可能存在类似的动态。
尽管有一些特殊的特点，MLPA倡议的经验为今后使用类似工具或数据源的参与性规划过程中帮助建立对数据可信度的共同看法提供了一些经验教训。首先，各机构应该意识到，利益相关者可能不同意官方对数据“权威”的看法。虽然可能有关于权威数据的官方政策，但在参与式规划过程中，更重要的目标可能是对当前决策所需的突出和可信信息达成共识。各机构甚至可以考虑明确设定一个中间的、面向过程的目标(Monroe et al. 2013)，以建立一个可信数据的共享视图。其次，虽然MLPA倡议有一个高度透明和明确的评估MPA提案的过程，但关于哪些数据将包含在MarineMap中或何时添加新数据层的决策方式，许多参与者并不清楚。工作人员和利益相关者指出，更明确和透明地说明谁做出了这些选择以及他们如何做出决定，可能会减轻对数据准确性或充分性的一些担忧。第三，发生在科学家和利益相关者之间的学习过程要求科学家合作，并允许公众对他们的数据和结论提出质疑，尽管SAT仍然对科学评估的最终决定负责。第四，重要的是要记住，这里描述的不信任是在相对较小的利益相关者群体中观察到的。我们强调这种动态，因为我们相信它揭示了将数据视为可信和将决策过程视为合法之间的联系。但是MLPA倡议的大多数利益相关者都创造性地、富有成效地参与了关于数据的共享学习过程。 One staff member pointed out that the data quality was, overall, of a higher standard than he had seen “in nearly all the other processes I’ve been involved in...to me, one of the things that the MLPA Initiative did was set very high standards for information-based decision making and it was criticized, in a sense, against those standards.” Future efforts can learn from the time and energy these scientists and stakeholders spent understanding the nuances of the scientific method through dialogue, which resulted in a group understanding of data that most of them considered sufficient for making decisions to the “best available science” standard.
因此，我们的研究结果表明，在参与式设置中使用的权威数据源不应该被视为对象，而应该被视为过程。权威数据源中围绕数据准确性的交互对于环境管理决策中的科学权威谈判至关重要。数据的可信度和合法性与其说是结果，不如说是谈判的过程，后者反过来会影响人们对决策合法性的认知。关于数据及其生成方式的对话是信任发展的基础，这不仅在规划阶段很重要，而且在帮助理解一旦保护区建立，周围地区的人们将如何与保护区互动方面也很重要(Stern 2008)。科学家、利益相关者、管理人员和参与式决策过程的召集人组成了学习社区，在学习社区中，关于数据准确性的对话方式会影响决策的成功。
致谢
感谢理查德·怀特、珍妮特·马丁内斯、梅格·考德威尔、威尔·麦克林托克、尼古拉·乌利巴里、丽贝卡·纳尔逊和丹·赖曼对手稿早期版本的评论。这项研究得到了斯坦福大学环境与资源埃米特跨学科项目、斯坦福地球科学学院麦吉研究基金和斯坦福法学院戈德史密斯研究基金的支持。
文献引用
Balram, S.和S. Dragicevic, 2006。合作地理信息系统。Idea Group Publishing, Hershey, Pennsylvania, USA。http://dx.doi.org/10.4018/978-1-59140-845-1
本森，D.， A.乔丹，L.史密斯，2013。环境管理真的更具协作性吗?对欧洲、澳大利亚和美国假定的“范式转移”的比较分析。环境及规划A45:1695 - 1712。http://dx.doi.org/10.1068/a45378
伯克斯，2009年。共同管理的演变:知识生成的作用，桥梁组织和社会学习。环境管理杂志90:1692 - 1702。http://dx.doi.org/10.1016/j.jenvman.2008.12.001
伯恩曼，L. 2008。科学同行评议:从科学理论社会学的角度分析同行评议过程。人类建筑:自我认知社会学杂志6(2): 3。(在线)网址:http://scholarworks.umb.edu/humanarchitecture/vol6/iss2/3
布尔歇，L.编辑。2011.汇聚水资源:将协作建模与参与性过程结合起来，以制定水资源决策。IWR出版社，亚历山大，弗吉尼亚州，美国。
加州渔业和狩猎法规，1999年。§2850 - 2863。海洋生物保护法．加州鱼类和野生动物部，萨克拉门托，加利福尼亚州，美国。
加州海洋保护委员会。2007.工作人员建议:加州海底测绘计划。10月25日th．美国地质调查局，华盛顿特区，美国。(在线)网址:http://walrus.wr.usgs.gov/mapping/csmp/COPC07SeafloorMapping.pdf
卡罗尔，m.s. 2008。科学的亮点和盲点:为什么客观知识不足以解决环境争议。重要的社会学34:725 - 740。http://dx.doi.org/10.1177/0896920508093365
卡什，D. W.， W. C.克拉克，F.阿尔科克，N. M.迪克森，N.埃克利，D. H.加斯顿，J. Jäger, R. B.米切尔，2003。可持续发展知识系统．美国国家科学院院刊100:8086 - 8091。http://dx.doi.org/10.1073/pnas.1231332100
Cochrane, g.r.， J. T. Watt, P. Dartnell, H. G. Greene, m.d. Erdey, B. E. Dieter, N. E. Golden, S. Y. Johnson, C. A. Endris, S. R. Hartwell, R. G. Kvitek, C. W. Davenport, L. M. Krigsman, A. C. Ritchie, R. W. slil, D. P. Finlayson, K. L. Maier. 2015。加利福尼亚州水域地图系列——加利福尼亚州鸽子点近海。打开文件报告2015-1232，小册子40。美国地质调查局，华盛顿特区，美国。http://dx.doi.org/10.3133/ofr20151232
科本，J. 2007。环境健康科学中的社区知识:共同制定政策专门知识。环境科学与政策10:150 - 161。http://dx.doi.org/10.1016/j.envsci.2006.09.004
克雷文斯，2014年出版。需求先于工具:利用技术解决环境冲突。冲突解决季刊32(1): 3-32。http://dx.doi.org/10.1002/crq.21071
克雷文斯，2016年出版。使用协作软件进行谈判和决策:MarineMap如何在加州海洋生物保护法案倡议中“改变游戏规则”。环境管理57(2): 474 - 497。http://dx.doi.org/10.1007/s00267-015-0615-9
戴尔，A.和D.阿米蒂奇，2011。加拿大北极地区海洋哺乳动物的共同管理:学习和适应能力的知识共同生产。海洋政策35:440 - 449。http://dx.doi.org/10.1016/j.marpol.2010.10.019
丹尼尔斯，S. E.和G. B.沃克，2001。解决环境冲突:协作学习方法。普雷格，西港，康涅狄格州，美国。
邓斯比，2004。衡量环境健康风险:公共知情权法的谈判。科学、技术和人类价值29:269 - 290。http://dx.doi.org/10.1177/0162243904264482
艾默生，K.纳巴奇，S.巴洛格，2012。协同治理的综合框架。公共管理研究与理论杂志22:1-29。http://dx.doi.org/10.1093/jopart/mur011
弗莱布杰，B. 2006。关于案例研究的五个误解。定性调查12:219 - 245。http://dx.doi.org/10.1177/1077800405284363
《框架》，T. M.冈顿和J. C.戴，2004年。合作在环境管理中的作用:不列颠哥伦比亚省土地和资源规划的评价。环境规划与管理杂志47:59 - 82。http://dx.doi.org/10.1080/0964056042000189808
弗朗西斯，T.， K.惠特克，V.山达斯，A. V.米尔斯和J. K.格雷比尔，2005。将科学纳入环境政策过程:来自华盛顿州的案例研究。生态与社会10(1): 35。(在线)网址://www.dpl-cld.com/vol10/iss1/art35/
格拉克，A. K.和T.海克拉，2011。在合作中建立学习理论:来自沼泽地恢复计划的证据。公共管理研究与理论杂志21:619 - 644。http://dx.doi.org/10.1093/jopart/muq089
Gerlach, J. D.， L. K. Williams, C. E. Forcina, 2013。生物多样性管理决策的数据选择:最佳可用科学和制度化机构规范。行政与社会45:213 - 241。http://dx.doi.org/10.1177/0095399712451886
吉琳，1999年。科学的文化边界:信誉岌岌可危。芝加哥大学出版社，芝加哥，伊利诺伊州，美国。
格里森，M.， E.福克斯，S.阿什克拉夫特，J.瓦斯克斯，E.怀特曼，P.塞尔帕，E.萨尔曼，M.考德威尔，A.弗里莫迪格，M.米勒-汉森，J.柯林，B.奥塔，E.波普，M.韦伯和K.怀斯曼，2013。在加利福尼亚州设计海洋保护区网络:成就、成本、经验教训和未来的挑战。海洋及海岸管理74:90 - 101。http://dx.doi.org/10.1016/j.ocecoaman.2012.08.013
哈珀，2002。谈论图片:图片启发的一个案例。视觉研究17:13-26。http://dx.doi.org/10.1080/14725860220137345
Hegger, D.， M. Lamer, A. Van Zeijl-Rozema, C. Dieperinka, 2012。区域气候变化适应项目的联合知识生产:成功条件和行动杠杆。beplay竞技环境科学与政策18:52 - 65。http://dx.doi.org/10.1016/j.envsci.2012.01.002
海克拉，T.和A. K.格拉克，2013。建立集体学习的概念方法:公共政策学者的经验教训。政策研究杂志41:484 - 512。http://dx.doi.org/10.1111/psj.12026
亨利，S. G.和M. D.费特斯，2012。视频启发式访谈:调查医患互动的定性研究方法。家庭医学年鉴10:118 - 125。http://dx.doi.org/10.1370/afm.1339
柯林，J.， M.考德威尔，M.格里森，M.韦伯，J.乌戈雷茨，E.福克斯和M.米勒-汉森。2013.加州海洋生物保护法倡议:支持实施立法，建立全州范围的海洋保护区网络。海洋及海岸管理74:3-13。http://dx.doi.org/10.1016/j.ocecoaman.2012.08.015
卢卡奇，H. A.和N. M.阿尔多因，2014。阿巴拉契亚地区地域再造与流域群体参与的关系。社会与自然资源27(1): 55 - 69。http://dx.doi.org/10.1080/08941920.2013.840876
MacEachren, M. 2004。地图的工作原理:表现、可视化和设计。吉尔福德，纽约，纽约，美国。
马尔切夫斯基，J. 2006。基于GIS的多标准决策分析:文献综述。国际地理信息科学杂志20:703 - 726。http://dx.doi.org/10.1080/13658810600661508
马蒂斯，C.朱波尼，B.奥斯坦多夫，2007。环境决策支持系统:当前问题、方法和工具。beplay官网世界杯环境建模与软件22:123 - 127。http://dx.doi.org/10.1016/j.envsoft.2005.09.005
梅里菲尔德，m.s.， W.麦克林托克，C.伯特，E.福克斯，P.瑟帕，C.斯坦贝克和M.格里森，2013。MarineMap:一个基于网络的协同海洋保护区规划平台。海洋及海岸管理74:67 - 76。http://dx.doi.org/10.1016/j.ocecoaman.2012.06.011
门罗，m.c.， R. Plate, A. Oxarart, 2013。中间协作适应性管理策略构建利益相关者能力。生态与社会18(2): 24。http://dx.doi.org/10.5751/ES-05444-180224
摩根，e。A。和d。c。格兰特-史密斯。2015.科学与反抗的故事:在水循环辩论中，共同学习和合作弥合科学/情感分歧的案例。环境规划与管理杂志58(10): 1770 - 1788。http://dx.doi.org/10.1080/09640568.2014.954691
穆罗，M.和P.杰弗里，2008。对参与式自然资源管理过程中社会学习的理论和应用的批判性回顾。环境规划与管理杂志51(3): 325 - 344。http://dx.doi.org/10.1080/09640560801977190
奥克斯，L. E.， N. M. Ardoin, E. F. Lambin, 2016。“我知道，所以我适应?”阿拉斯加个体适应气候引起的森林枯死的复杂性。生态与社会21(2): 40。http://dx.doi.org/10.5751/ES-08464-210240
奥斯蒙德，S.艾莱姆，M.考德威尔，J.戴，2010。海洋保护规划的教训:三种海洋保护区规划过程的比较。海洋及海岸管理53:41-51。http://dx.doi.org/10.1016/j.ocecoaman.2010.01.002
帕尔-沃斯特，C. 2006。社会学习在恢复河流和洪泛区多功能方面的重要性。生态与社会11(1): 10。(在线)网址://www.dpl-cld.com/vol11/iss1/art10/
里德，m.s.， A. C.伊夫利，G.坎迪尔，I.法齐，J.格拉斯，A.莱恩，J. Newig, B.帕里什，C. Prell, C. Raymond和L. C. Stringer。2010。什么是社会学习?生态与社会15 (4): r1。(在线)网址://www.dpl-cld.com/vol15/iss4/resp1/
里德林格，D.和F.伯克斯，2001。传统知识对理解加拿大北极地区气候变化的贡献。beplay竞技极地记录37:315 - 328。http://dx.doi.org/10.1017/S0032247400017058
C.里斯沃尔，G.费德雷海姆，A.桑德伯格和S.伯恩西尔弗，2014。牧民参与挪威北部国家公园的管理是否有助于适应性治理?生态与社会19(2): 71。http://dx.doi.org/10.5751/ES-06658-190271
鲁克斯，d.j.， K. H.罗杰斯，H.比格斯，P. J.阿什顿，A.萨特，2006。弥合科学与管理的鸿沟:从单向的知识转移到知识接口和共享。生态与社会11(1): 4。(在线)网址://www.dpl-cld.com/vol11/iss1/art4/
萨尔曼，E.格里森，J.乌戈雷茨，S. Airamé， M.卡尔，E.福克斯，A.弗里莫迪格，T.梅森，J.瓦斯克斯，2013。科学在支持加州海洋保护区网络规划和设计中的作用。海洋及海岸管理74:45-56。http://dx.doi.org/10.1016/j.ocecoaman.2012.08.021
塞斯，K.舒曼，D.康纳，A.赖塞维茨，E.波普，M.米勒-汉森，E.庞塞莱特，D. Monié，和B.欧文斯，2013。超越传统的利益相关者参与:加州全州海洋保护区规划过程中的公众参与角色。海洋及海岸管理74:57 - 66。http://dx.doi.org/10.1016/j.ocecoaman.2012.06.012
舒斯勒，T. M.德克尔，M. J.普费弗，2003。协同自然资源管理中的社会学习。社会与自然资源16:309 - 326。http://dx.doi.org/10.1080/08941920390178874
谢泼德，1995。地理信息系统与社会:朝向研究议程。地图学与地理信息系统“，22:5-16。
Star, S. L.和J. R. Griesemer, 1989。制度生态学，“翻译”和边界对象:伯克利脊椎动物博物馆的业余和专业人员，1907-39。科学社会研究19:387 - 420。http://dx.doi.org/10.1177/030631289019003001
斯特恩，2008年。信任的力量:一个地方反对邻近保护区的理论。社会与自然资源21:859 - 875。http://dx.doi.org/10.1080/08941920801973763
施特劳斯，A.和J. M.科尔宾，1998。定性研究基础:发展扎根理论的技术和程序。SAGE，纽约，纽约，美国。
美国内政部，2006年。地理空间现代化蓝图。项目章程2006年2月10日。美国DOI，华盛顿特区，美国。(在线)网址:http://www.fgdc.gov/fgdc-news/initiatives/geospatial-modernization-blueprint/documents/Geo_spatial_Blueprint_Charter%20finalv.2.pdf
美国地质调查局(USGS)。(日期未知)。数据采集方法。USGS，雷斯顿，弗吉尼亚州，美国。(在线)网址:https://www2.usgs.gov/datamanagement/acquire/methods.php
Vinke-de Kruijf, J. H. Bressers和D. C. M. Augustijn. 2014。社会学习如何影响进一步的合作:来自国际合作水项目的经验。生态与社会19(2): 61。http://dx.doi.org/10.5751/ES-06540-190261
Voinov, A.和F. Bousquet, 2010。与利益相关者建模。环境建模与软件25:1268 - 1281。http://dx.doi.org/10.1016/j.envsoft.2010.03.007
怀特，D. D.， A.伍蒂奇，K. L.拉尔森，P.戈贝尔，T.兰特和C.塞内维尔，2010。边界对象的可信性、显著性和合法性:水管理者在沉浸式决策剧场中对模拟模型的评估。科学与公共政策37:219 - 232。http://dx.doi.org/10.3152/030234210X497726
伍德，D.和J.费尔斯，1992。地图的力量。吉尔福德，纽约，纽约，美国。
莱特，s.l.邓肯，D.拉赫，2009。社会权力和地理信息系统技术:自然资源管理方法的审查和评价。美国地理学家协会年鉴99:254 - 272。http://dx.doi.org/10.1080/00045600802686299
韦恩，1992。误解误解:社会认同和公众对科学的理解。公众对科学的理解1:281 - 304。http://dx.doi.org/10.1088/0963-6625/1/3/004
