研究

用于管理具有深度不确定阈值响应的生态系统的多目标稳健决策

• 摘要
• 简介
  • 期望效用最大化框架在生态系统管理策略分析中的局限性
  • 预期效用最大化框架局限性的潜在解决方案
• 多目标稳健决策(MORDM):建设性决策辅助框架
  • 框架概述
• 多目标鲁棒决策在湖泊问题中的应用
  • 步骤1。引出系统模型、决策、不确定性、目标和约束
  • 步骤2。可供选择的问题公式
  • 步骤4。根据涉众的性能需求定义健壮性
• 结果
  • 步骤3。典型不确定性下的权衡
  • 权衡利弊，探索多样化的选择
  • 第5步。特征良好的不确定性下的稳健性分析
  • 步骤6。深度不确定性下的稳健性分析
• 讨论
• 注意事项和未来研究需要
• 结论
• 对本文的回应
• 致谢
• 文献引用

介绍

管理生态系统提出了具有挑战性的决策分析问题，因为(1)存在几个具有相互冲突目标的利益相关者，(2)高度非线性阈值响应的可能性，以及(3)潜在的深度不确定性。当计划者无法同意或识别未来可能事件的全部范围，包括它们相关的概率分布时，就会出现深度不确定性(Knight 1921, Lempert et al. 2006)。在利益相关者的目标相互冲突的情况下，不同管理行动之间存在明确的权衡。在定义生态系统管理问题时，例如选择目标、管理决策、规划视野等，以及预测行动的影响(例如，对系统动力学、外部强迫或环境阈值的不完善知识)，绘制这些权衡会带来不小的概念和计算挑战(Clark 2005, Lempert and Collins 2007, Keller and McInerney 2008, McInerney et al. 2012)。表示高度非线性阈值响应或临界点的潜力是至关重要的，因为超过这些阈值可能导致制度转变，从而显著降低部分或所有利益相关者的目标(Bennett et al. 2008)。目前生态系统管理的决策支持工具在应对这些相互作用的挑战方面能力有限(Lempert和Collins 2007年)。在整个研究过程中，我们使用术语“利益相关者”来指代决策过程中的各种利益相关者。

图1将定义生态系统管理问题时出现的两个主要挑战进行了分类:(1)适当地考虑不确定性，以及(2)考虑不同的利益相关者目标。表示不确定性的方法被安排在x轴上，随着概念和计算复杂性的增加:从确定性开始，即完美的预见，假设，转向使用单一概率分布函数(PDF)捕获的特征良好的不确定性，接下来过渡到用多个PDF表示的深度不确定性，最后，基于新的观察来主动减少不确定性。y轴排列了在增加复杂性的情况下，将利益相关者的目标纳入其中的方法:从使用效用函数中偏好的单一先验抽象来评估管理行动(Ramsey 1928, von Neumann和Morgenstern 1944)开始，转向加权方案，将多个目标聚集到一个单一的度量中，如传统的多标准决策分析所代表的(Brink 1994, Ralph 2012, Köksalan等人2013)，最后，多目标分析，其中利益相关者的目标是在替代方案之间的明确权衡后引出的。

如图1所示，在解决湖泊问题时，基于其基本方法，先验决策分析框架已映射到不确定性和目标轴上。湖泊问题有着悠久的历史，它代表了一个具有非线性不确定阈值响应的假设湖泊。湖泊问题是一系列环境问题的代表管理问题，如渔业崩溃和气候突变(Carpenter et al. 1999, Brozovic and Schlebeplay竞技nker 2011)。问题的叙述描述了一个城镇附近的一个湖。市民们必须确定一种能够满足相互矛盾的目标的污染策略，比如在保持湖泊健康的同时实现经济收益最大化。在这里，我们将湖泊问题的遗产作为比较和对比环境管理决策框架的试验台。通过这个例子，我们首先展示了标准方法如何限制涉众驾驭客观不确定性环境的能力。然后我们将讨论克服这些限制的途径。最后，我们提出了一个决策分析框架，使利益相关者能够解决这些挑战，同时将其与更传统的方法进行对比。

期望效用最大化框架在生态系统管理策略分析中的局限性

一般的生态系统管理文献，特别是对湖泊问题的分析，都侧重于将预期效用最大化(MEU)作为评估替代策略的唯一目标所代表的经济价值(Carpenter et al. 1999, Maler et al. 2003, Bond 2010, Brozovic and Schlenker 2011, Horan et al. 2011, Johnson et al. 2013)。这些标准方法位于图1的左下角。尽管MEU的应用由来已久，但在应用于生态系统管理问题时，它至少面临两个限制。首先，MEU用一个先验的聚合效用函数评估可选动作。这限制了在不同利益相关者之间往往存在分歧的目标之间进行权衡的能力，例如，最大化净经济效益与确保可持续性(Common和Perrings 1992, Ludwig 2000, Morse-Jones等人2011,admiral等人2013)。价值函数对不直接影响它们的生态系统属性(例如物种的损失)也不敏感，并且可以为非线性、基于阈值的系统提出导致生态系统崩溃的策略(Admiraal et al. 2013)。

其次，MEU方法的标准实现假设所有不确定性都可以用单一的联合概率密度函数表示，利益相关者选择的替代方案使该PDF中的价值函数的期望值最大化(Carpenter et al. 1999, Peterson et al. 2003, Bond and Loomis 2009)。在存在深度不确定性的情况下，这是一个糟糕的假设，当系统参数或力的唯一分布无法指定时，就会出现这种不确定性(Knight 1921, Lempert et al. 2006)。此外，已经表明利益相关者是不喜欢模糊的。他们更喜欢已知概率的利润，而不是未知概率的利润(Ellsberg 1961)。因此，利益相关者并不总是选择最大化他们预期效用的替代方案。对模糊性的厌恶存在于许多应用领域，包括健康、环境、谈判等(Becker和Brownson 1964年，Curley和Yates 1985年，Hogarth和Kunreuther 1989年，Kuhn和Budescu 1996年，Budescu等人2002年)。

预期效用最大化框架局限性的潜在解决方案

从MEU框架中的单目标表述转向多目标框架可以提供关于紧张和权衡的见解(Brill等，1990)。如果两个或多个目标冲突，对多个目标的优化会产生许多非支配的解决方案，这些解决方案包括帕累托前沿，或权衡曲线。非支配性意味着在任何给定目标中的解决方案性能都不能在不损失至少一个其他目标的情况下得到改善。这为利益相关者提供了多种选择，而不是单一的最佳策略(帕累托1896,Cohon和Marks 1975)。明确了解各种替代方案之间的权衡可以显著改变利益相关者对替代方案的偏好，并扩大规划过程中所包含的价值范围(Brill等人，1990年，Fleming等人，2005年，Kasprzyk等人，2009年，2012年，Woodruff等人，2013年，Zeff等人，2014年)。

确定帕累托最优策略提出了重大的计算挑战，这严重限制了超越MEU方法探索更丰富目标集的研究数量(McInerney等人，2012年，White等人，2012年)。White等人(2012)提出了这样一种权衡分析，用于管理部门之间的共享海洋资源，如海上风能、商业捕鱼和观鲸。他们表明，在分析中包括几个目标可以防止重大损失(100万英镑)，产生额外价值(100亿英镑)，为管理者提供一种方法来合并无法用货币单位衡量的部门(保护)，增加决策过程的透明度，并有助于避免由感知到的但薄弱的权衡引起的不必要的冲突。McInerney等人(2012)展示了一种绘制权衡曲线的方法，该权衡曲线由两个值之间的偏好转换定义，使利益相关者能够在事后选择他们期望的妥协水平。这两项研究都通过改变不同目标的权重来生成权衡曲线，以确定每次优化的帕累托前沿上的一个点(Chankong和Haimes 1983)。然而，对于三个或三个以上的目标，这在计算上变得昂贵，并且可以说在计算上是不可行的，因为在增加客观计数时解决的子问题数量的阶乘增长(Teytaud 2007)。

除了量化关键权衡的挑战之外，评估解决方案对深度不确定性的稳健性也很关键(Lempert et al. 2003, Dixon et al. 2007, Lempert and Collins 2007)。在选择首选的权衡解决方案时，利益相关者可能更喜欢在深度不确定的世界状态(SOW)上具有减少但一致的多目标性能的策略，而不是通过假设具有良好特征的不确定性而在预期的SOW中获得的最优策略(Lempert和Collins 2007)。鲁棒性分析通常采用在表示深度不确定性的不同sow下的平均效用损失(遗憾)最小化(Lempert et al. 2003, Dixon et al. 2007, Lempert and Collins 2007)。以上所引用的稳健性研究均采用单变量目标函数，并一致表明，在存在深度不确定性时，单目标绩效会退化。然而，这些研究通常对其他潜在目标(如多目标遗憾)的内隐退化保持沉默。基于单一目标的稳健性分析允许涉众沿着图1的不确定性轴前进，但限制了沿着目标轴的移动。在多目标上下文中定义稳健性，允许涉众确定跨多个目标以及在深度不确定性下表现良好的解决方案，从而允许他们沿着图1中的两个轴遍历并到达由星形表示的理想位置。

多目标稳健决策:一种建设性决策辅助框架

越来越多的人认识到，决策分析框架需要转向更灵活的问题制定过程，其中利益相关者可以根据需要添加/删除目标，探索每个制定的后果，并确定以前不可见的新替代方案(Brill等人1990年，Tsoukias 2008年，Kasprzyk等人2013年，Woodruff等人2013年)。我们展示了多目标稳健决策(MORDM)作为一个潜在的框架，以促进这种建设性的决策，以帮助解决湖泊问题。多目标稳健决策结合了多目标进化搜索和稳健决策的优势(Lempert和Collins 2007, Kasprzyk等人2013,Reed等人2013)。多目标进化算法搜索有助于利益相关者搜索可行策略的空间，并发现构成最优权衡的替代方案，而稳健决策有助于测试策略在不断变化的不确定性假设下的性能。多目标稳健决策还利用了高维视觉分析(Thomas and Cook 2005, Kollat and Reed 2007, Keim et al. 2010)和多目标优化方面的最新技术进展。该框架采用BORG多目标进化算法(MOEA)，该算法可以为一系列目标和不确定性表示的非线性、基于阈值的动态问题提供高质量的权衡逼近(Coello等人，2005年，Fleming等人，2005年，Hadka和Reed等人，2012年，Reed等人，2013年，Woodruff等人，2013)。

如果不确定性被很好地描述，可以使用后验权衡分析，根据基线不确定性下的预期绩效，引出利益相关者更喜欢的管理行动。然而，当不确定性很深时，利益相关者可能会改变他们的首选管理策略，如果有必要在代表深度不确定性的更广泛的sow集合上，在具有良好特征的不确定性基线下的高绩效与满足多目标绩效之间进行权衡(Simon 1959)。我们指的是在其组成目标以及深度不确定性下表现可接受的帕累托满足策略。第三种可能性是，在深度不确定性下，使用特定问题框架确定的策略没有一种表现良好，这可能表明需要从根本上改变问题形式。通过这种方式，MORDM有助于在特征良好的不确定性下做出明智的后知权衡决策，在深度不确定性下最小化多目标性能损失，以及在无法识别出稳健策略时进行问题证伪。其他鲁棒性方法，如信息差距(Ben-Haim 2001)和决策缩放(Brown et al. 2012)表示围绕一小部分用户指定操作的局部敏感性分析。他们缺乏对备选方案的全球多目标探索，对极不确定的权衡进行量化的能力有限。

在工程应用中，MORDM已被证明是成功的。例如，Kasprzyk等人(2013)发现，将多目标背景下的稳健性作为决策标准，将极大地改变城市供水规划问题公式的选择及其权衡方案。伍德拉夫等人(2013)发现了两类使用十目标问题公式的飞机设计，而使用先前高度聚合的目标规划公式是不明显的。在一个真实的多利益相关者应用中，Herman等人(2014)为寻求协调缓解干旱供水风险的四个城市确定了关键的权衡和基于需求的失效模式。最近开源软件的可用性和MORDM在一系列工程应用中的全面测试的增长，为其在更广泛的环境问题中的使用奠定了基础(Haasnoot等人，2013年，2014年，Kwakkel等人，2014年)。例如，它可以用于分析极具挑战性的环境管理问题，如地球工程、气候变化适应等。beplay竞技

框架概述

多目标稳健决策(MORDM)通常以迭代方法实现(图2)。第一步是通过调查或访谈引出利益相关者的目标、潜在的管理决策、约束、不确定性和系统规划模型。第二步是通过试验不同的目标或它们的组合、决策和系统不确定性特征来生成可选的问题公式。一旦确定了可选问题公式，并指定了基线特征良好的不确定性，就可以在步骤3中评估不同目标之间的潜在权衡。在此步骤中，将结果呈现给涉众。通过查看目标之间的权衡，以及理解一个目标中所需的妥协，以保持另一个目标中令人满意的性能，涉众可以选择一个或多个替代方案。如果没有一个替代方案是可接受的，涉众可以选择在步骤3和步骤2之间改变由灰色箭头表示的问题公式。

在此之后，框架的健壮性组件需要一个引出步骤，其中涉众确定他们愿意接受的系统性能的最低水平。这些度量可以与建模的目标或约束相关，也可以与优化过程中未包含的其他度量相关，例如，在查看权衡后出现的新约束或度量。因为在权衡分析之后引出了性能需求，涉众对他们偏好的管理策略的结果有了理解，即，一个后验决策。在此基础上，解决方案相对于涉众的性能需求的稳健性可以在第5步中进行评估。精心引出的稳健性措施使利益相关者了解在特征明确的不确定性下管理行动的脆弱性。在这个阶段，如果发现很少或没有一个解决方案是健壮的，可以要求利益相关者改变他们的性能阈值，例如，减少他们的风险厌恶并返回步骤4，或者通过添加/删除目标/决策变量来制定问题，即返回步骤2。

一旦在特征良好的不确定性下确定了健壮的解决方案，就会在深度不确定性场景下对它们进行测试，并在步骤6中重新评估它们的健壮性。在这个阶段，如果涉众对深度不确定性下的解决方案的性能和健壮性不满意，他们可以再次回到步骤2或步骤4。在这个过程的最后，涉众应该已经确定了一个问题的表述和相关的解决方案策略，满足各种目标，并且在特征良好和深度不确定性下都是健壮的。最后，实施战略，并监测所选战略对生态系统的影响。如果利益相关者的目标发生意外变化，整个过程可以重复，即Tsoukias(2008)讨论的建设性决策辅助。

需要强调的是，可视化分析是MORDM过程的关键组成部分，没有它，使利益相关者探索不同选择的不同选择和结果的目标将是不可实现的(Stump等人，2003年，Kollat和Reed, 2007年，Castelletti等人，2010年，Reed等人，2013年，Woodruff等人，2013年)。在决策过程的开始阶段，涉众对他们的目标之间复杂的相互作用可能只有有限的理解。他们对不同衡量方法可能产生的绩效范围的认识也可能有限。在权衡曲线可视化之后选择候选策略，避免了与先验加权方法相关的偏差，这可能会隐藏关键的见解。

多目标鲁棒决策在湖泊问题中的应用

在本研究中，我们使用MORDM解决了湖泊问题的四个主要问题:

1. 加入更多的规划目标是否有助于避免湖泊的富营养化崩溃?
2. 利益相关者在不同时期的目标和对水质的影响之间的主要冲突是什么?
3. 在特征良好的不确定性下获得的策略在重新评估其稳健性时表现如何?
4. 其他利益相关者的偏好和对管理湖泊的稳健性的定义有什么影响?

我们的方法和结果描述遵循图2所示的MORDM步骤。在方法描述中，我们定义了系统模型，相关的不确定性等(步骤1)。接下来，定义了三个问题公式，P1, P2和P3(步骤2)。使用补充文本“进化多目标优化”中描述的优化框架确定了这些多个问题公式的最佳策略(步骤3;我们在评估稳健性的小节(步骤4)中讨论了估计稳健性的方法。

在结果中，我们首先在结果小节“特征良好的不确定性下的权衡分析”(步骤3)中提出了基线预期权衡。接下来，小节“导航权衡以探索不同的替代方案”说明了利益相关者如何可视化地导航权衡空间并选择代表竞争偏好的解决方案。然后，我们使用模拟的利益相关者的绩效需求来评估解决方案在特征明确的不确定性(步骤5)下的鲁棒性，然后在深度不确定性(步骤6)下的鲁棒性。附录2(表A2.1)总结了湖泊问题中每个步骤所做的各种选择。

步骤1。引出系统模型、决策、不确定性、目标和约束

湖泊模型

湖泊问题是一个位于湖泊附近的城镇所面临的假设决策问题(图3)。该模型由Carpenter et al.(1999)通过分析湖泊的行为而开发。城镇居民必须决定在给定的规划范围内可以排放到城镇湖泊的允许污染量，也就是说，他们必须制定污染控制策略。在每一个时间步骤中，小镇以磷的形式向湖中释放一定数量的人为污染。还有一些不受控制的自然流入湖泊。根据参数所代表的属性，该湖能够去除部分污染(磷)b而且问。湖中磷的动态近似为:

(1）

在那里,X_t表示当时湖中的磷(无因次)t(年);一个_t(无因次)表示当时湖水中允许的人为污染t；b而且问为湖泊模型参数。总的来说，它们代表了湖泊通过沉淀、流出和消费者或底栖植物生物量的封存来去除磷的能力，并主要从沉积物中回收磷。最后一项表示流入湖泊的自然流量，这是不受利益相关者控制的。在本研究中，它们以具有指定均值和标准偏差的对数正态分布表示。允许人为污染流动一个_t是唯一可以改变以实现各种污染策略的决策变量。

Carpenter et al.(1999)的湖泊问题公式很简单，但概念丰富。它具有表示临界点、非线性和深度不确定性的能力(Carpenter et al. 1999, Lempert and Collins 2007)。Carpenter et al.(1999)论证了不确定性、滞后等因素对最优策略的影响。在一项开创性的研究中，Peterson等人(2003)表明，如果湖泊富营养化阈值存在不确定性，利益相关者最大化其预期效用会导致湖泊生态系统的周期性崩溃。Lempert和Collins(2007)分析了决策问题，以确定健壮的解决方案，妥协的最优可接受的性能在更广泛的不确定性假设。关于湖泊模型动力学的详细信息请参见附录3。表1列出了与设置的湖泊问题相关的参数值。

代表关键的不确定性

由于几个来源，例如，控制湖泊动态和经济的参数，随机随机流入，确定目标函数等，可能会在湖泊模型中产生不确定性。在我们的研究中，我们关注自然污染流入湖泊的不确定性。我们分析了两种类型的不确定性对所选策略的影响，即特征不确定性和深度不确定性。采用对数正态分布(方程1)对湖泊随机流入的不确定性进行随机建模。当对数正态分布的参数预先指定时，它表示具有良好特征的不确定性的情况。另一方面，如果利益相关者对不确定性的表征不确定，在这种情况下，对数正态分布的参数，他们面临着一个简单的深度不确定性的情况。

深度不确定性被纳入分析，以展示经典的基于风险的分析与基于多个场景的稳健性分析的影响。多重概率分布函数(PDFs)的使用类似于以往研究中用于描述深度不确定性的方法(Epstein和Wang 1994, Krishnamurti等人1999,Lempert和Collins 2007)。我们选择了9个分布来表示使用标准抽样技术的深度不确定性:通过在基线不确定性分布上下移动增量。选择基线不确定性分布的均值，使其为单目标优化策略下污染流入均值的一半。基线分布的方差的选择使得产生下一个较高/较低之间污染估计的方差值均值被选中。对数正态分布，表示特征良好的不确定性，或基线风险情景，以及深度不确定性，如图4所示。相应参数如表2所示。每个PDF被用来生成10,000个随机母猪，从而在我们的研究中使用了90,000个母猪。

目标和约束条件

在确定环境管理战略时，只关注经济价值会导致限制性问题框架，从而限制利益相关者探索的替代方案的类型(Brill et al. 1990)。在探索决策偏差的文献中，这种担忧被称为认知近视(Hogarth和Kunreuther 1989, Brill等人1990)。最近关于认知近视如何对决策产生负面影响的例子已经发表在水管理和复杂工程系统设计方面(Kasprzyk等人，2012年，Woodruff等人，2013年)。多目标稳健决策提供了更广泛的权衡背景，以及发现更多样化的管理政策的潜力，以克服布里尔等人(1990)提出的认知短视。

鉴于其在湖泊问题分析中的广泛应用，我们选择效用净现值的期望作为第一个目标。我们确定了另外四个目标，它们代表了虚构城镇中的不同利益相关者。其中一些目标是生态系统服务的代表，即湖中的磷水平，而其他目标则是经济服务的时间分布的代表，即现在与未来的效用。这种方法可以解释为代表五个假设的利益相关者组，他们的偏好映射到一个目标。因此，在分析中考虑了以下目标:期望效用的净现值折现(最大化)，湖中磷的平均水平(最小化)，当前利益相关者的期望效用(最大化)，未来利益相关者的期望效用(最大化)，以及保持湖泊低于富营养化阈值的可靠性(最大化)。这些目标被标记为O₁来O₅,分别。在可靠性目标上设置了一个约束，因为它捕捉到了对湖泊的关键经济和生态系统服务的不可逆转的损失的强烈厌恶，这将导致富营养化。关于每个目标和约束的详细定义，请参阅附录3。

步骤2。可供选择的问题公式

这五个目标用于生成三个不同的问题公式，代表三个潜在的框架，以确定一个适合的湖泊污染策略。

• 确定性单一目标(P1):此公式使效用的净现值最大化(O₁)，忽略所有不确定性，在完全预见的假设下确定一个最优管理策略。
• 随机单目标(P2):此公式使期望效用的净现值(O₁)假设自然流入的不确定性特征明确，并确定了单一的最优管理策略。公式P1和P2总结如下:

（2）

在这些方程中，F（x)为待优化目标函数向量，x是决策向量，和N母猪的数量是多少O₁进行了优化。

• 随机五个目标(P3):该公式确定了在考虑所有目标(O₁，O₂，O_3.，O₄,O₅同时)。帕累托近似前沿由所有非支配策略组成，也就是说，最大化一个目标而不降低这些策略中另一个目标的价值是不可能的。公式如下:

（3）

在这里,c_rel是可靠性度量的约束，它只允许那些在可靠性目标中执行高于0.9的解决方案是可行的。

步骤4。根据涉众的性能需求定义健壮性

已经提出了几个稳健性指标来评估管理行动是否在深度不确定因素采样的替代母猪中仍然可行(Starr 1963, Schneller和Sphicas 1983, Lempert等人2003,Dixon等人2007,Lempert和Collins 2007, Kasprzyk等人2013,Herman等人2015)。Lempert等人(2003:52)将稳健性定义为“在广泛的合理未来范围内，与替代方案相比表现相当良好”。他们提出了诸如遗憾之类的衡量标准，定义为在不确定的情况下，所选策略的表现与该情况下的最佳策略之间的差异。平均遗憾较小的策略被归类为稳健策略。Lempert和Collins(2007:1009)进一步比较了各种备选方案，以评估稳健性:“用一些最优表现来换取对假设的不太敏感，满足广泛的合理期货，并保持期权的开放性。”Herman等人(2015)对稳健性措施进行了全面评估。尽管大多数研究都认为稳健性与策略在不确定状态下的表现有关，但据我们所知，只有少数研究将稳健性视为多标准遗憾，而其他研究则专注于单一的客观测量(Kasprzyk等人，2013年，Herman等人，2014年)。

在我们的分析中，多个目标的存在需要将健壮性与跨涉众定义的变量以及多个sow的性能联系起来。这形成了我们健壮性度量的基础，该度量将健壮性估计为策略满足性能要求的总sow的百分比。稳健性指标的估计需要规范两个准则:

1. 绩效阈值:利益相关者为感兴趣的变量确定最小可接受的绩效，低于此阈值的绩效恶化被认为是不可接受的。这些变量可以与基于涉众需求的目标相同或不同。
2. 通过一组世界状态(sow)表示的不确定性:我们考虑两种类型的不确定性表示:特征良好的不确定性和深度不确定性。不确定性的两种表示都是通过一组场景或sow来量化的，这些场景或sow是从固定(变量)参数的对数正态分布中采样的，用于特征良好的(深度)不确定性。

满足给定SOW中所有变量的性能阈值的策略对于该SOW为1分，否则为0分。在一系列变量中实现可接受的性能的策略，而不是在一个变量中可接受或高成就，而在其他变量中是次优的，被称为“令人满意的”。健壮性被定义为策略实现令人满意的性能的sow的比例。基于这一框架，在所有变量上表现良好的策略将比在一个或多个(但不是所有)变量上表现最佳的策略，或在不断变化的场景下在任何变量上表现严重恶化的策略，获得更高的鲁棒性。稳健性指标的详细数学描述见附录3。表3列出了研究中使用的目标函数和问题公式。

结果

步骤3。典型不确定性下的权衡

图5说明了单目标问题公式中固有的决策短视，以及在决策分析中不包括不确定性的后果。对于P1和P2，我们得到了单一的最优污染控制策略，而对于P3，我们得到了399个pareto近似策略。因此，我们在图5所示的所有目标下评估了401种策略。红星代表理想点，它显示了同时通过所有目标可以获得的最佳可能值。尽管由于目标冲突，理想的解决方案对于考虑的问题公式实际上并不可行，但它为评估潜在妥协提供了可视化参考。右边立方体中较大的方框表示跨越P1、P2和P3的目标函数值范围。较小的方框只涵盖P2和P3的目标函数值范围。为了清晰起见，左边的立方体显示了P2和P3的性能权衡的放大视图。左边和右边面板之间的比较表明，整个帕累托近似前沿与绿色解决方案落在一个小得多的区域内，当考虑到确定性解决方案的性能时。

基于P1的策略，即确定性效用，在更大范围的不确定性和额外目标下重新评估时，在所有目标上的性能都急剧恶化。这是一个潜在的问题，因为在环境规划研究中，假设确定性问题的制定是很常见的(Maler et al. 2003, Chen et al. 2012)。P2和P3在不同的目标中表现相对较好，因为它们在基线不确定性之上进行了优化。确定性的P1公式在可靠性目标方面的表现极为糟糕，只有11%。另外，P2的MEU解决方案能够在所有10,000个sow下保持高可靠性(98%)，这代表了良好的不确定性。P3策略在可靠性目标中具有最高的性能，在所有解决方案中保持99%-100%的可靠性。

不同利益相关者目标之间的权衡在图5(左面板)随机情况下绘制的P3策略中很明显。回想一下，帕累托集中的每个策略都代表一个非支配解决方案，也就是说，改善一个目标而不降低另一个目标是不可能的。因此，他们为管理湖泊封装了许多潜在的目标组合，这些组合在数学上是不逊色的，即最优权衡。例如，期望效用和湖中磷之间的权衡可以通过帕累托近似集的倾斜表面来可视化。期望效用的增加同时也增加了湖中磷的含量，导致帕累托锋远离理想的红星。这是预期的，因为效用函数需要一些污染排放来获得经济收益。

在我们的分析中，只有在不积极降低磷水平的情况下，预期效用和未来利益相关者的预期效用同时最大化才可行。这表明，只有在图的右下方，两个目标的最大值附近存在解决方案。当前利益相关者的期望效用和期望效用之间的跨期紧张关系也通过颜色从红色到黄色/绿色阴影(当前利益相关者的期望效用的高到低值)沿期望效用轴的增加方向的变化而突出。因此，最大化当前利益相关者预期效用的策略旨在第一时间以最大容量污染湖泊，以最大化近期经济收益。因此，这会导致预期效用的减少，这是在整个规划范围内进行估计的。读者可参阅附录4，其中明确说明了P3每对目标之间的权衡。

在图5中可以明显看出，认知近视可能会影响仅仅关注基于效用的公式的利益相关者。基于P2的策略(称为MEU)将利益相关者置于可用权衡空间的一个极端区域，这只能通过与多目标公式进行对比来理解。尽管预期效用和湖中磷之间存在一系列可能的妥协，但P2策略只关注预期效用最大化，不考虑环境或明确的跨期权衡。P3公式允许探索权衡和评估单一目标P1和P2公式的更广泛后果。如果我们只使用P1或P2来执行优化，它们对最优性的高度限制性定义将严重降低利益相关者对湖泊管理备选方案的理解。

权衡利弊，探索多样化的选择

我们阐述了一种后验建设性决策，帮助具有不同问题概念和偏好的利益相关者在选择感兴趣的候选策略时伪造公式。确定折衷的解决方案总是涉及具有不同目标的利益相关者之间的谈判，也可能涉及考虑的问题公式的潜在多次迭代。因为如果没有一组真正的利益相关者，就不可能模拟达成潜在妥协的确切过程，所以我们使用了假设利益相关者的概念抽象。使用确定性效用最大化(P1)获得的策略即使在特征良好的不确定性下也具有严重的多目标遗憾(图5)，因此该公式已被证伪，我们不再进一步评估它。使用P2获得的MEU策略在基于效用的目标中表现相对较好，并作为仅关注该目标的利益相关者的代表被保留在进一步的分析中。5个目标P3公式总共产生30个子问题(5个单一目标，10个2个目标，10个3个目标和5个4个目标)，其解如图6所示。这些解决方案捕获了所有子问题中的权衡，投影图显示了如何将这些多维权衡投影回降维，以评估每对目标之间的单个紧张关系。从使用P3获得的399个解决方案中选择三个解决方案来代表不同利益相关者的偏好。

突出显示的浅蓝色湖泊管理策略，称为低磷，代表利益相关者，他们唯一的重点是保持湖中的低磷水平(图6)。突出显示的橙色湖泊管理策略，称为效用解决方案，代表利益相关者寻求高价值的预期效用，这一代的预期效用和后代的预期效用。为了表示低磷和效用管理策略所捕获的对立偏好之间的平衡，我们强调了一个折衷策略(用黄色标记)，它位于权衡区域的中心，代表所有目标的中等性能。这种策略被称为折衷的湖泊管理策略。折衷策略是通过最大化所有目标的最差性能来选择的，并试图确保所有目标的性能都得到很好的体现。尽管这是谈判过程的一个简化抽象，但更广泛的概念贡献是，图6封装了一组可以明确探索的潜在目标组合，即，涉众可以在了解可能的情况下选择他们喜欢的内容。在真实的决策环境中，利益相关者在寻求促进妥协的同时，可能会对他们的目标进行更细致的评估(Basdekas 2014)。表4列出了四种策略在特征良好的不确定性下所获得的期望目标函数值。

第5步。特征良好的不确定性下的稳健性分析

基于P1、P2和P3的后证权衡分析，我们选择了四种策略(MEU、低磷、妥协和效用)来代表湖泊问题中的不同利益相关者。特别是，折衷策略被选为谈判过程的抽象，使用一个简单的，但特别的最佳-最差启发式规则。这一规则和其他常用的简单多标准加权策略(例如，最小化与理想解决方案的距离)的困难在于，它们假设每个利益相关者都愿意在所有绩效目标上平等地做出重大牺牲(Keeney和Raiffa 1993, Brink 1994, Köksalan等人，2013)。对于许多资源管理应用程序来说，这是一个非常值得怀疑的假设，这些应用程序显示出高度的风险规避和对服务可靠性的强烈强调(Brown等人2012,Admiraal等人2013,Kasprzyk等人2013,Giuliani等人2014,Zeff等人2014)。在这项研究中，我们提出了一个稳健性分析，评估战略与不同的性能要求在良好的特征和深度不确定性。

我们使用附录3中讨论的性能要求评估了基线不确定性下策略的稳健性。注意，在真实的决策支持应用程序中，当通过MORDM分析获得新的见解时，设置性能需求的过程可以重复几次。通过对策略的鲁棒性性能进行可视化分析，可以将策略分为两组，一组具有非常高的鲁棒性，另一组具有非常低的鲁棒性(图7)。我们发现低磷和MEU即使在基线不确定性下也具有0%的鲁棒性。低磷溶液不能满足经济活动的性能要求，而MEU溶液不能满足避免湖中富营养化阈值的99%可靠性要求。在基线特征良好的不确定性下，效用和折衷方案都具有100%的鲁棒性。在参考更广泛的折衷解决方案集时，确定了两类解决方案，由红色和蓝色区分。我们发现除MEU外，其余溶液均满足磷和可靠性性能要求。这是对经济活动的要求，主要区分两类解决方案。

步骤6。深度不确定性下的稳健性分析

一旦解决方案的鲁棒性被评估为基线特征良好的不确定性，利益相关者可以回到步骤2或步骤4(图2)，如果他们没有找到具有令人满意的鲁棒性的解决方案。然而，在这种情况下，我们能够识别出大量具有高鲁棒性的解决方案。在此之后，我们重新评估了所有解决方案在八个不同的不确定性假设下的性能，这些不确定性假设表征了我们对深度不确定性的表示(图4a)。我们在图8中探讨了这些不同分布对帕累托近似前沿的影响。我们发现，对于代表不确定污染流入变化的替代分布，基线帕累托近似锋过渡显著。随着不确定污染流入均值的减小(分布i、ii和iii)，锋面向理想点移动，从这些分布的重叠锋面来看，改变方差的影响可以忽略不计。当污染流入的平均值增加时(分布vii、viii和ix)，我们观察到所有目标的严重退化，而不仅仅是湖中的磷水平，伴随着不同方差假设的增加。这意味着，如果不确定的磷流入的平均值被高估，就存在多目标机会成本，否则就存在多目标遗憾。这些信息可以帮助利益相关者了解他们的假设的影响，并告知他们的风险态度。

帕累托前沿在不同的不确定性假设之间的显著变化，激发了在深度不确定性(即90,000个)下评估解决方案的鲁棒性的需求母猪。稳健性分析是使用与以前相同的性能要求进行的，除了湖中预期的磷水平。当在特征明确的不确定性下评估稳健性时，我们发现所有的解决方案都能够满足磷的要求，这表明所选择的性能水平过于宽松。有可能在深度不确定性下，尽管磷的性能与在特征明确的不确定性下的性能相比有显著恶化，但解决方案仍然是稳健的。由于利益相关者可能更喜欢在基线不确定性中比表现较差的解决方案更好地保持磷水平的解决方案，因此对磷的更严格要求被固定在基线不确定性下所有解决方案获得的磷的最大水平上。这是涉众如何从图2中的步骤5返回到步骤4的一个示例。

通过评估深度不确定性下策略的鲁棒性，我们发现有三个家族的解决方案分别具有非常低、中等和高鲁棒性(图9a)。对于5个目标中的4个，与解决方案相比，目标函数范围有显著变化基线情况下的性能(图7)。在深度不确定性下评估性能时，最佳和最差目标函数值总体恶化。只有一小部分具有高鲁棒性的解决方案(蓝色)仍然处于深度不确定性之下，这表明在不断变化的不确定性假设下，很难确定能够保持性能的解决方案。在基线不确定性下，只有经济活动要求区分出健壮的解决方案，在深度不确定性下，很难满足所有三个变量的性能要求。在深度不确定性下，许多解决方案未能满足对磷和可靠性的性能要求，因此这些要求现在在与各自目标相关的垂直轴上显示为十字。在基线不确定性下几乎100%健壮性的解决方案现在退化到健壮性降低的水平(大约。67%)。在深度不确定性下，四种策略中有三种未能保持高水平的稳健性，而只有折衷策略保持了高度稳健性(约。100%)。我们还发现折衷的解决方案周围都是中低鲁棒性的解决方案。因此，假设鲁棒解附近的解可能是鲁棒解是不正确的。 The pollution strategies associated with selected solutions are shown in Figure 9b.

最后，我们展示了所选策略在湖泊水质动态(即湖中磷含量随时间的函数)的深度不确定性下的表现(图10)。这表明在对数正态分布代表深度不确定性的各种参数化下，所选策略是否能防止湖泊富营养化。在随机污染流入(低至中)均值较高时，对数正态分布的变化方差影响不大。随着随机污染流入均值和方差的增加，折衷策略优于效用和MEU。在折衷策略下，每90000头母猪中只有2头发生富营养化。这些情况发生在描述随机流入的对数正态分布的均值和方差最高时。这两种策略在40年后的规划阶段也会失效。另一方面，无论方差如何，MEU和效用策略在所有sow下都在规划阶段的早期失效，即在第20年之前，此时对数正态分布的平均值最高(考虑90,000 sow中的30,000)。

讨论

多目标鲁棒决策成功地识别了折衷策略，在几乎所有情况下，该策略在防止湖泊富营养化崩溃方面具有很高的鲁棒性(图9和图10)。MORDM的多目标(MO)方面为评估可选问题公式提供了更丰富的上下文，揭示了P1和P2与P3相比的短视位置(图5)。图6中明显的权衡澄清了关键冲突，同时提供了不同的解决方案套件，以帮助利益相关者在选择实施策略时提供帮助。权衡还可以促进相互冲突的目标通过谈判达成妥协。

然后使用健壮的决策制定(RDM)，我们能够进一步测试这些策略，并证明P1和P2问题框架中的其他弱点。在高度不确定性下对战略的重新评估突出表明，如果使用基于效用的框架来管理生态系统，可能会出现多目标遗憾。基于效用的策略(效用和MEU)不仅在大量情况下导致湖泊富营养化崩溃(图10)，而且也未能保持高水平的稳健性(图9)。由于经济活动也包括在稳健性的绩效要求中，这意味着基于效用的策略最终会导致利益相关者的环境和经济目标的损失。这是意料之中的，因为富营养化湖的效用也很低。

因此，在本研究中，MORDM通过暴露其在跨目标和深度不确定性下维持性能的失败，使得基于效用的问题框架被证伪。在一系列利益相关者的目标和深度不确定性中，只有一小部分最初可用的战略被确定为稳健的。这表明了MORDM如何为利益相关者提供了一种方法，不仅可以伪造问题的表述，而且还可以确定新的策略，以满足他们不同的目标和风险态度。这与依赖单一目标函数或专注于简化生态系统表示以便于分析处理的方法相比具有优势(Crépin 2007, Webster et al. 2012)。多目标稳健决策还通过提供基于多个标准生成战略替代方案的系统方法，增强了Lempert和Collins(2007)提出的稳健决策方法。总之，MORDM可以做到以下几点:

• 使用大量的目标函数(最多10个)，而不需要将它们聚集在一起，从而向利益相关者展示权衡曲线，而不是最优策略。使用任何其他现有方法都不可能将当前研究中显示的权衡表面可视化。
• 与生态系统模型的选择无关，具有多个过程的更复杂的模型可以很容易地取代更简单的模型。
• 允许涉众根据他们愿意接受的妥协程度定义多目标稳健性度量。其他方法要么没有任何规定来解释健壮性，要么采用单目标健壮性度量。

视觉分析是MORDM的一个重要方面，因为如果没有图5中的高维可视化，就不可能识别P1和P2公式中的近视。图中展示了一系列帕累托最优解决方案，其中包括最大化每个目标的解决方案，以及跨越这些最优值之间可能权衡的整个范围的解决方案。这与不同目标的先验加权形成鲜明对比，后者会导致单一的a解，从而预先确定妥协在多维目标空间中的位置(Woodruff et al. 2013)。典型的基于权重的解决方案只在图5所示的大量策略中形成一个点。类似地，仔细检查图6中的Pareto前线，可以选择代表广泛涉众目标的策略。在不同的不确定性假设下，帕雷托前沿的转变为全面的鲁棒性分析奠定了基础(图8)。如果没有平行坐标图，解决方案组的识别(两个用于基线不确定性，三个用于深度不确定性)将是不可行的(图7和9a)。最后，通过对所有90,000个母猪所选策略的湖泊动态进行可视化，我们可以了解在各种不确定性假设下的富营养化潜力。

注意事项和未来的研究需要

与经典的预期效用最大化方法相比，多目标稳健决策可以提供一些额外的见解。然而，总的来说，MORDM方法，特别是我们在本研究中的方法，仍然面临着一些局限性。首先，所分析的Pareto集是近似的。尽管这可以被归类为这种方法的一个弱点，但众所周知，大多数现实世界的问题都是“邪恶的”和定义不清的(Rittel和Webber 1973)。因此，在可选问题框架中，对最优性的微小改进可能不如实质性的结构变化重要。其次，通过我们的分析得到的策略是不适应的，也就是说，在这个框架中还不存在一种方法来整合关于系统的新知识。这构成了正在进行的工作的基础，该工作旨在将学习纳入MORDM框架。第三，我们的问题框架仍然没有探索与湖泊问题相关的全套不确定性，并且严重依赖于效用函数。例如，我们没有考虑湖泊模型本身的不确定性(结构的和参数的)，效用函数的参数等。虽然我们没有进行广泛的不确定性分析，以纳入所有可能的不确定性来源，但我们提出的框架已经具备了处理各种不确定性的能力，正如其他地方所证明的那样(Kasprzyk等人，2013年，Woodruff等人，2013年)。

最后，沟通高维帕累托锋和深度不确定性是MORDM方法的关键挑战。在复杂的环境和工程设计背景下，使用高维后验权衡分析的实际应用已经取得了许多成功，这是令人鼓舞的(Fleming等人2005年，Ferringer等人2009年，Reed等人2013年，Basdekas 2014年)。我们假设，当利益相关者有不同的目标，不知道他们可以接受的妥协水平，以及当系统的未来存在深刻的不确定性时，MORDM可以改变决策制定过程和结果。需要明确的是，我们不知道在判断和决策领域有任何正式的，即学术的、同行评审的或基于实验室的研究，来评估在这里所示的多目标权衡中面对利益相关者的影响，并检验这一假设。

结论

我们的结果揭示了基于效用的框架在满足不同利益相关者的多个目标方面的失败。我们证明，仅以最大化效用函数为目标的策略会将利益相关者置于权衡空间的一个极端区域。我们将这种失败称为短视，并将其效果形象化。我们还发现，对于33%的深度不确定性sow，效用策略在深度不确定性下的鲁棒性严重退化。我们的结果也与admiral等人(2013)最近的研究结果一致，该研究表明，传统的问题框架无法确定环境系统的可持续管理政策。admiral等人(2013)将此归因于效用函数无法捕捉自然系统的关键特征，使其可持续发展。我们的框架允许环境规划者超越基于效用的方法，转向将(可能多个)可持续性指标纳入问题框架的方法。

我们还展示了视觉分析在决策过程中可以发挥的关键作用。每一个高维视觉让我们能够交流从后验决策过程中获得的见解。它们允许探索多种公式，并理解在特征明确的不确定性下的关键权衡(图5)。这也使得MEU公式固有的短视的沟通成为可能。研究人员检查了一组可行的替代方案，以从权衡空间的不同区域确定候选解决方案(图6)。在特征良好和深度不确定性下，可视化策略的鲁棒性提供了对策略性能的更广泛理解(图7和9)。此外，在深度不确定性下，对权衡的重新评估激发了探索特征良好的不确定性假设的需要(图8)。

我们实施了一种建设性的决策辅助方法，以确定一个强大的战略，以管理一个不可逆转的湖泊。我们提出了一个通过MORDM实现建设性决策辅助的系统程序。多目标稳健决策不仅在特征明确的不确定性下，而且在深度不确定性下，发现了平衡各种环境、经济和跨期目标的妥协策略。这是通过采用鲁棒性的全面定义来实现的，该定义根据各种不确定性假设下的最低可接受性能要求来评估策略。因此，MORDM允许涉众探索整个权衡空间，并选择他们希望达到的妥协水平的后验。如果没有MORDM提供的灵活的问题框架，涉众不可能发现这些隐含的选择。在稳健性的定义中嵌入可持续性的要求，然后应用MORDM来寻找稳健性(因此是可持续的)战略，为环境管理问题提供了一个有前途的途径。

文献引用

海军上将，J. F.， A.沃斯辛克，W. T.德格鲁特和G. R.德斯努，2013。不仅仅是总经济价值:如何将生物多样性的经济价值与生态恢复力结合起来。生态经济学89:115 - 122。http://dx.doi.org/10.1016/j.ecolecon.2013.02.009

巴斯德卡斯，L. 2014。水资源从业者准备好多目标优化了吗?公用事业公司的干旱政策调查。水资源规划与管理学报140:275 - 276。http://dx.doi.org/10.1061/(第3期)wr.1943 - 5452.0000415

贝克尔，s.w.和F. O.布朗森，1964。什么价格模糊?或者模糊性在决策中的作用。政治经济学杂志72(1): 62 - 73。http://dx.doi.org/10.1086/258854

本-海姆，2001。信息缺口决策理论:严重不确定性下的决策。学者，林，密苏里州，美国。

本内特，e.m.， S. R.卡朋特，J. A.卡迪勒，2008。评估环境系统中超过阈值的风险。水、空气和土壤污染191:131 - 138。http://dx.doi.org/10.1007/s11270-007-9612-9

邦德，2010年。自适应控制方法在改进自适应自然资源管理中的潜在应用。最优控制应用与方法31:55 - 66。http://dx.doi.org/10.1002/oca.910

邦德，C. A.和J. B.卢米斯，2009。利用数值动态规划比较了浅水湖泊营养物质适应性管理中的被动学习和主动学习。加拿大农业经济杂志/加拿大农业经济杂志57:555 - 573。http://dx.doi.org/10.1111/j.1744-7976.2009.01170.x

布里尔，J. M.弗拉赫，L. D.霍普金斯和S.兰吉坦。1990。MGA:用于复杂的、定义不完全的问题的决策支持系统。IEEE系统、人与控制论汇刊20:745 - 757。http://dx.doi.org/10.1109/21.105076

布林克，1994。书评:R. L. Keeney, H. Raiffa:《多目标决策——偏好和价值权衡》，剑桥大学出版社，剑桥与纽约，1993年，569页，ISBN 0-521-44185-4(精装本)，0-521-43883-7(平装本)。行为科学39:169 - 170。http://dx.doi.org/10.1002/bs.3830390206

布朗，C.， Y. Ghile, M. Laverty，和K. Li, 2012。决策规模:将自下而上的脆弱性分析与水资源部门的气候预测联系起来。水资源研究48: W09537。http://dx.doi.org/10.1029/2011wr011212

Brozovic, N.和W. Schlenker, 2011。具有未知阈值的生态系统的最优管理。生态经济学70:627 - 640。http://dx.doi.org/10.1016/j.ecolecon.2010.10.001

布德斯库，库恩，克雷默，约翰逊，2002。建模确定性等同于不精确的赌博。组织行为与人类决策过程88:748 - 768。http://dx.doi.org/10.1016/s0749 - 5978 (02) 00014 - 6

卡朋特，S. R.路德维希，W. A.布洛克，1999。对可能发生不可逆变化的湖泊进行富营养化管理。生态应用程序9:751 - 771。http://dx.doi.org/10.1890/1051 - 0761 (1999) 009 (0751: MOEFLS) 2.0.CO; 2

卡斯泰莱蒂，A. V.洛托夫，R.松西尼-塞萨。2010.基于响应面线性化的环境决策可视化多目标改进。环境模型及软件25:1552 - 1564。http://dx.doi.org/10.1016/j.envsoft.2010.05.011

钱孔，V.和Y. Y.海姆斯，1983。多目标决策:理论与方法。荷兰北部，阿姆斯特丹，荷兰。

陈，Y.， C. Jayaprakash，和E. Irwin, 2012。经济-生态耦合系统中的阈值管理。环境经济与管理杂志64:442 - 455。http://dx.doi.org/10.1016/j.jeem.2012.04.003

克拉克，2005。为什么环境科学家正在成为贝叶斯主义者?生态学通讯8:2-14。http://dx.doi.org/10.1111/j.1461-0248.2004.00702.x

科洛，C.， A.埃尔南德斯·阿吉雷，E.齐茨勒，P.弗莱明，R.珀豪斯和R.莱戈，2005。多目标优化:工程设计视角。页面14-32在c·m·冯塞卡，x·甘迪尔布鲁，j·k。Hao和M. Sevaux是编辑。进化多准则优化:第五届国际会议，EMO 2009，法国南特，2009年4月7-10日，会议记录。施普林格，德国柏林。

科汉，J. L.和D. H.马克斯，1975。回顾和评价多目标规划技术。水资源研究11:208 - 220。http://dx.doi.org/10.1029/WR011i002p00208

普康芒和C.佩林，1992。迈向可持续发展的生态经济学。生态经济学6(1): 7-34。http://dx.doi.org/10.1016/0921 - 8009 (92) 90036 - r

Crepin,其子a.s.。2007.使用快进程和慢进程管理带阈值的资源。环境与资源经济学36:191 - 213。http://dx.doi.org/10.1007/s10640-006-9029-8

柯利，S. P.和J. F.耶茨，1985。概率区间的中心和范围是影响歧义偏好的因素。组织行为与人类决策过程36:273 - 287。http://dx.doi.org/10.1016/0749 - 5978 (85) 90016 - 0

狄克逊，L.， R. J.伦佩特，T.拉图雷特，R. T.雷维尔，2007。联邦政府在恐怖主义保险中的作用:在一个不确定的世界中评估替代方案。兰德公司，圣莫尼卡，加利福尼亚州，美国。(在线)网址:http://www.rand.org/pubs/monographs/MG679.html

艾尔斯伯格，1961年。风险、模棱两可和野蛮的公理。经济学季刊75:643 - 669。http://dx.doi.org/10.2307/1884324

爱泼斯坦，王涛。1994。奈特不确定性下的跨期资产定价。费雪62:283 - 322。http://dx.doi.org/10.2307/2951614

M. P.费林格，D. B.斯宾塞，P.里德，2009。基于大聚类epsilon非支配排序遗传算法的运行卫星星座多目标重构ⅱ。340 - 349页IEEE进化计算大会，特隆赫姆，2009年5月18-21日。IEEE，纽约，纽约，美国。http://dx.doi.org/10.1109/cec.2009.4982967

弗莱明，P. J.， R. C. purhouse, R. J. Lygoe, 2005。多目标优化:工程设计视角。页面14-32在进化多准则优化:第三届国际会议论文集，EMO，瓜纳华托，墨西哥，2005年3月9-11日。斯普林格出版社，柏林，德国。http://dx.doi.org/10.1007/978-3-540-31880-4_2

朱利安尼，M. J. D.赫尔曼，A.卡斯特莱蒂，P.里德，2014。多目标水库政策的确定和细化，减少水资源管理的政策惯性和短视。水资源研究50:3355 - 3377。http://dx.doi.org/10.1002/2013WR014700

Haasnoot, M. J. H. Kwakkel, W. E. Walker, J. ter Maat, 2013。动态适应性政策路径:一种为高度不确定的世界制定稳健决策的方法。全球环境变化23:485 - 498。http://dx.doi.org/10.1016/j.gloenvcha.2012.12.006

Haasnoot, M.， W. P. A. van Deursen, J. H. A. Guillaume, J. H. Kwakkel, E. van Beek和H. Middelkoop. 2014。合适吗?建立和评估一个快速、综合的模型，以探索水政策的路径。环境模型及软件60:99 - 120。http://dx.doi.org/10.1016/j.envsoft.2014.05.020

哈德卡，D.和P.里德，2012。多目标进化优化中搜索控制和失效模式的诊断评估。进化计算20:423 - 452。http://dx.doi.org/10.1162/EVCO_a_00053

赫尔曼，J. P.里德，H.泽夫，G.查拉克利斯，2015。如何定义变化下的水系统规划的稳健性?水资源规划与管理学报。http://dx.doi.org/10.1061/(第3期)wr.1943 - 5452.0000509

赫尔曼，j.d.， H. B.泽夫，P. M.里德，G. W.查拉克利斯，2014。超越最优:深度不确定性下区域水投资组合规划的多利益相关者稳健性权衡。水资源研究50:7692 - 7713。http://dx.doi.org/10.1002/2014WR015338

贺加斯，R.和H.昆鲁瑟，1989。风险、模棱两可和保险。风险与不确定性杂志2:5-35。http://dx.doi.org/10.1007/BF00055709

霍兰，R. D.， E. P. Fenichel, K. L. S. Drury, D. M. Lodge, 2011。在环境-人类耦合系统中管理生态阈值。美国国家科学院院刊108:7333 - 7338。http://dx.doi.org/10.1073/pnas.1005431108

F. A.约翰逊，B. K.威廉姆斯，J. D.尼科尔斯，2013。弹性思维和保护的决策分析方法:陌生的同床异梦者还是重要的合作伙伴?生态与社会18(2): 27。http://dx.doi.org/10.5751/es-05544-180227

卡斯普齐克，J. R.纳塔拉杰，P. M.里德，R. J.兰珀特，2013。复杂环境系统在变化过程中的客观稳健决策。环境模型及软件42:55 - 71。http://dx.doi.org/10.1016/j.envsoft.2012.12.007

卡斯普齐克，J. R.， P. M. Reed, G. W. Characklis, B. R. Kirsch, 2012。深度不确定性条件下多目标de Novo供水组合规划。环境模型及软件34:87 - 104。http://dx.doi.org/10.1016/j.envsoft.2011.04.003

卡斯普齐克，P. M.里德，B. R.克尔施，G. W.查拉克利斯，2009。在不确定条件下使用多目标水投资组合规划管理人口和干旱风险。水资源研究45: W12401。http://dx.doi.org/10.1029/2009wr008121

基尼，R. L. 2012。价值型头脑风暴。决策分析9:303 - 313。http://dx.doi.org/10.1287/deca.1120.0251

基尼，R. L.和H.莱法，1993。多目标决策:偏好和价值权衡。剑桥大学出版社，英国剑桥。http://dx.doi.org/10.1017/cbo9781139174084

凯姆，D.， J.科尔哈默，G.埃利斯和F.曼斯曼，2010。掌握信息时代:用视觉分析解决问题。欧洲图形协会，高斯拉，德国。

凯勒，K.和D.麦金纳尼。2008.关于气候阈值的动态学习。气候动力学30:321 - 332。http://dx.doi.org/10.1007/s00382-007-0290-5

奈特，1921年。风险、不确定性和利润。美国马萨诸塞州波士顿霍顿米夫林公司。

Köksalan, M.， J. Wallenius，和S. Zionts. 2013。多标准决策的早期历史。多标准决策分析杂志20:87 - 94。http://dx.doi.org/10.1002/mcda.1481

柯拉特，J. B.和P.里德，2007。使用进化多目标优化的视觉交互决策和设计框架(VIDEO)。环境模型及软件22:1691 - 1704。http://dx.doi.org/10.1016/j.envsoft.2007.02.001

Krishnamurti, t.n.， c.m. Kishtawal, t.e. LaRow, d.r. Bachiochi, Z. Zhang, c.e. Williford, s.g adgil, s.s Surendran, 1999。多模式超级集合改进了天气和季节气候预报。科学285:1548 - 1550。http://dx.doi.org/10.1126/science.285.5433.1548

库恩，K. M.和D. V.布德斯库，1996。在危害风险决策中概率、结果和模糊性的相对重要性。组织行为与人类决策过程68:301 - 317。http://dx.doi.org/10.1006/obhd.1996.0107

郭克尔，J. H.， M.哈斯努特，W. E.沃克，2014。发展动态适应性政策路径:为一个高度不确定的世界发展适应性战略的计算机辅助方法。气候变化2014:1-14。http://dx.doi.org/10.1007/s10584-014-1210-4

兰珀特，R. J.和M. T.柯林斯，2007。管理不确定阈值反应的风险:稳健、最佳和预防性方法的比较。风险分析27:1009 - 1026。http://dx.doi.org/10.1111/j.1539-6924.2007.00940.x

兰珀特，R. J.， D. G.格罗夫斯，S. W.波普尔，S. C.班克斯，2006。一种用于生成稳健策略和叙事场景的通用分析方法。管理科学52:514 - 528。http://dx.doi.org/10.1287/mnsc.1050.0472

兰珀特，r.j, s.w.波普尔，s.c.班克斯，2003。塑造未来一百年:定量长期政策分析的新方法。兰德公司，圣莫尼卡，加利福尼亚州，美国。(在线)网址:http://www.rand.org/pubs/monograph_reports/MR1626.html

路德维希D. 2000年。生态系统经济价值的局限性。生态系统3:31-35。http://dx.doi.org/10.1007/s100210000007

梅勒尔,K.-G。，A. Xepapadeas, and A. de Zeeuw. 2003. The economics of shallow lakes.环境与资源经济学26:603 - 624。http://dx.doi.org/10.1023/B:EARE.0000007351.99227.42

McInerney, D.， R. Lempert, K. Keller, 2012。面对不确定的气候阈值反应，什么是强有力的策略?气候变化112:547 - 568。http://dx.doi.org/10.1007/s10584-011-0377-1

莫尔斯-琼斯，S. T.路易塞蒂，R. K.特纳和B.费雪，2011。生态系统价值评估:一些原则和部分应用。Environmetrics22:675 - 685。http://dx.doi.org/10.1002/env.1073

帕累托，1896。Cours d ' économie politique。Tome I. F. Rouge，洛桑，法国。

彼得森，G. D.， S. R.卡朋特，W. A.布洛克，2003。不确定性和多状态生态系统的管理:显然是一条理性的崩溃之路。生态84:1403 - 1411。http://dx.doi.org/10.1890/0012 - 9658 (2003) 084 (1403: UATMOM) 2.0.CO; 2

拉姆塞，1928年出生。储蓄的数学理论。经济日报38:543 - 559。http://dx.doi.org/10.2307/2224098

里德，P. M.哈德卡，J. D.赫尔曼，J. R.卡斯普齐克，J. B.科拉特，2013。水资源的进化多目标优化:过去、现在和未来。水资源研究进展51:438 - 456。http://dx.doi.org/10.1016/j.advwatres.2012.01.005

里特尔，H. W. J.和M. M.韦伯，1973。规划一般理论中的困境。政策科学4:155 - 169。http://dx.doi.org/10.1007/BF01405730

施内勒IV, g.o.，和g.p.斯希卡斯1983。不确定性下的决策:斯塔尔的域准则。理论与决策15:321 - 336。http://dx.doi.org/10.1007/BF00162111

西蒙，1959年。经济学和行为科学中的决策理论。美国经济评论49:253 - 283。

斯塔尔，1963。产品设计与决策理论。Prentice-Hall，上马鞍河，美国新泽西州。

唐普，g.m.， M.尤基什，T. W.辛普森，E. N.哈里斯，2003。设计空间可视化及其在购物范式设计中的应用。795 - 804页ASME 2003国际设计工程技术会议和计算机与信息工程会议。美国机械工程师协会(ASME)，纽约，美国纽约。http://dx.doi.org/10.1115/detc2003/dac-48785

泰陶德，2007年。离线多目标优化的硬度。进化计算15:475 - 491。http://dx.doi.org/10.1162/evco.2007.15.4.475

托马斯，J. J.和K. A.库克，2005。指引道路:视觉分析的研究和开发议程。IEEE计算机学会，Los Alamitos，加利福尼亚州，美国。

Tsoukiàs, A. 2008。从决策理论到决策辅助方法。欧洲运筹学杂志87:138 - 161。http://dx.doi.org/10.1016/j.ejor.2007.02.039

冯·诺依曼，J.和O.摩根斯顿，1944。博弈论和经济行为。普林斯顿大学出版社，美国新泽西州普林斯顿。

韦伯斯特，M.， N.桑滕，P.帕尔帕斯，2012。决策相关不确定性下全球气候政策建模的近似动态规划框架。计算管理科学9:339 - 362。http://dx.doi.org/10.1007/s10287-012-0147-1

怀特，B. S.哈尔彭，C. V.卡佩尔，2012。生态系统服务权衡分析揭示了海洋多用途空间规划的价值。美国国家科学院院刊109:4696 - 4701。http://dx.doi.org/10.1073/pnas.1114215109

伍德拉夫，M. J.， P. M.里德，T. W.辛普森，2013。许多客观的可视化分析:重新思考复杂工程系统的设计。结构和多学科优化48:201 - 219。http://dx.doi.org/10.1007/s00158-013-0891-z

泽夫，H. B.， J. R.卡斯普齐克，J. D.赫尔曼，P. M.里德，G. W.查拉克利斯，2014。在区域干旱管理组合中进行财务和供应可靠性权衡。水资源研究50:4906 - 4923。http://dx.doi.org/10.1002/2013WR015126