生态和社会 生态和社会
以下是引用这篇文章的既定格式:
Haapasaari, P. S. M & ntyniemi和S. Kuikka. 2012。波罗的海鲱鱼渔业管理:利益相关者观点框架问题。生态和社会 17(3): 36。
http://dx.doi.org/10.5751/ES-04907-170336
研究

波罗的海鲱鱼渔业管理:利益相关者的观点来框定问题

1赫尔辛基大学环境科学系渔业和环境管理小组(FEM)

摘要

包括不同视角的综合问题框架对于全面理解复杂问题至关重要,也是构建模型的第一步。我们邀请了五个利益相关方来框定波罗的海中部鲱鱼渔业的管理问题。通过使用贝叶斯信念网络(BBNs)方法,利益相关者的观点被构建到表示变量及其依赖性的图形化影响图中。有关科学家的观点集中在生物问题上,而渔民、管理者和一个环境非政府组织的代表则包括市场和捕鱼业的影响。管理措施被认为对鲱鱼种群的发展影响相对较小;它们对社会经济目标的影响更大。总的来说,这些利益相关者的框架建议在研究和管理中关注社会经济问题,并明确定义管理目标,不仅是在生物方面,而且在社会和经济方面。我们发现这种方法是一种有系统地组织复杂问题的说明性工具。这样的工具可以用作讨论和决策支持的论坛,明确包含不同利益攸关方团体的观点。它能够在一个框架内审查社会和生物因素,并有助于弥合社会科学和自然科学之间的差距。 A benefit of the BBN approach is that the graphical model structures can be transformed into a quantitative form by inserting probabilistic information.
关键词:贝叶斯信念网络;影响图;目标;参与建模;问题框架;利益相关者;结构的不确定性

介绍

近年来,渔业系统的复杂性得到了越来越多的承认(Garcia和Charles 2007, 2008)。这导致人们对作为渔业管理基础的传统生物种群评估提出质疑(Hammond和O 'Brien 2001, Schnute和Richards 2001, Degnbol和McCay 2007, Kraak等人2010),并提出通过纳入与其他物种、生态系统特征和社会经济问题的相互作用,以更全面的方式扩大知识库(Schnute和Richards 2001,粮农组织2003,Garcia和Charles 2007, CEC 2008)。为此目的,需要开发能够跨越学科界限、视角、知识形式和尺度的方法(Degnbol和McCay 2007, Garcia和Charles 2007, 2008)。

我们强调在政策进程开始时充分查明问题和制定框架的重要性。问题框架意味着系统中最重要的元素和相互关系将包括在考虑中。因此,它促进了对问题的整体理解,有助于确定要回答的正确问题,并标志着发展整体知识、研究和管理策略的第一步(De Young等人1999年,Walker等人2003年,van der sluuijs等人2005年)一个,Clark和Stankey 2006, Verweij和van Densen 2010)。

一个适当的问题框架涉及所有相关的利益相关者,并将注意力转向管理问题的社会建构特征(Berger和Luckmann 1967, Pahl-Wostl 2007)。它超越了价值和利益,融合了利益相关者的认知和推理(Clark and Stankey 2006, Jones et al. 2011)。对现实的不同理解是管理讨论的困难所在;因此,明确不同的个人或群体如何拼凑一个问题可以促进相互学习,导致更好的沟通,并有助于发展更有效的管理机制(Clark and Stankey 2006, Verweij and van Densen 2010, Jones et al. 2011)。

JAKFISH项目(EU FP7/2007-2013/212969,渔业利益相关方的判断和知识)提供了一个背景,让利益相关方参与进来,以确定波罗的海中部鲱鱼渔业管理的问题。JAKFISH的主要目标是开发能够在参与性决策过程中有效处理复杂性和不确定性的制度、实践和工具(Röckmann et al. 2012)。在我们的案例研究中,我们使用贝叶斯信念网络(BBNs)系统地研究了不同利益相关者如何看待鲱鱼渔业的管理问题,以及不同观点涉及何种因果关系(此处报道),并从概率的角度引出利益相关者对影响鲱鱼种群自然死亡率、生长和卵存活率的因素的因果假设(Mäntyniemi et al. 2009)一个).在该阶段的案例研究(Mäntyniemi等,2009一个),建模的结果是一组概率模型,每个模型都描述了单个利益相关者的观点,然后使用贝叶斯模型平均技术对这些模型进行集成,并以股票评估数据为条件。这种模型可用于提供管理建议,其中包括根据不同观点与观察到的数据的对应关系加权的受访利益相关者的观点。单个利益相关者的观点也可以单独分析,以找出它们是否意味着不同的管理策略。总的来说,我们的案例研究为波罗的海中部鲱鱼渔业的结构不确定性提供了一个整体的方法,即它解决了渔业系统中固有的其他因果关系。

bbn为环境风险和决策分析提供了综合工具(Varis and Kuikka 1999, Kuikka et al. 2011)。它们能够将若干风险因素及其管理方案在一个模型中联系起来,并从定性和定量两方面检查它们彼此的影响(Shachter 1987, Spiegelhalter等,1993)。我们曾将bbn应用于鱼类资源评估和其他涉及决策分析的环境问题(Kuikka et al. 1999,2011, Varis and Kuikka 1999)。我们还发现,这种方法在研究渔业问题的人类视角方面很有用(Haapasaari等人,2007年,Haapasaari和Karjalainen, 2010年,Levontin等人,2011年)。我们已经建立了基于专家知识的BBN模型(Kuikka和Varis 1997),但直到现在,我们还没有在涉及不同利益相关者群体的过程中测试该方法。

在此,我们将贝叶斯方法与利益相关者观点相结合,来构建波罗的海中部鲱鱼渔业的管理问题。我们的目标有三个:(1)研究bbn在参与式问题框架方面的潜力和挑战,(2)评估这种问题框架对管理的影响,(3)为后续研究奠定基础,从定性问题框架到定量模型构建,并评估整体模型所需的不同类型信息的价值(Mäntyniemi等,2009年)b).

波罗的海中部鲱鱼渔业

波罗的海中部鲱鱼渔业提供了一个热门的研究案例。评估表明,该种群的产卵种群生物量(SSB)在20世纪70年代很高,但在2001年之前有所下降,自90年代初以来一直低于长期平均水平。自20世纪90年代以来,鲱鱼个体的平均年龄体重显著下降了15-45%,近年来一直稳定在一个低水平(ICES 2009, 2011, CEC 2010)。鲱鱼种群状况不佳的原因在很大程度上是未知的,科学家们也没有一个公认的因果结构来描述其生物生产力。SSB的下降部分是由于鲱鱼个体生长速度的降低,这被认为取决于盐度的变化,浮游动物(猎物)群落组成的变化,以及与小鱼的竞争(ICES 2011)。鲱鱼种群也受到鳕鱼捕食的影响(ICES 2011年)。

根据ICES(2011),库存的收获超出了安全的生物极限。通过规定每年允许的总捕获量(TAC)、配额和技术措施(如设备规格、网眼尺寸和捕鱼面积)来限制捕鱼。捕获的鱼被用于人类消费、鱼粉和水貂养殖场(CEC 2010)。鲱鱼与小鲱鱼混合捕捞会导致报告捕获量的不确定性,并被认为会间接影响鳕鱼种群,因为小鲱鱼也是鳕鱼的主要猎物(ICES 2009, 2011, CEC 2010)。

目前,对鲱鱼种群没有明确的单一管理目标,但欧洲委员会正在为波罗的海的远洋种群制定长期管理计划(LTMP),包括波罗的海中部鲱鱼(CEC 2010);总体目标是最大可持续产量(MSY),就像其他欧盟渔业一样。就即将到来的LTMP问题提出的具体问题,例如,渔业的因果关系、管理目标、目标和触发点、技术措施、数据的充分性、科学分析和研究目标。一个重要的问题是从以鱼群为基础的管理转向以渔业为基础的管理方法,进而转向以生态系统为基础的管理(CEC 2010)。

结构的不确定性

正式的问题框架活动是试图分析和管理复杂系统中固有的结构不确定性。结构不确定性是指对系统的组成部分、动态和内部相互作用缺乏基本的知识(Kuikka和Varis 1997, Varis和Kuikka 1997, Charles 1998, De Young等人1999,Walker等人2003),并表现为管理讨论中的模糊性、混淆性和争议性(Charles 1998, 2001, Hammond和O 'Brien 2001, Gréboval 2002)。

结构不确定性的存在已在管理的各个方面得到承认(Punt和Hilborn 1997, Charles 1998, 2001)。它出现在模型中,表示为被忽视或误解的渔业系统的功能关系,如物种结构、空间异质性、种群集中、洄游模式、鱼-鱼和鱼-环境相互作用、船队结构、技术变化、管理目标、渔民目标和渔民对规则的反应。它发生在管理决策的执行过程中,指的是由于不确定性(例如,来自服从科学建议的决策、缺乏监管控制或资源使用者的意外行为反应)而导致的措施成功执行的程度。它发生在管理系统所涉及的机构和人员之间的相互作用中,即渔民和其他行为者如何适应新的管理制度,以及如何在渔业中追求社会或管理目标。

在标准建模方法中,结构不确定性在很大程度上被抛在了一旁,尤其是在定量方面(Charles 1998, 2001, Van der sluuijs等人2005)a、b).甚至有人怀疑结构的不确定性是否可能随着时间的推移而减少(Charles 1998, 2001),例如,由于自然界的不断变化(Kuikka和Varis 1997)。模型的选择决定了结果(Kuikka and Varis 1997),这意味着未被解释的结构不确定性会在渔业管理中造成意料之外的意外,或导致决策者做出糟糕的选择(Charles 1998, 2001, De Young et al. 1999)。不同的风险评估和管理程序试图处理预防方法方面的不确定性所造成的风险,但定义不明确的管理目标可能削弱这些尝试(Francis和Shotton, 1997年)。

显然需要开发分析方法来解决结构的不确定性(Charles 1998, 2001)。这些方法应该包括纳入不同种类的知识,考虑替代的因果结构,并包括利益相关者的参与(Kuikka和Varis 1997, CEC 2002)。然而,利益相关者的参与导致了一个额外的要求,即方法必须是交互式的、可理解的和简单的,在某种程度上不仅能使参与过程,而且能让利益相关者感到他们确实看到了自己的观点被代表了(Kraak et al. 2010)。

通过影响图构建问题框架

概念内容认知地图等技术(Austin 1994, Kearney和Kaplan 1997);参与者、资源、动态和交互(ARDI;Etienne等人,2011)、模糊认知映射(Özesmi和Özesmi 2004)以及其他各种方法已被用于参与过程,以引出利益相关者的心理模型(fortune等人,2011年,Jones等人,2011年)。所有这些都提供工具来组织和沟通复杂的问题,识别不同的观点,并帮助建立共同的理解。它们还具有指导环境研究过程和问题解决以及整合不同类型知识的潜力(Hukkinen 1993, 1999, Pavao-Zuckerman 2000, Heemskerk et al. 2003, Fortuin et al. 2011, Jones et al. 2011)。

我们以影响图的形式使用bbn,让利益攸关方参与制定波罗的海中部鲱鱼管理问题。bbn是一种有向无环图形模型,它描绘出嵌入在个人思维中的因果关系,判断某些事件、行动或因素将导致特定的结果。影响图是bbn,除不确定变量外,还包括可选管理决策和对管理结果的个人估值(决策的效用、损失或偏好);因此,它们可以用来表示、分析和解决不确定性下的决策问题。BBN在影响图中的作用是在概率背景下描述从管理行为到有价值结果的不确定因果链(Kuikka et al. 1999, Varis and Kuikka 1999, Cain 2001, Jensen 2001)。与上面提到的心智建模方法一样,bbn能够明确包含显著因素和条件,并提供一个框架来引出专家或利益相关者的知识(Hukkinen 1993, 1999, Kuikka和Varis 1997, Varis和Kuikka 1997, Cain 2001, Jensen 2001, Uusitalo 2007)。Lynam等人(2007)发现bbn对参与建模很有用,因为它们迫使参与者清楚地表达变量及其因果关系。

bbn作为利益相关者启发和问题框架的最重要的特点是与他们对知识的主观视角有关。该方法使用概率作为个人不确定性的明确度量,用信仰程度表示(Spiegelhalter et al. 1993)。因此,在问题框架方法中,bbn提供了一种工具,以定性的方式构建不同的主观观点,但它们也包括将问题框架发展为定量风险评估模型的可能性。此外,对知识的主观视角允许将利益相关者的知识与从数据分析中获得的知识结合起来,并在新信息可用时更新先前的知识,以获得对问题的后知后知(Pearl 1988, Jensen 2001, O 'Hagan et al. 2006)。

一个基本BBN模型由定性部分和相关的定量部分组成。定性部分描述变量(命题、属性、问题、事件)及其从条件变量到条件变量之间的关系。量化BBN意味着通过联合概率分布来表达关系的强度,其中概率表示信任程度(Spiegelhalter等人1993年,Gelman等人1995年,Kuikka和Varis 1997年,Varis和Kuikka 1997年,Cain 2001年,Jensen 2001年)。概率可以从利益相关者那里得到,也可以通过专注于网络不同因果关系的单独研究获得(Dennis 1996)。Mäntyniemi等(2009一个)提出贝叶斯技术来估计所需的概率。在问题框架和基于场景的建模方法中,链接的强度可以用更简单的方式表示,例如,通过箭头的厚度(较厚的箭头表示较强的效果;Varis和Fraboulet-Jussila 2002, Varis和Lahtela 2002)或通过指标正、负、零和模糊(Wellman 1990, Druzdzel和Henrion 1993, nooij和van der Gaag 1998)。

此前,Varis和Kuikka(1997)关注的是模型的结构,即变量之间的联系。相比之下,Kuikka等人(1999)专注于使用模拟结果或数据库来学习所需的条件概率表。在这里,我们特别关注不同行为者看到的不同因果结构,因此,该方法最接近于Varis和Kuikka(1997)使用的方法。

波罗的海鲱鱼案

我们邀请了来自三个波罗的海国家(爱沙尼亚、芬兰和瑞典)的5个利益攸关方来阐述波罗的海中部鲱鱼渔业管理的问题。我们广泛地定义了利益相关者,不仅包括资源用户群体,还包括环境非政府组织(ngo)、管理人员、决策者和科学家,因为我们认为所有这些群体在创建渔业管理知识库方面都有利害关系。因此,在使用利益攸关方一词时,我们指的是参加关于渔业问题的讨论的所有行为者团体。选择个人利益相关者的基础是,这些人必须参与鲱鱼捕捞、管理或研究,因此熟悉这个问题。我们事先没有对参与者的专业知识进行评估,但在讲习班结束后,他们被要求对自己对波罗的海鲱鱼的知识进行自我评估。其中两人报告说他们对波罗的海鲱鱼种群有很多了解,三人报告说他们有一些了解,没有人报告说他们几乎一无所知。

其中一名参加者是渔业部的领导官员,是鲱鱼渔业政策制定者(下称经理)。其中一人是国民政府的成员和议会成员(国民政府代表);他对鲱鱼的了解是基于他作为环保活动家和决策者的职业和兴趣。一名与会者是一个渔民组织的领导官员,通过该组织的成员参与波罗的海中部鲱鱼渔业;他是一个受教育的鱼类生物学家(渔夫)。其中两名参加者是科学家,他们多年来一直参与国际海洋勘探理事会(海研会;科学家1和科学家2)。我们对利益相关者观点的人际差异感兴趣;因此,每个专家都被要求独立地提出问题。每个利益相关者被选择来提供他的个人观点作为参考群体的代表,而不是代表他的群体,尽管他可能代表群体的典型观点。

每个问题框架会议都有三个人参与:涉众、建模专家和观察过程并做笔记的社会科学家。建模专家作为推动者,提出任务和问题,并根据涉众的观点构建模型(O 'Hagan et al. 2006)。访谈是半结构化的(Flick 1998),主持人以适当的顺序提问相关问题,但尽量不影响回答。涉众做出所有与问题框架相关的决策,也就是说,他根据自己对因果关系的兴趣、价值观和信念定义变量和变量之间的联系。在研讨会之前,只向利益相关者提供了关于任务的参考信息,以防止他们从文献中获取信息。每次疗程4-6小时。

要求利益攸关方通过为波罗的海中部鲱鱼渔业管理建立影响图来确定问题所在。参与者被问到三个主要问题:在鲱鱼种群评估和管理中应该考虑哪些变量和因果关系?鲱鱼渔业管理的目标应该是什么?为了达到这些目标,可以或应该采用什么样的管理措施?第一个问题的目的是概述利益攸关方如何看待鲱鱼渔业系统的组成部分和相互关系。对于第二个问题,我们想知道利益相关者从社会的角度来看什么目标是重要的。第三个问题的目的是了解利益相关者之间首选的管理措施有何不同,以及它们与目标和因果关系有何关联。利益相关者的观点被构建到代表变量及其因果关系的影响图中。我们使用了三种类型的变量:渔业系统的不确定相关变量(表示为椭圆形),直接可控的决策变量(表示为矩形),以及定义目标的效用/损失/偏好变量(表示为菱形)。变量之间的箭头有三种不同的厚度,描述了假设的关系强度:细箭头表示弱效应,中箭头表示中等效应,粗箭头表示强效应。 The resulting influence diagrams did not include numerical information about the parameters, i.e., there were no conditional probability tables at this stage.

鲱鱼渔业管理的五种观点

核心模型

研究人员要求利益攸关方从科学家为波罗的海中部鲱鱼的年度种群动态建立的生物核心模型(图1)开始构建鲱鱼渔业管理问题的框架。该模型是种群动态的一般描述,包括与鱼类的招募、生长和死亡率有关的基本组成部分,其中包含9个变量和10个箭头,描述这些变量之间假设的影响。

经理:考虑经济问题

经理从经济的角度对鲱鱼渔业管理问题进行了框定(图2)。在他看来,鲱鱼渔业管理的目标是确保渔民永久获得稳定的平均工资。网络右上方的粗箭头表示经理认为,渔民数量、捕鱼能力和渔获量(重量)对实现这一目标有很大影响,此外,管制这些的最有效管理措施是TAC和TAC在渔民中的分布。中度箭头表示,根据经理,捕鱼努力、捕鱼成本和鱼的价格对实现目标的影响较小。经理认为封闭的区域或季节以及TAC有效地限制了捕捞努力,但最终捕捞努力的影响在管理目标中不是很强烈(中等箭头)。渔具规定不被认为是一种非常有效的管理措施(对捕鱼努力适度的箭头,进一步对渔民的工资)。总的来说,经理在该网络中列入了他认为会影响维持渔民稳定工资目标的若干经济因素,例如加工鱼类的种类(受市场情况影响)对鱼类价格有很大影响,以及影响捕捞成本的燃料价格(受经济状况影响)。他认为这些因素会对整个鲱鱼管理系统产生影响,因此应该予以考虑。

ENGO的代表:人类社会与自然的平衡

据eno代表称,鲱鱼渔业管理的长期目标是确保沿海社区的生存能力取决于渔业和关键物种的自然平衡(图3)。他强调了利润对渔业社区的重要性,并认为利润特别受鱼价(支付给渔民)、捕捞努力和捕捞成本的影响,在较小程度上受渔获量(渔获重量,中箭头)的影响。ENGO代表认为,通过补贴可以在一定程度上提高盈利能力。他看到了捕鱼努力和渔获量之间的紧密联系。ENGO代表认为,鱼的数量强烈影响产卵的雌性鱼的数量,这对于实现关键物种的自然平衡的目标是决定性的(粗箭头)。他还提到另外两个相互关联的管理目标:鲱鱼必须只供人类食用,而不是用于技术用途(例如,饲料),这必须由管理措施加以管制。总的来说,ENGO代表认为,管理措施是国际协定和渔业立法的一个庞大实体,这些是非常重要和有力的(粗箭头)。不过,他也认为实际管理措施的影响较弱(中箭头),并强调了科学调查的重要性。

渔民:确保渔民的就业

渔夫为鲱鱼渔业管理设定了五个目标,并将其优先排序(图4)。首先,确保渔民每年和永久就业。第二,永久保护鲱鱼资源。第三,确保最大的可持续经济收益(5年)。第四,确保最大可持续产量(5年)。第五,降低鱼的二恶英含量(10年),这与捕获的鱼的大小分布密切相关。渔夫认为鱼的需求和价格对于实现经济目标非常重要(粗箭头)。他认为TAC和限制出海天数是管制捕获量和确保渔民就业的非常有效的措施,并强调了调查的重要性(粗箭头)。渔夫也认为小鱼的管理是非常重要的,因为它影响鲱鱼的捕捞死亡率(厚箭)。他还认为鳕鱼会影响鲱鱼的自然死亡率。

科学家1:自然过程

科学家1考虑了鲱鱼管理的三个目标,并对它们进行了优先排序(图5)。首先,确保海里有足够的鲱鱼,无论是生物量还是数量(粗箭头)。这意味着鱼类的平均大小和它们的数量在设定目标时都起着作用。第二,确保鲱鱼成为捕食者(包括人类)的食物来源。科学家1认为,这一目标在一定程度上取决于海洋中鱼类的大小分布和数量(中箭头)。第三,保证鲱鱼产卵群体的遗传多样性。科学家1号认为,这取决于海里的鱼的数量和它们的大小,但他在这里只看到了一个薄弱的环节。据科学家1号说,调查在鲱鱼管理中很重要,特别是在确定鲱鱼的大小分布方面。科学家1建议空间TAC(重量)作为限制捕捞量的唯一管理措施,但认为其效果较弱。

科学家2:科学的重要性

科学家2认为鲱鱼渔业管理的目标是将鲱鱼的数量保持在一定的水平(图6)。他认为鲱鱼的体型分布和生物量(粗箭头)以及较小程度上的鲱鱼数量(中箭头)是实现这一目标的先决条件。据他说,更新鲱鱼种群状态的科学调查尤其重要(粗箭头),而观察渔获量的重要性较弱(中等箭头)。科学家2认为TAC和关闭产卵地是限制渔业死亡率的适当措施,但认为这些管理措施只能产生中等影响(中箭头)。他还发现,针对鲱鱼和鳕鱼的管理措施在鲱鱼管理中也有作用。他认为,虽然可以通过有效的管理措施来管理鳕鱼,但由于他不认为鳕鱼对鲱鱼的自然死亡率有很强的影响(细箭头),因此对鳕鱼的管理对鲱鱼种群的影响较弱。他不认为针对鲱鱼的措施非常有效,但他认为鲱鱼对鲱鱼生长的影响很大。因此,根据科学家2,小鱼管理可能比鳕鱼管理对鲱鱼种群的影响更大。

我们能从影响图中学到什么?

这些影响图在内容、复杂性、时间和空间尺度上各不相同。核心模型的变量在不同的问题框架中被赋予了不同的可见性,与参与者认为重要的其他因素相关。一些利益相关者添加了一些变量,在他们的判断中,这些变量对鲱鱼的招募、生长和死亡率有影响;然后,利用现有数据(Mäntyniemi等,未发表的数据).科学家们认为生物种群动态是他们用生物学术语描述的管理问题的一个非常核心的部分。渔夫强调了管理措施对捕鱼量的影响,进而对渔民就业的影响。在Manager和ENGO代表的模型中,生物核心只是一个广泛的整体网络的一小部分;经理关注的是经济问题,而ENGO代表强调的是自然和社会的平衡。

科学家们从纯粹的生物学角度看待管理目标,而其他人则强调了社会经济目标,如渔民的收入、可持续的人类社区、渔民的就业和最大的可持续经济产量。这表明不仅需要在生物方面而且也需要在社会和经济方面商定和明确界定目标。更具体的目标包括减少鲱鱼中的二恶英含量(Kiljunen等人,2007年),确保遗传多样性,以及限制捕捞鲱鱼只供人类食用。这些目标是长期的,从5年到永久的,这表明对为波罗的海远洋鱼类所设计的长期计划的支持。

目前的管理措施(TAC、配额、技术措施)被认为是实现社会经济目标的适当工具,但它们对生物目标的假设影响不太清楚。总体而言,有两名持份者认为管理措施对实现目标的效果较强,而有三名持份者则认为其影响相对较弱。在三个模型中,鱼的需求和价格等因素被视为与实现目标的规章同等重要,甚至更重要。两个模型强调了其他物种及其管理对鲱鱼渔业的影响,特别是对鳕鱼和小鱼的影响。

在涉众需要就管理行动或决策基础标准达成一致的情况下,对管理问题的这种不同观点对涉众之间的讨论构成了挑战。涉众可能很难接受并承诺他们认为对因果链影响较弱的管理措施,或者解决他们不承认的目标的措施。

我们的研究表明,目前基于生物渔业分析的渔业管理程序没有涵盖该分析所包括的所有利益攸关方的利益和观点。它强调了更加重视社会和经济问题的重要性,并支持对波罗的海中部鲱鱼渔业管理采取生态系统办法。因此,我们的研究表明,在问题框架中让代表不同观点的利益相关者参与进来,可以促进对渔业更广泛背景的理解。

BBN方法的反思

在建立影响图期间或之后提出了以下问题供考虑:
  1. 利益相关者报告说,很难决定在其因果结构中包括哪些因素以及如何设置它们之间的联系,但表示图形化建模工具有助于解决复杂问题:看到在因果关系网络中逐一绘制的变量刷新了他们的思维。
  2. 我们的参与者认为他们的技能在问题框架中是关键的。他们必须能够相对快速地进行抽象推理(Lynam et al. 2007),并且熟悉鲱鱼问题。因此,他们强调了允许涉众与他们的参考组一起为建模做准备的重要性。
  3. 我们邀请了五名利益相关方来框定鲱鱼渔业管理的问题。在这里,利益相关者的数量并不重要,因为主要目的是测试参与式建模中的贝叶斯方法,因为我们的目标不是覆盖所有可能的利益相关者群体。例如,包括其他群体,如鱼类加工商和消费者,或每个群体中有更多的人,可能会增加模型中的可变性,但也会增加努力和成本。然而,该方法允许根据需要由不同的个体添加尽可能多的问题框架,以达到适当的各种因果结构。如果代表不同群体的利益相关者之间的因果结构彼此之间差异显著,就像他们在这里所做的那样,可以预期,在群体中也会出现观点的差异。这可能表明需要从每个小组中吸收更多的参与者来进一步征求不同的意见。我们建议在研究过程中额外考虑利益相关者的类型和数量。最后的决定可以合理地留给决策者。总的来说,贝叶斯方法不设置分析所需的最小样本量(Uusitalo 2007)。
  4. 核心模型关注年度库存动态,而将核心模型作为整个模型的一部分的问题框架考虑管理措施和目标设置,这些通常具有较长期的视角。因此,不同的利益相关者使用从1年到100年甚至永久的不同时间尺度来构建问题。这种核心模型与问题框架任务的不匹配反映了复杂问题跨时间和空间尺度的特点,使不同结构的比较变得更加困难。这可以通过更严格地规定时间范围来避免。
  5. 围绕年度动态(年内影响)构建影响图的决定是基于简化的尝试。尽管涉众做出了许多假设,这些假设可以表述为年度效应,但他们表示了其他的依赖关系,这些依赖关系可以正式表示为年与年之间的转换。特别是,系统中的时间反馈不能使用构建因果网络的正式规则来明确表示。通过将图形化模型表示为从一个时间步骤到下一个时间步骤的转换,可以避免这个问题,这将支持更显式的反馈建模。转换模型的缺点是,它需要在图中添加多个年度参数的副本,这将使图更加难以阅读。
  6. 构建图表的过程对推动者来说是一项具有挑战性的任务。一些涉众很快就学会了图形建模的逻辑,并且能够为构建图形给出明确的方向。对于其他利益相关者来说,这个过程涉及更多的讨论。涉众表达了他的观点,然后促进者将其解释为图中的节点和箭头。在向图中绘制新元素之后,推动者解释了检查涉众视图在图中正确实现的图形结构的含义。在解释错误的情况下,这个过程会不断迭代,直到涉众对图表的含义感到满意。涉众之间的这种差异,加上推动者的沟通技巧,可能在一定程度上影响了结果。
  7. 用完全相同的方式向所有参与者解释任务是非常重要的。必须强调的是,例如,是否期望涉众按照他/她目前认为的方式来描述问题,相信大多数人现在看到的问题,还是认为问题应该是这样的,以及是否期望涉众表达他/她自己的想法还是参考小组的想法。对这项任务的解释不足可能导致科学家们将他们的模型主要局限于生物因果关系。
  8. 尽管一个管理问题可以被构建为不同利益相关者群体之间的共同任务,我们建议将每个利益相关者群体的问题框架作为第一步。这确保了每个小组的所有相关问题都将被包括在内,而不会被与另一个小组的互动所干扰。

BBN方法对渔业管理的可用性

我们发现,基于bbn的影响图是形式化政策问题的性质和展示不同观点和优先级的有用工具。它们是可以理解和简单的,但仍然为大量的信息提供了基础。它们使大型实体的整体结构得以建立,使生物问题与社会和经济问题相结合,并使与假定事实有关的价值得到明确考虑。参与式方法通过详细阐述其他影响因素和因果关系来解决结构上的不确定性,从而为考虑管理措施对系统的影响提供了富有成效的基础。

这种方法将注意力转移到不同利益相关者的推理逻辑上。它显示了双方对管理问题的哪些部分看法相似,以及他们的观点不同之处。影响图的图形结构使其成为涉众组之间和之间进行讨论以及比较不同观点的说明性基础。加强对不同利益相关者想法的理解可能会改善沟通,甚至有助于达成共识。

在与波罗的海中部鲱鱼相关的科学政策系统中,结构的不确定性是一个关键问题,它最终导致了低SSB和个体鲱鱼体型小背后未知的因果关系;设计LTMP是一种改进与该股票相关的风险管理的尝试(CEC 2010)。然而,还不清楚LTMP应该涉及什么问题以及它的目标应该是什么。在这种情况下,检查不同利益相关者的假设和偏好,可以通过明确以前没有考虑到的问题来解决结构性的不确定性。提供关于不同的首选目标的信息可以促进决策者确定管理目标和对其进行加权的工作。明确的管理目标是成功的渔业管理的先决条件(Francis和Shotton, 1997年)。

我们的研究建议重点研究与渔业管理相关的社会经济因素。收集和分析社会和经济知识将进一步有助于评价利益攸关者的因果假设,并可能导致集中注意那些显示出有能力预测整个渔业对个别因素变化的反应的模型。使用利益相关者模型的决策分析可以揭示科学管理建议对知识和目标差异的敏感性(Mäntyniemi等,2009年b).这可能导致集中研究对成功的渔业管理最重要的问题。评估资料的价值可以就成本效益方面提出政策研究的优先次序,例如,集中精力分析社会经济现象或生物现象是否会更有益。

由利益相关者建立的问题框架模型是有用的,但BBN方法为它们的进一步发展提供了潜力。这些模型可以合并到一个图形元模型中,并通过添加与各因素之间联系强度相关的概率信息扩展为定量形式。最先进的可能性是使用模型平均技术构建系统的广泛元模型(Hammond和O 'Brien 2001, Mäntyniemi等,2009一个).这将需要将观测结果与模型进行比较,根据它们与数据的对应关系对不同模型进行加权(Mäntyniemi等,2009年)一个).

分析和比较单个涉众模型表明是否需要更多涉众模型,或者是否可以建立一个一致的元模型。一个忽视个体冲突观点的共识模型可能会给人一种过于积极的印象,认为个体利益相关者之间达成了一致。特别是,可能需要测试管理结论对关于多个目标及其相对权重的不同看法的敏感性。将定性问题框架发展为定量风险评估模型的可能性为这种方法提供了额外的价值,并减少了“硬”库存评估和“软”面向人的建模之间的差距。

结论

这里描述的方法从关键变量关系的其他因果关系观点的角度来解决结构性的不确定性。它阐述了定性的知识,考虑到以前没有认识到的问题,并以更全面的方向扩展理解。未来,我们计划通过估计由模型结构识别的条件概率来进一步开发模型,根据可用的信息类型,每个关系由合适的子模型或利益相关者知识独立量化(Varis和Kuikka 1997, Borsuk等人2004)。

欧盟委员会关于欧盟共同渔业政策改革的绿皮书(CEC 2009)呼吁改进以优先顺序确定政策目标:在短期内指导并确保渔业的长期可持续性。因此,科学的下一个挑战将是研究目标设定和优先排序的先决条件:目标应该包括什么样的信息来支持政策讨论?我们把建立问题框架的方法看作是迈向这个新任务的一步。

对本文的回应

欢迎对本文进行回复。如果被接受发表,您的回复将被超链接到文章。要提交回复,请遵循此链接要阅读已接受的回复,请按此链接

致谢

该研究得到了欧洲共同体第七框架计划(FP7/2007-2013)的财政支持,资助协议212969、利益攸关方参与的渔业判断和知识(JAKFISH)和资助协议244706、渔业生态系统和生物知识的有效利用(ECOKNOWS)。它不反映欧盟委员会的观点,也不预测欧盟委员会在这一领域的未来政策。我们感谢所有参与建模过程的涉众。我们也感谢Eveliina Klemola在论文定稿时对论文的评论,以及匿名审稿人和编辑的宝贵意见和建议。

文献引用

奥斯汀,1994年。将认知理论纳入环境政策制定。环境专业16(3): 262 - 274。

伯杰,P. L.和T.卢克曼。1967。现实的社会建构:知识社会学专著。企鹅,伦敦,英国。

Borsuk, M. E., C. A. Stow和K. H. Reckhow. 2004。富营养化贝叶斯网络模型的综合、预测和不确定性分析。生态模型173(2 - 3): 219 - 239。http://dx.doi.org/10.1016/j.ecolmodel.2003.08.020

该隐,j . 2001。自然资源管理方面的规划改进:使用贝叶斯网络支助水部门内外发展方案的规划和管理的准则。生态和水文中心,沃灵福德,英国。(在线)网址:http://64.40.97.24/downloads/BBN%20Guidelines%20-%20Cain.pdf

查尔斯,1998年。渔业的不确定性:分析方法、管理优先次序和加拿大陆上渔业经验。渔业研究37(1 - 3): 37-50。http://dx.doi.org/10.1016/s0165 - 7836 (98) 00125 - 8

查尔斯,2001年。可持续的渔业系统。英国牛津Blackwell科学公司。http://dx.doi.org/10.1002/9780470698785

克拉克,R. N.和G. H.斯坦基,2006。自然资源综合研究:问题框架的关键作用。通用技术报告PNW-GTR-678。美国农业部林务局,华盛顿特区,美国。(在线)网址:http://www.fs.fed.us/pnw/pubs/pnw_gtr678.pdf

欧洲共同体委员会(CEC)。2002.2002年12月20日关于根据共同渔业政策养护和可持续开发渔业资源的理事会规例(欧共体)第2371/2002号。欧洲联盟官方刊物l358:59 - 80。(在线)网址:http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2002:358:0059:0080:EN:PDF

欧洲共同体委员会(CEC)。2008.委员会致理事会和欧洲议会的来文:CFP在实施海洋管理生态系统方法方面的作用[SEC(2008)449]。COM(2008) 187决赛。欧洲共同体委员会,比利时布鲁塞尔。(在线)网址:http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2008:0187:FIN:EN:PDF

欧洲共同体委员会(CEC)。2009.绿皮书:共同渔业政策改革。COM(2009) 163决赛。欧洲共同体委员会,比利时布鲁塞尔。(在线)网址:http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2009:0163:FIN:EN:PDF

欧洲共同体委员会(CEC)。2010.委员会非文件:关于为波罗的海远洋鱼类和开采这些鱼类的渔业制定多年计划。欧洲共同体委员会,比利时布鲁塞尔。(在线)网址:http://www.bsrac.org/archive/Dokumenter/Pelagic%20WG/150410/Non-Paper%20pelagics%20final.pdf

De Young, B., R. M. Peterman, A. R. Dobell, E. Pinkerton, Y. Breton, A. t Charles, M. J. Fogarty, G. R. Munro,和C. T. Taggart. 1999。加拿大海洋渔业在一个变化和不确定的世界:为加拿大皇家学会的加拿大全球变化项目准备的一份报告。加拿大渔业和水产科学特别出版物加拿大国家研究委员会,渥太华,加拿大。

德格博尔,P.和B. J.麦凯。2007.忽视渔业系统的联系而产生的意外和反常后果。国际内燃机学会海洋科学杂志64(4): 793 - 797。http://dx.doi.org/10.1093/icesjms/fsm040

丹尼斯,b . 1996。讨论:生态学家应该成为贝叶斯吗?生态应用程序6(4): 1095 - 1103。http://dx.doi.org/10.2307/2269594

德鲁兹泽尔,M. J.和M.亨里翁,1993。定性概率网络中的高效推理。548 - 553页 第十一届全国人工智能年会论文集(AAAI-93)(华盛顿特区,1993)。AAAI出版社,帕洛阿尔托,美国加利福尼亚州。

艾蒂安,M., D. R.杜托伊特,S.波拉德,2011。ARDI:自然资源管理中参与式建模的共建方法。生态和社会16(1): 44。(在线)网址://www.dpl-cld.com/vol16/iss1/art44/

电影,1998年。质性研究导论。Sage出版社,伦敦,英国。

联合国粮食及农业组织。2003.渔业管理:2。渔业的生态系统方法。粮农组织负责任渔业技术指南4,附录2。粮农组织,罗马,意大利。(在线)网址:ftp://ftp.fao.org/docrep/fao/005/y4470e/y4470e00.pdf

《财富》,K. P. J., C. S. A. van Koppen, R. Leemans, 2011。概念模型在环境科学教育中处理复杂性和跨学科的价值。生物科学61(10): 802 - 814。http://dx.doi.org/10.1525/bio.2011.61.10.10

弗朗西斯,R. I. C. C.和R.肖顿,1997。渔业管理中的“风险”:审查。加拿大渔业和水产科学杂志54(8): 1699 - 1715。

加西亚,s.m.和A. T.查尔斯。2007。渔业系统和联系:从钟表到软表。国际内燃机学会海洋科学杂志64(4): 580 - 587。http://dx.doi.org/10.1093/icesjms/fsm013

加西亚,S. M.和A. T.查尔斯,2008。渔业系统和联系:对科学和治理的影响。海洋及海岸管理51(7): 505 - 527。http://dx.doi.org/10.1016/j.ocecoaman.2008.05.001

格尔曼,J. B.卡林,H. S.斯特恩,D. B.鲁宾,1995。贝叶斯数据分析。查普曼和霍尔,伦敦,英国。

Greboval, D。编辑器。2002.促进渔业不可持续性和过度开采因素国际讲习班的报告和文件。2002年2月4日至8日,泰国曼谷。粮农组织渔业报告第672号。粮农组织,罗马,意大利。(在线)网址:ftp://ftp.fao.org/docrep/fao/005/y3684e/y3684e00.pdf

Haapasaari, P. P. Karjalainen. 2010。将专家知识形式化,以比较不同的管理计划:社会学视角对波罗的海鲑鱼种群未来管理的影响。海洋政策34(3): 477 - 486。http://dx.doi.org/10.1016/j.marpol.2009.10.002

Haapasaari, P., C. G. J. Michielsens, T. P. Karjalainen, K. Reinikainen和S. Kuikka. 2007。管理措施和渔民对可持续开发的承诺:波罗的海大西洋鲑鱼渔业的个案研究。国际内燃机学会海洋科学杂志64(4): 825 - 833。http://dx.doi.org/10.1093/icesjms/fsm002

哈蒙德,t。R。和c。m。奥布莱恩。2001.贝叶斯方法在股票评估模型不确定性中的应用。国际内燃机学会海洋科学杂志58(3): 648 - 656。http://dx.doi.org/10.1006/jmsc.2001.1051

Heemskerk, M., K. Wilson, M. Pavao-Zuckerman。2003.概念模型作为跨学科交流的工具。保护生态7(3): 8。(在线)网址:http://www.consecol.org/vol7/iss3/art8/

Hukkinen, j . 1993。加州圣华金谷农业排水问题的贝叶斯分析。环境管理杂志37(3): 183 - 200。http://dx.doi.org/10.1006/jema.1993.1015

Hukkinen, j . 1999。环境管理中的制度:心智模式的建构与可持续性。劳特利奇,伦敦,英国。

国际海洋勘探理事会。2009.8.3.3.1波罗的海远洋鱼类的多年管理。建议2009,第8册。冰,哥本哈根,丹麦。(在线)网址:http://www.ices.dk/committe/acom/comwork/report/2009/Special%20Requests/EC%20Multiannual%20management%20pelagic%20stocks%20Baltic.pdf

国际海洋勘探理事会。2011.8.4.4生态区鱼类:波罗的海:鲱鱼25-29和32分类(不包括里加湾鲱鱼)。《建议》2011年第8册。冰,哥本哈根,丹麦。(在线)网址:http://www.ices.dk/committe/acom/comwork/report/2011/2011/Her-2532-Ex-Go.pdf

詹森,2001。贝叶斯网络和决策图。施普林格,纽约,美国纽约。

琼斯,n.a., H.罗斯,T.利纳姆,P.佩雷斯和A.利奇,2011。心智模型:理论和方法的跨学科综合。生态和社会16(1): 46。(在线)网址://www.dpl-cld.com/vol16/iss1/art46/

科尔尼,A. R.和S.卡普兰,1997。研究一种测量普通人知识结构的方法:概念内容认知图(3CM)。环境和行为29日(5):579 - 617。http://dx.doi.org/10.1177/0013916597295001

Kiljunen, M., M. Vanhatalo, S. Mäntyniemi, H. Peltonen, S. Kuikka, H. Kiviranta, R. Parmanne, J. T. Tuomisto, P. J. Vuorinen, A. Hallikainen, M. Verta, J. Pönni, R. I. Jones和J. Karjalainen. 2007。人类从波罗的海鲱鱼中摄入有机氯:个体鱼的变异和渔业管理的意义。中记录36(2 - 3): 257 - 264。http://dx.doi.org/10.1579/0044 36 - 7447 (2007) [257: HDIOOF] 2.0.CO; 2

克拉克,S. B. M., C. J.凯利,E. A.柯德林,E.罗根,2010。论科学家在渔业咨询科学中的不适:以模拟渔业管理战略评价为例。鱼和渔业11(2): 119 - 132。

库伊卡,S., P. Haapasaari, I. Helle, S. Kulmala和S. Mäntyniemi。2011.在跨学科建模中应用贝叶斯综合模型的经验:计算和人为的挑战。2135 - 2141页陈冯富珍,马里诺娃和安德森,编辑。MODSIM2011,第十九届建模与仿真国际会议(珀斯,2011)。澳大利亚和新西兰建模与模拟学会。www.mssanz.org.au modsim2011 / E9 / kuikka.pdf

库伊卡,S., M. Hildén, H.吉斯拉森,S.汉森,H.斯帕霍尔特,和O.瓦里斯。1999。模拟环境驱动的波罗的海鳕鱼的不确定性(Gadus morhua)管理的贝叶斯影响图。加拿大渔业和水产科学杂志56(4): 629 - 641。http://dx.doi.org/10.1139/cjfas-56-4-629

库卡,S.和O.瓦里斯,1997。芬兰流域气候变化影响的不确定性:专家知识的贝叶斯网络分析。北方环境研究2(1): 109 - 128。

Levontin, P. Kulmala, P. Haapasaari和S. Kuikka. 2011。利用贝叶斯信念网络整合生物学、经济学和社会学知识:波罗的海鲑鱼潜在管理计划的跨学科评估。国际内燃机学会海洋科学杂志68(3): 632 - 638。http://dx.doi.org/10.1093/icesjms/fsr004

利纳姆,T., W.德容,D.谢勒,T.库苏曼托,K.埃文斯。2007。自然资源管理中整合社区知识、偏好和价值观的决策工具综述。生态和社会12(1): 5。(在线)网址://www.dpl-cld.com/vol12/iss1/art5/

Mäntyniemi, S., P. Haapasaari,和S. Kuikka. 2009一个。 将利益相关者的知识融入股票评估:如何?2009年冰厘米/ O: 12。国际内燃机学会年度科学会议,柏林,德国。(在线)网址:http://www.ices.dk/products/CMdocs/CM-2009/O/O1209.pdf

Mäntyniemi, S., S. Kuikka, M. Rahikainen, L. T. Kell,和V. Kaitala. 2009b。渔业管理中的信息价值:以北海鲱鱼为例。国际内燃机学会海洋科学杂志66(10): 2278 - 2283。http://dx.doi.org/10.1093/icesjms/fsp206

奥哈根,C. E.巴克,A.丹尼什哈,J. R.埃瑟,P. H.加斯韦特,D. J.詹金森,J. E.奥克利,T.拉科夫。2006。不确定的判断:引出专家的可能性。威利,伦敦,英国。

Özesmi, U.和S. L. Özesmi。2004.基于人的知识的生态模型:一种多步模糊认知映射方法。生态模型176(1 - 2): 43 - 64。http://dx.doi.org/10.1016/j.ecolmodel.2003.10.027

Pahl-Wostl, c . 2007。复杂性对综合资源管理的影响。环境建模及软件22(5): 561 - 569。http://dx.doi.org/10.1016/j.envsoft.2005.12.024

帕奥-朱克曼,2000年。人类生态学模型的概念效用。生态人类学杂志4:31-56。

珍珠,j . 1988。智能系统中的概率推理:似是而非的推理网络。摩根·考夫曼,美国加利福尼亚州圣马特奥。

庞特,A. E.和R.希尔本,1997。渔业资源评估和决策分析:贝叶斯方法。鱼类生物学与渔业综述7(1): 35 - 63。http://dx.doi.org/10.1023/A:1018419207494

雷诺伊j, S.和l.c. van der Gaag. 1998。定性影响图中的决策。乌得勒支大学:信息与计算科学1998 - 03。(在线)网址:http://igitur-archive.library.uu.nl/math/2007-0118-200212/van_der_gaag_98_decision.pdf

Röckmann, C, C. Ulrich, M. Dreyer, E. Bell, E. Borodzicz, P. Haapasaari, K. H. Hauge, D. Howell, S. Mäntyniemi, D. Miller, G. Tserpes,和M. Pastoors. 2012。参与式模式在渔业管理中的附加价值-从中学到了什么?海洋政策36(5): 1072 - 1085。

施纽特,J. T.理查兹,L. J.理查兹,2001。使用和滥用渔业模式。加拿大渔业和水产科学杂志58(1): - 17。http://dx.doi.org/10.1139/cjfas-58-1-10

沙赫特博士,1986年。评估影响图。运筹学34(6): 871 - 882。http://dx.doi.org/10.1287/opre.34.6.871

Spiegelhalter, d.j., a.p. Dawid, S. L. Steffen, R. G. Cowell. 1993。专家系统中的贝叶斯分析。统计科学8(3): 219 - 247。http://dx.doi.org/10.1214/ss/1177010888

Uusitalo l . 2007。贝叶斯网络在环境建模中的优势与挑战。生态模型203(3 - 4): 312 - 318。http://dx.doi.org/10.1016/j.ecolmodel.2006.11.033

Van der Sluijs, J. P, M. Craye, S. O. Funtowicz, P. Kloprogge, J. R. Ravetz, J. S. Risbey. 2005一个。在基于模型的环境评估中结合定量和定性的不确定性度量:NUSAP系统。风险分析25(2): 481 - 492。http://dx.doi.org/10.1111/j.1539-6924.2005.00604.x

Van der Sluijs, J. P, M. Craye, S. O. Funtowicz, P. Kloprogge, J. R. Ravetz, J. S. Risbey. 2005b。NUSAP系统多维不确定性评估的经验。水科学与技术52(6): 133 - 144。

瓦里斯,O,和S. Fraboulet-Jussila。2002.塞内加尔河下游流域的水资源开发:利益冲突、环境问题和政策选择。水资源开发18(2): 245 - 260。http://dx.doi.org/10.1080/07900620220135085

Varis, O.和S. Kuikka. 1997。BENE-EIA:气候变化对地表水影响的案例研究中的专家判断的贝叶斯方法。气候变化37(3): 539 - 563。http://dx.doi.org/10.1023/A:1005358216361

瓦里斯,O.和S.库伊卡,1999。通过实践学习贝叶斯决策分析:环境和自然资源管理的经验教训。生态模型119(2 - 3): 177 - 195。http://dx.doi.org/10.1016/s0304 - 3800 (99) 00061 - 7

瓦里斯,O.和V. Lahtela. 2002。塞内加尔河流域水资源综合管理:引入一个分析框架。水资源开发18(4): 501 - 521。http://dx.doi.org/10.1080/0790062022000017374

Verweij, m.c.和w.l.t. van Densen. 2010。关于资源动态的因果推理的差异及其对北海渔业参与性辩论的影响。海洋政策34(6): 1144 - 1155。http://dx.doi.org/10.1016/j.marpol.2010.03.014

沃克,W. E. P. Harremoës, J.罗特曼斯,J. P.范·德·斯卢吉斯,M. B. A.范·阿塞尔特,P.杨森,M. P.克瑞尔·冯·克劳斯。2003。定义不确定性:基于模式的决策支持中不确定性管理的概念基础。综合评估4(1): 5。http://dx.doi.org/10.1076/iaij.4.1.5.16466

威尔曼,1990年。定性概率网络的基本概念。人工智能44(3): 257 - 303。http://dx.doi.org/10.1016/0004 - 3702 (90) 90026 - v

记者的地址:
P�新Haapasaari
Viikinkaari 1
00014年芬兰赫尔辛基
paivi.haapasaari@helsinki.fi
跳转到上
图1|Figure2|图3|装具|Figure5|Figure6