去pdf本文版本
O'Garra, T.， D. Reckien, S. Pfirman, E. Bachrach Simon, G. A. Bachman, J. Brunacini和J. J. Lee。游戏玩法vs.阅读对社会生态系统心理模型的影响:模糊认知映射方法。生态和社会26(2): 25。
https://doi.org/10.5751/ES-12425-260225
游戏玩法vs.阅读对社会生态系统心理模型的影响:模糊认知映射方法
摘要
beplay竞技气候变化是一个高度复杂的社会-生态问题，其特征是系统类型的动力学，在各种环境下，从正规教育到决策者到普通公众的非正式教育，都非常重要。教育类游戏是一种可以增强系统思维技能的方法。这项研究使用了随机对照实验来比较教育类纸牌游戏和一篇关于北极社会生态系统的插图文章对参与者心理模型的影响。共有41名参与者(游戏邦注:n= 20;阅读:n= 21)基于“模糊认知映射”方法，创建了干预前和干预后的系统心理模型。使用网络统计分析地图。阅读这篇文章和玩这款游戏都能够提高玩家对系统的理解。阅读文章的一组在干预后感知到一个更复杂的系统，整体学习收益大约是游戏玩家的两倍。然而，游戏玩家在气候系统、导致环境问题和保护北极的行动，以及食物链中底层和中层的重要性方面，表现出了与文章读者类似的学习收获。这些发现有助于越来越多的证据表明，在正式和非正式教育中，游戏是构建理解和管理可持续社会生态系统能力的重要资源。介绍
beplay竞技气候变化是一个以系统动力学为特征的高度复杂的环境问题。鉴于这种复杂性，受气候变化影响的社会-生态系统的可持续管理将需要沟通和解决系统动力学问题(Senge 1990, Richmond 1993, Maani 2013)。beplay竞技从系统的角度而不是从它的组成部分的角度进行思考，广义上被称为“系统思考”。
尽管有大量关于系统思维的文献，但对于系统思维的内涵还缺乏共识(Davidz et al. 2004, Maani and Maharaj 2004)。关于系统思维技能有很多定义和列表，每个都有不同的重点(例如，von Bertalanffy 1968, Gharajedaghi和Ackoff 1984, Senge 1990, Richmond 1993, Checkland 1999, Gharajedaghi 1999, Rechtin和Maier 2010, Ossimitz 2000)。Moore等人(2010:5)给出的定义表明，系统思维是“识别、理解和综合为特定目的设计的一组组件中的相互作用和相互依赖的能力”。在这个分析中，我们使用了这个工作定义，尽管去掉了对“设计”的引用:
系统思维是一种识别、理解和综合相互作用和相互依赖的能力，这些相互作用和相互依赖形成一个连贯的整体。
学习科学和教育领域的学者一直声称游戏是增强系统思维技能的潜在有效手段(Dieleman和Huisingh 2006, Gee 2007, DeVane等人2010,Senge等人2012,Shute和Ke 2012, Storey和Butler 2013, Meadows等人2016)。特别是，人们认为较新的教育游戏能够以其他方式无法实现的方式提高学习能力，例如更传统的纪录片、书面文本等方法，或更早的学习游戏(游戏邦注:这些游戏往往是为了提高内容知识而进行的训练和练习)。通过让参与者在复杂的系统中体验学习，游戏可以从新的角度提供强大的体验，这可以支持系统思维的发展(Wu and Lee 2015)。这与气候变化学习尤其相关(Deaton 2015, Wu和Lebeplay竞技e 2015, Meya和Eisenack 2018)，因为许多人认为气候变化在心理上是遥远和抽象的(例如，Gifford 2011, van der Linden et al. 2015)。正如Ouariachi等人(2017)所指出的，气候游戏可以通过减少心理距离来克服气候变化学习和行动的障碍，使气候变化更加真实和难忘，并提供一种代理感。beplay竞技
本研究旨在通过评估有关北极气候变化的教育性纸牌游戏对参与者系统心智模型的影响，来加深我们对游戏增强气候系统思维的潜力的理解。beplay竞技心理模型可以被理解为外部动态系统的内部(即心理)表征(Doyle和Ford 1998)，它体现了系统组件之间的因果关系(Levy等人2018年)。我们评估人们的心理模型，以确定他们感知北极气候系统各要素之间复杂的相互作用和相互依赖的程度。
参与者的心智模型是通过认知图得出的，认知图是知识的视觉表征，包括子成分(所谓的“概念”)，用箭头表示概念之间的因果关系方向。认知地图可以理解为人们心理模型的视觉表征(Axelrod 1976, Gray等人2014,Gray 2018, Levy等人2018)。Levy等人(2018)将认知地图衍生的心智模型用作系统思维能力的衡量标准。与Levy等人(2018)一样，我们通过网络工具来评估系统思维，网络工具可以分析人们对系统的心理模型。Levy等人(2018)研究了(农业)可持续性领域思想领袖的认知地图，以衡量每张地图在多大程度上捕捉了可持续性的基本因果模式。他们的假设是，心理模型中更复杂的因果结构形式与更高层次的系统思维相关联。同样，我们使用网络统计指数(详细描述如下)调查参与者的心理模型结构，以获得关于他们在复杂的相互作用和相互依赖方面对北极社会-生态系统感知程度的见解。事实上，大多数探索系统思维干预的研究都是通过检查参与者心理模型的变化来实现的(例如，兰根-福克斯等人2000年，道尔等人2008年，Plate 2010年，马哈詹等人2019年)。
采用认知映射的扩展方法“模糊认知映射”(FCM)对被试心理模型的复杂性进行评估。然而，尽管认知映射显示了概念之间的因果关系方向，但FCM增加了概念之间因果关系强度的信息，为认知映射的分析提供了定量的准确性(Reckien et al. 2011, 2013, Reckien 2014)。由于它能够通过概念和加权因果关系来表示个体的心理模型，因此它为测试和分析基于游戏的系统学习提供了一个强大的框架(Luo et al. 2010)。像FCM这样的网络方法已经在其他研究中被用于量化学习效果(Teodoro等人，2021年)，尽管据我们所知，FCM还没有被专门用于评估基于游戏的学习。
通过在实验室中进行随机对照实验，我们将教育纸牌游戏的影响与“对照”进行比较。为此，我们使用一篇图解文章——代表一种更传统的学习方法。正在评估的游戏(EcoChains: Arctic Crisis (EcoChains))是由Joey Lee和Stephanie Pfirman在“极地学习与响应:极地气候变化教育伙伴关系”项目下设计的，旨在通过北极海洋生态系统的视角教授玩家关于气候变化的知识(Lee 2020, Turrin et al. 2020, Pfirmanbeplay竞技 et al. 2021)。“控制”这篇文章是为了包含与游戏类似的内容而编写的(详见方法)。
参与者被随机分配玩游戏或阅读文章;比较游戏组(“治疗组”)和文章组(“对照组”)的FCM结果。参与者与北极社会-生态气候系统相关的心智模型在干预前后被激发出来(提示的确切措辞见附录1)，这使我们能够检查对该系统、其组成部分以及它们之间的相互作用的看法如何受到干预的影响。
我们的分析以心理距离理论为基础，例如解释水平理论，该理论认为，对经验的评价主要基于对个人的空间、时间或社会距离(Trope and Liberman 2010)。心理上较近的物体或事件内化为具体的术语，而心理上较远的物体和事件内化为更抽象的术语(Margolin and Markowitz 2018)。这些解释模式具有下游效应;例如，证据表明，详细和具体的思维方式可以鼓励人们评估信息，并感觉与信息联系在一起(Markowitz et al. 2018)。对于一个紧迫而复杂的问题，如气候变化，这对许多人来说仍然是一个心理上遥远的概念(Gbeplay竞技ifford 2011, van der Linden et al. 2015)，游戏可以让参与者在心理上更接近这个问题，这反过来可以增强感知气候系统的复杂性和问题环境行为对这个系统的影响的能力(Meya和Eisenack 2018)。
正如Gosen和Washbush(2004)所区分的那样，我们关注的是干预期间的差异学习和技能发展，而不是干预期间的表现。我们假设在玩游戏和阅读之后都会发生学习，但我们假设玩游戏会导致更大的关于社会生态系统复杂性的学习收获。这是因为通过游戏的沉浸式体验，参与者在做出应对环境变化的选择时，会更真切地体验到环境的影响，从而在心理上拉近了北极社会生态系统的距离。然而，我们预计这种增强学习的潜力会受到参与者必须学习玩不熟悉的游戏这一事实的影响。
这项研究对文献做出了几个关键贡献。首先，它增加了关于游戏对系统思维影响的新文献。最早的研究(Torres 2009, DeVane et al. 2010)使用人种学论述方法来检查游戏玩家在玩电子游戏时的“系统”思维能力，他们都发现游戏具有增强系统思维的潜力。最近，Whalen等人(2018)发现在循环展示了对各种问题、利益相关者、部门和学科之间的系统互联性的加深理解。在与我们的设计最接近的研究中，Waddington和Fennewald(2018)使用概念映射来比较关注气候的游戏与非气候的游戏对参与者心理模型的影响;他们发现，气候博弈比非气候博弈产生了更多关于系统气候概念的学习;然而，这项分析没有使用网络指数，也没有检查人们对系统的心理表征结构。据我们所知，我们的研究是第一个通过结构网络指数来检验参与者心智模式的变化来确定游戏对系统思维的影响的研究。
我们的研究也为游戏对学习的影响提供了更广泛的文献。总体而言，大多数研究发现，游戏(包括电脑游戏和严肃游戏)有助于知识获取，以及计划、行为改变和协作技能(参见Connolly等人2012、Boyle等人2016和Hainey等人2016的系统评价)。最近关于新型社会生态游戏/模拟的分析，包括阿兹特克国际象棋，真正的掌握,农民生活的流动，发现游戏提高了参与者对如何制定可行行动的理解，以管理和缓解社会-生态压力(García-Barrios et al. 2017, 2020, Braasch et al. 2018)。Fouquet(2003)在一项关于气候变化游戏的早期研究中发现，beplay竞技在“碳交易”角色扮演游戏中，参与者对这一体验的记忆比大多数关于这一主题的讲座更持久。我们的研究证实了游戏促进学习的潜力，为这一重要文献做出了贡献。
最后，我们承认系统思维可能不能完全体现“混乱”和不受控制的过程，而这些过程可以表征复杂的社会-生态系统，例如不完全系统和连贯的反馈交互(Taylor 2005)。因此，在尊重社会生态系统固有的复杂性和“混乱”的同时，系统思维主要是区分系统内的系统关系(White 1995, Kok 2009)。
方法
来自普通大众的成年人被邀请参加波士顿的一项研究(见Pfirman等人2021年对招募程序的描述)。我们招募了50名参与者，由于没有出现，41人完成了研究(游戏邦注:n= 21;阅读:n= 20)。参与者的平均年龄为35岁，从18岁到67岁不等。女性(63%)多于男性(37%)。我们没有收集种族/民族、教育或收入数据，因为将参与者随机分组到干预组有望解决这些因素的任何潜在混淆效应(Fisher 1935, Rubin 1974)(见局限性部分)。然而，因为气候变化问题在政治上是两极化的(Hamilton 2008, 2011, 2021, mcwright和Dunlap 2011)，所以我们对确定研究参与者的政治beplay竞技组成很感兴趣。受访者大多认为自己是民主党人(66%)、独立人士(20%)或“其他”人士(14%)。与会者中没有共和党人。研究参与者的政治立场很大程度上反映了招募地区，54%的人是民主党人，39%的人没有加入任何政党，7%的人是共和党人，每个人只有不到1%的人注册为独立党或绿彩虹党(Carraggi, 2016)。
基于参与者自愿参与的情况，没有其他标准，我们在两个周末安排了6次最多8到10名参与者的小组会议。参与者被随机分配到两个组:游戏(治疗)或文章(控制)，每个人只参与一个阶段。两组的研究设置如下:首先，所有参与者完成一份在线调查。接下来是关于如何制作个人地图的指导，之后他们有15-20分钟完成他们的第一张地图(地图1)。然后是干预(描述如下)。干预后，参与者进行了简短的讨论，并完成了在线干预后调查，之后他们有10-15分钟修改他们的地图(从而产生了地图2)。见附录1，用于指导绘图练习的说明。实验以5分钟结束。由主持人主持的讨论。
与该体验相关的问题显示在幻灯片上，主持人通过阅读解释研究目的的脚本，并指出将进行后续调查和更详细的整个研究的汇报来结束会议(Pfirman等人，2021年)。请注意，因为我们想复制与家人和朋友在家玩耍或阅读的非正式教育环境，而不是在教室里，所以我们没有选择在面对面会议后立即进行内容导向的汇报，这是建议在正式教育环境中加强从游戏中学习的(Petranek 1994, Kriz 2010, woutters等人2013,Meadows等人2016,Flood等人2018,Waddington和Fennewald 2018)。
在线干预前调查收集了性别、年龄和政党归属方面的数据。我们还收集了现有的对气候变化和北极的知识和态度的数据，并在干预后的调查中重复这些问题，以测试态度和感知知识的变化。beplay竞技Pfirman等人(2021年)分析了这些数据。此外，我们在干预后4周进行了在线随访调查。本次后续调查不包括FCM成分，因此我们不会在本次分析中进一步讨论。
治疗
治疗组的参与者观看了6分钟。关于游戏规则和目标的教学视频(https://youtu.be/npii9FYaMT8)．然后，他们以三到四人为一组进行一轮游戏，时间约为40分钟。在一名在场的协调员的帮助下，他们会回答游戏过程中出现的问题。参与者玩游戏直到会话时间被调用;他们只玩了一次游戏。
EcoChains:北极危机卡牌游戏是否专为两到四名玩家设计(可在https://globalfutures.asu.edu/ecochains-arcticfutures/)．玩家扮演管理员的角色，通过绘制物种卡片并将它们置于捕食者-猎物关系中来建立北极食物网。游戏开始时，玩家在他们的储备中有7张海冰卡，加上一个冰藻类配对一个冰浮游动物，以及一个浮游植物配对一个磷虾在他们的初始食物网中。他们轮流从中心牌组中随机抽取物种、事件或行动牌。物种卡被放置在捕食者-猎物关系中，以建立它们的食物网。虽然一些北极海洋物种依赖海冰，但其他物种不依赖，这种依赖是由卡上白色小圈中支持该物种所需的海冰卡的数量来指定的(图1)。当抽到碳污染事件卡时，所有玩家需要将两张海冰卡翻转到海洋一侧，使其融化。当玩家的食物网中有太多的冰来支持依赖冰的物种时，这些物种就必须连同依赖它们的猎物一起被移除。这些物种可以迁移到其他玩家的网，如果他们有足够的网结构来支持他们。
玩行动牌，如减少碳排放和碳捕获和封存，可以为所有玩家带回一些海冰(并为打出这张牌的人提供两个点数)，这样依赖冰的物种就可以在随后从中心牌组中抽取时重新引入玩家的食物网。策略是通过游戏来发展的，因为玩家要学会重新组织他们的食物网，构建捕食者和猎物之间的关系，以最大限度地增加多样性(游戏中每一张物种牌都值一分)，并尽量减少对海冰的依赖。通过让玩家体验和应对全球变暖带来的变化以及其他对北极生态系统的负面影响，游戏教会玩家北极海洋生态系统的组成部分，一些物种对海冰的依赖，气候变化对生态系统的影响，以及可以采取的行动来减少全球变暖，从而减少海冰融化。beplay竞技150 -卡EcoChains:北极危机牌组包括17个物种(每个都有多张牌，总共80张)，9个事件(4个碳污染/冰融化，1个快速海冰流失，2个过度捕捞，1个入侵虎鲸，1个海洋酸化)，8个行动(4个温室气体减排，1个碳捕获和封存，2个保护物种，2个保护海洋)，32个海冰，以及16个目标卡，为实现特定物种组合提供额外点数。
控制
为了分离游戏对我们的主要因变量(即模糊认知映射指数;表1)，我们还收集了对照组的数据。控制干预是一篇插图文章专门为这项研究而改编包含了类似于EcoChains卡片，包括一些也在卡片上使用的图像的合并(参见附录2:控制文本)。参与者花了大约20分钟单独阅读这篇文章，其他人都在同一个房间里。我们决定使用基于文章的形式进行控制，是基于我们对一般成年人的传统信息来源的考虑。一旦脱离了高中或大学的正式学习环境，成年人从电视、报纸、杂志文章等非正式来源获得大部分信息，最近还从网上获得信息(Young 2015)。我们选择使用杂志文章格式作为控件，因为它允许我们设计与的内容相匹配的内容EcoChains尽可能的接近。为了模拟杂志或其他教育文本通常是如何说明食物网关系的，文章中包含了一个展示物种之间捕食者-被捕食者关系的图表(图1;2).我们将在“限制”部分探讨此图可能如何影响参与者fcm。
模糊认知映射练习的实施
在干预前，为了获得参与者的认知地图，过程的第一步是解释如何绘制心理模型地图，使用完全无关的内容为例(见附录1)。在解释之后，参与者被要求在左手边写下他们能想到的所有概念，并依次读出以下标题:
- 北极海洋和海冰生态系统，包括这些生态系统的物种和居民。
- 所有对北极海洋和海冰生态系统、它们的物种和居民的健康产生负面影响的不同因素。
- 所有积极影响北极海洋和海冰生态系统、它们的物种和居民健康的不同因素。
参与者被要求在对自己的概念表感到满意时放下手中的铅笔。一旦所有的参与者起草了他们的概念清单，他们被要求绘制他们的地图。这是一个方便的过程，包括他们在纸的中心画他们的概念，在它们之间画箭头来表示概念之间的关系和关系的方向。认知地图中的连接可以被解读为“可能导致”(Brightman 2000)。然后，他们给这些联系一个正负号，关系的强度从-3(强烈的消极关系)到+3(强烈的积极关系)不等。负相关关系表明，一个概念的增加导致关联概念的减少。积极的关系表明，一个概念的增加会导致关联概念的增加。参与者被要求在对地图满意时放下手中的铅笔。在干预开始前，协调人会收集参与者的地图。
在干预之后，参与者们被归还了他们的原始地图，以及一支与他们之前使用的不同颜色的铅笔。使用不同颜色的铅笔的目的是让研究人员识别地图上的变化(地图1(干预前)和地图2(干预后)之间的变化。参与者首先被提醒这些地图说明了他们对北极海洋和海冰生态系统健康的看法，然后被要求根据他们从游戏或阅读文章中学到的知识来调整这些地图。他们被告知，如果他们想删除任何内容，就把它划掉，因为我们对他们在玩游戏/阅读文章前的想法很感兴趣。他们平均花15分钟完成第一张地图，10分钟完成第二张地图。参见附录1，了解用于FCM练习的引导者脚本。
模糊认知映射分析
将FCM图转换为邻接矩阵进行分析，并使用基于数学图论和网络统计的指标(如链接密度、度、出度)进行分析。这样就可以比较治疗组和对照组的单个和/或聚合fcm的结构(Özesmi和Özesmi 2004, Reckien 2014)。
邻接矩阵的形式是A(D) = [aij] (Harary et al. 1965)，其中地图中的所有概念都在纵轴和横轴上列出，形成一个方阵。当两个概念之间存在联系时(原因在纵轴上;在横轴上的结果)值被编码在方阵各自的相交单元格中(使用从-3到+3不等的“强度”指示器)。
使用这种方法，我们为每个受访者创建了两个矩阵，一个用于Map 1(干预前)，一个用于Map 2(干预后;图2)，其中包括:
- 矩阵x轴和y轴上的所有节点
- 节点之间的所有连接(即，关系的存在，它的价和强度)在这些概念之间的交叉单元中表示。
使用FCMappers (http://www.fcmappers.net/joomla/)．我们使用Olazabal和Reckien(2015)定义的最常见的表示网络复杂性的指数。表1中描述的每个指标都代表了知识或理解的一个特定方面，其中一些指标(例如，接受者概念)突出了思维的复杂性。许多接收器的概念表明，意识到组成系统的许多因素是如何相互作用产生结果的。这表明了对系统含义的更全面的理解，在FCM中，这被认为表明了思维的复杂性(Özesmi和Özesmi 2004)。
统计分析
在FCM中，系统思维技能水平的提高被认为是通过心智地图的复杂性的增加来证明的，即网络指数的变化，例如概念的数量和概念之间联系的数量。特别是，假设接受者的数量和连接的数量可以证明系统的思维技能的提高(见表1)。
为了确定游戏(治疗)和阅读(控制)对参与者心理地图整体复杂性的相对影响，我们分别计算了控制组和治疗组参与者的地图1和地图2之间的FCM网络统计指数(“地图水平指数”，见表1)的变化，并使用Mann Whitney非参数u检验和独立样本双尾t检验比较这些变化。所有检验的零假设是，Map 2和Map 1之间的FCM指数在治疗组和对照组之间的变化相等。
分析干预对参与者地图中特定概念(节点)的影响时，使用了“节点级指数”(表1)。为了计算这些指数的变化，我们为所有没有包含在地图1中但后来被任何单个参与者添加到地图2中的概念设为零。例如，如果一个人在地图1中没有包含“冰”，但后来将其添加到地图2中，我们假设与此概念相关的节点级指数(中心性、外度和入度)在地图1中值为零。这样就可以估计关键概念的权重和影响的变化。
我们也提出配对双尾t检验和(非参数)Wilcoxon符号-秩检验比较Map 1和Map 2指数在对照组和治疗组。这些测试(见附录3)通过显示干预对参与者心理模型的组内影响，对主要结果进行了补充。
结果
对照组与治疗组比较
分析随机化实验数据的第一步是确定随机化是否成功。随机化可确保在治疗组和对照组之间分配可能影响结果的参与者特征，以便可以假定任何结果差异归因于治疗。在这个实验中，兴趣的关键特征是那些与北极社会-生态环境的系统思考有关的特征。我们预计，如果随机化成功实施，对照组和治疗组应具有同等的系统思维基线水平，如Map 1所示。
为了评估是否存在这种情况，我们使用FCM指数(见附录4表A4.1)比较两组之间的基线系统思维水平。结果表明，两组之间的基线系统思维水平没有统计学差异。再加上分析显示所收集的人口统计信息(年龄、性别、政党)没有显著差异，证实了我们的样本在两组之间没有任何系统性的偏见，并且随机化是成功的(见上述方法)。
概念频率和概念类型
表2显示了Map 1和Map 2之间FCM指数的平均变化，并比较了对照和治疗干预之间FCM指数的变化水平。这将有助于确定两种干预措施对参与者知识水平的相对影响，以及他们对北极社会-生态系统气候变化理解的复杂性。beplay竞技
虽然更简单的概念性地图可以更简洁地表达更深入的理解，但我们遵循Levy等人(2018)的观点，将更复杂的地图解释为表现出对复杂性的意识。鉴于气候变化是一个高度beplay竞技复杂的系统，涉及多种相互依赖和相互作用的因素，我们期望通过学习可以绘制出更紧密地代表这些因素及其相互作用和相互依赖的地图。
结果显示，阅读这篇文章和玩游戏都导致了更复杂的地图(几乎所有的FCM指数都有所增加)，表明这两种干预都对北极气候变化的社会-生态方面相关概念的知识，以及它们之间的关系产生了积极的影响。beplay竞技附录3中的表A3.1证实，大多数受试者内的这些增长在对照组和治疗组中都是显著的。然而，表2显示，就参与者添加到地图上的节点和连接数量而言，文章比游戏更有效。例如，与处理组相比，对照组增加了1.84个概念(∆Map 2-Map 1之间的比值)，增加了2.80个连接。我们还注意到，这篇文章对连接与节点的比率有更大的影响，表明与治疗组相比，对照组在干预后感知到的概念之间的连接网络更密集。
对于所有其他的FCM指数，游戏和文章对参与者对气候变化和北极社会-生态系统的思考和假设理解都有类似的积极影响。beplay竞技游戏的FCM指数变化与文章指数变化的比例平均约为50%，这表明从游戏中学到的知识大约是从文章中学到的知识的一半。
每个学科类别的概念频率
本节考虑参与者为其地图生成的概念(节点)的内容。为了便于对大量生成的概念进行分析，本文将这些概念归纳为12个大类(图3和附录5)。概念类别基于系统的专家判断，即本文作者和游戏开发者。如Özesmi和Özesmi(2004)所指出的，为了使分析有意义，通常会减少概念的总数。将概念聚类到主题类别使比较两组干预的结果更容易。
图3显示了治疗组和对照组12大类中每一类概念的分布，按Map 1/Map 2划分。
总的来说，最常被提及的概念属于“环境问题”的范畴;治疗组和对照组的Map 1和Map 2都是如此。特别是对照组，他们在阅读了这篇文章后添加了更多被归类为“环境问题”的概念，这表明与游戏相比，这篇文章对参与者对北极环境问题范围的感知产生了更大的影响。
网络的连接强度
不同的概念对其他概念有不同类型和程度的影响(见表1)。具体地说，它们的中心性(进度和出度的总和，即向内和向外箭头绝对值的总和)表明，哪些节点在参与者的北极心智模型中特别重要(见表3)。我们特别感兴趣的是，与控制干预相比，处理干预(游戏)是否影响了个别地图中与环境问题、保护北极行动以及对气候系统方面的广泛认识相关概念的相对影响。
在对照组中，“冰”、“哺乳动物”、“其他生物多样性”和“环境问题”等概念类别的中心性在干预后显著增加(表3)，表明文章增加了这些概念的感知重要性。与文章(控制)相比，游戏对任何概念的中心性没有影响。
由于每个概念的中心性是每个概念的总进度和出度的函数，通过观察每个概念的出度和出度的变化，可以更深入地探究这些结果。总的来说，两种干预措施都增加了对北极生态系统中关键因素如何依赖其他因素(即程度)的理解;另一方面，这些干预措施对了解关键因素如何影响其他因素(即外部程度)的影响甚微(见附录3，表A3.3、A3.4)。表4和表5显示了处理(游戏)与文章相比在增加关键概念的出度和进度方面的结果。
结果表明，在提高出度方面，文章(控制)比博弈更有效而且不同的关键概念，其中最重要的被宽泛地归为“环境问题”。如前所述，我们特别感兴趣的是研究这个游戏是否能增强对北极社会-生态系统环境问题与其他因素的联系，以及解决这些问题的行动如何融入他们的心智模型的理解。
这项研究表明，尽管游戏在增加对关键概念的重视和影响方面不如文章有效，如环境问题、冰(除度外)、哺乳动物(除度外)和“其他生物多样性”，但在增加对气候系统、保护北极的行动、导致环境问题的人类行动和基本和中级食物链的重视方面同样有效。
讨论
通过在实验室中进行随机控制实验，我们评估了游戏的不同影响EcoChains:北极危机；而不是通过阅读一篇图解文章来学习参与者对北极海洋社会生态系统与气候相关方面的心理模型。为了评估参与者的心理模型结构，我们采用了FCM，一种参与式访谈和分析方法来描述和分析人类对给定系统的感知(Reckien 2014, Olazabal和Reckien 2015)。
结果表明，阅读插图文章和玩纸牌游戏都增加了参与者心理模型的复杂性。然而，就添加到认知地图上的概念和联系数量而言，阅读的效果大约是游戏的两倍。例如，对照组比治疗组平均多添加1.84个概念。尽管如此，即使只是一次玩陌生游戏的经历，以及学习规则所带来的所有挑战，也会导致“导致环境问题的行动”和“防止环境问题的行动”这类概念的重要性增加。这些都是有关机构à与气候变化的关键概念;beplay竞技增加能动性对刺激气候行动至关重要，同时，通过减少心理距离，有助于增强系统思维，从而导致不那么一般化和抽象的心理模型。尽管游戏中的系统表现形式不那么正式，每个参与者的体验也略有不同，但我们发现他们仍然对北极海洋社会生态系统的重要方面有所了解。
虽然我们关注的是在非正式环境中探索游戏的影响，但其他人也注意到，用额外的指导和汇报来补充游戏玩法可以增强学习(Petranek 1994, Kriz 2010, woutters等人2013,Meadows等人2016,García-Barrios等人2017,Flood等人2018,Waddington和Fennewald 2018)。因此，未来的研究应该分析有和没有补充指导的系统学习收益的类型，例如让参与者在玩游戏的同时阅读插图文章，有和没有汇报，有和没有重复游戏。
限制
关于这项研究，必须考虑到几个注意事项。参与人数有限。虽然这在实验研究中经常发生，因为实施干预措施的后勤保障既包括控制又包括治疗(参见Gosen和Washbush 2004)，但理想情况下，我们应该有更多的反应来分析。此外，未来的研究还需要了解参与者对游戏的熟悉程度和从中学习的潜在倾向对学习的影响。这项研究中使用的招聘语言请求人们“帮助开发一种新的教育游戏”(Pfirman et al. 2021)。
其他可能影响通过游戏和阅读学习的不同接受能力的因素包括参与者的种族/民族、教育和收入(Nicole 2016, Martindale和Weiss 2019, Pfirman等人，2021)。我们没有收集这些数据，因为我们希望将参与者随机分组到干预组，以解决这些因素的任何潜在混淆效应(Fisher 1935, Rubin 1974)。然而，事后看来，收集这些数据来检查对学习和系统思维发展的影响是有用的。
一个相关的因素是，在文章中更结构化和更熟悉的信息传递可能会比在陌生的游戏中更新颖、更不可预测和更多变的体验带来更大的系统思维技能进步。在游戏中，最初的注意力必须集中在学习游戏玩法和内容上，纸牌的展示顺序是随机的。一旦人们投入学习一款游戏，他们便有可能再次玩游戏，而文章则不太可能再次阅读。在这项研究中，81%的游戏玩家表示，他们可能会购买游戏，以便再次玩游戏。规则学会后，在重复游戏过程中，可以更多地注意对游戏中的概念和其他与内容相关的信息进行思考。重复游戏还允许参与者体验不同的结果，并思考获胜策略，从而更加了解原因和影响(例如，Petranek 1994, Eisenack 2013, Wouters等人2013,Garcia-Barrios等人2017,Pfirman等人2021)。因此，我们预计重复游戏会提高系统学习收益，这一点也得到了一些研究参与者的证实:
- “我认为这个游戏可以很好地介绍气候变化问题。beplay竞技回顾这些问题，然后再玩一遍游戏，这有助于强化发生的事情。”
- “我想如果我多玩几次，它就会更受欢迎。”
我们认识到，在文章中加入完整的食物网插图(图1)对游戏中的差异学习设置了一个严格的比较，这可能是文章读者更有效地表现学习的一个因素。我们之所以包含这个插图，是因为任何旨在教授系统交互作用的文章都会包含这样一个图形。研究参与者很可能通过自己创建心理模型图的初始练习来识别概念图。当那些阅读文章的人看到插图时，他们可能会关注它，注意到与他们最初画的不同的特征。相比之下，那些玩游戏的人可能没有直接联系到他们的卡牌的非正式连接方式(图1)和他们的心理模型地图。如果是这样的话，“人类”这一类别很可能会在两组之间显示出统计学上的显著差异。在食物网的顶端突出了一个人(图1)，但在150张卡片中只有3张关于人的卡片EcoChains所以它们在游戏中的影响似乎会被稀释。事实表明，在控制组中，在地图2中包含人类的人比玩游戏的人要多，这种差异有轻微的显著性(表3,MW .09)，而在程度表征上的差异——与插图最相似(图1)——也有显著性(表5,MW .02)。
最后，这项研究只评估了干预后系统的心理模型的变化。随着时间的推移，阅读文章的人和玩游戏的人在系统思维上的相对变化可能会有所不同。Pfirman等人(2021年)的分析发现EcoChains与阅读文章的人相比，游戏玩家对新物种的记忆时间更长(4周)。这种与游戏玩法相关的“粘性”学习可能也与系统思维有关。
结论
当我们致力于发展对气候变化的可持续反应时，我们需要建立社会-生态系统思维的能力。beplay竞技这项关于系统思维收益的实验研究表明，阅读插图文本和玩不熟悉的游戏一次都能增加系统学习。虽然我们也发现阅读文本比一次玩一个不熟悉的游戏更能有效地提高参与者的整体系统思维，但游戏玩家在气候系统、保护北极的行动、导致环境问题的人类行动以及基础和中级食物链方面表现出了类似的学习成果。这一点很重要，因为游戏比文章更能触及不同的人群。当我们试图拓宽关于气候变化的社会-生态方面的讨论时(Turrin等人2020年，Pfirman等人2021年)，从游戏中获得的大beplay竞技约50%的整体系统学习收益也有助于增强能力。尤其值得一提的是，游戏和积极参与可以带来与阅读类似的学习收获，这对于我们在管理和管理方面的决策制定提供了重要信息。越来越多的文献建议将游戏纳入我们的正式和非正式教育策略中，以建立维持社会生态系统的能力。
未来的研究可能会集中于权衡(参见Galafassi等人2017年，Braasch等人2018年)、协同效应、非线性效应以及其他隐含在北极和其他地区社会-生态系统管理中的机会和/或艰难的决定，以及FCMs的贡献EcoChains游戏，以及其他游戏和学习工具来研究这些方面。虽然这些不是本实验的主题，但值得研究的是，这些和其他学习环境能在何种程度上促进对这些管理决策的反思。
人类被试
该研究得到了哥伦比亚大学机构审查委员会IRB-AAAF2862的批准。
致谢
这项研究主要基于美国国家科学基金会1239783和1928235的资助。本材料中表达的任何意见、发现、结论或建议都是作者的观点，并不一定反映国家科学基金会的观点。D.R.希望感谢德国研究基金会(RE 2927/2-1)的支持。T.O.和d.r.:本文的研究设计和数据收集是在哥伦比亚大学环境决策研究中心进行的，纽约，纽约10027，美国。
数据可用性
支持该研究结果的数据/代码可以在Figshare上公开获取https://doi.org/10.6084/m9.figshare．本研究得到了哥伦比亚大学机构审查委员会IRB-AAAF2862的伦理批准
文献引用
阿克塞尔罗德,r . 1976。决策结构:政治精英的认知地图。普林斯顿大学出版社，美国新泽西州普林斯顿。https://doi.org/10.1515/9781400871957
Boyle, e.a.， T. Hainey, T. M. Connolly, G. Gray, J. Earp, M. Ott, T. Lim, M. Ninaus, C. Ribeiro和J. Pereira. 2016。对电脑游戏和严肃游戏的影响和结果的经验证据的系统文献回顾的更新。计算机和教育94: 178 - 192。https://doi.org/10.1016/j.compedu.2015.11.003
布拉希，m.l. García-Barrios, S. Cortina-Villar, E. Huber-Sannwald, N. Ramírez-Marcial。2018.真知灼见:在MAB保护区中，行动者观察并探索明显的双赢土地管理策略的隐藏局限性。环境模拟及软件105:153 - 170。https://doi.org/10.1016/j.envsoft.2018.03.022
Brightman, j . 2000。名字有什么关系?认知导图，思维导图，概念导图对定性数据分析的洞察。Sage Publications出版，伦敦，英国(在线)网址:https://banxia.com/dexplore/resources/training-materials/
Carraggi m . 2016。波士顿有多少民主党人和共和党人?以下是波士顿382,946名注册选民的详细情况。补丁媒体，波士顿，马萨诸塞州，美国。(在线)网址:https://patch.com/massachusetts/boston/how-many-democrats-republicans-boston-0
Checkland, p . 1999。系统思考。页面45-56在W.L. Currie和B. Galliers，编辑。重新思考管理信息系统。牛津大学出版社，英国牛津。
康诺利，T. M.， E. A.博伊尔，E.麦克阿瑟，T.海尼和J. M.博伊尔。对电脑游戏和严肃游戏经验证据的系统文献回顾。计算机和教育59(2): 661 - 686。https://doi.org/10.1016/j.compedu.2012.03.004
大卫兹，H.， D.南丁格尔和D.罗兹2004。系统思维开发的促成者、障碍和前驱:对更多信息的迫切需求。在国际系统工程研究会议论文集/国际系统工程理事会(INCOSE)拉斯维加斯，内华达州，美国。
Deaton, j . 2015。游戏能改变气候吗?(专栏)。生活科学，未来美国公司，纽约，美国纽约。(在线)网址:https://www.livescience.com/53207-can-climate-change-game-change-minds.html
DeVane, B.， S. Durga和K. Squire, 2010。“像生态学家一样思考的经济学家”:重新构建游戏的系统思维。E-Learning和数字媒体7(1): 3。https://doi.org/10.2304/elea.2010.7.1.3
Dieleman, H.和D. Huisingh. 2006。通过游戏来学习和教授可持续发展:探索游戏和体验式学习与可持续发展的相关性。清洁生产杂志14(9 - 11): 837 - 847。https://doi.org/10.1016/j.jclepro.2005.11.031
道尔·j·K·福特和d·n·福特，1998年。系统动力学研究的心理模型概念。系统动力学评论:系统动力学学会杂志14(1): 3-29。https://doi.org/10.1002/ (SICI) 1099 - 1727 (199821) 14:1 < 3:: AID-SDR140 > 3.0.CO; 2 k
道尔，J. K.， M. J.拉齐奇，和W. S.乔斯，2008。测量复杂动态系统心智模型的变化。269 - 294页在H. Qudrat-Ullah, M. Spector和P. Davidsen编辑。复杂的决策。施普林格，柏林，海德堡，德国https://doi.org/10.1007/978-3-540-73665-3_14
Eisenack, k . 2013。一个beplay竞技用于跨学科交流和教育的气候变化棋盘游戏。模拟和游戏44(3): 328 - 348。https://doi.org/10.1177/1046878112452639
费雪1935年。实验设计。英国爱丁堡和伦敦的奥利弗和博伊德。https://doi.org/10.1136/bmj.1.3923.554-a
2018年，南卡罗来纳州弗勒德，克雷杜克-亨利，P.布莱克特和P.爱德华兹。适应性和交互式气候未来:参与和决策的“严肃游戏”的系统回顾。环境研究快报13(6): 063005。https://doi.org/10.1088/1748-9326/aac1c6
Fouquet R。2003。碳交易游戏。气候政策3 (2): S143-S155。https://doi.org/10.1016/j.clipol.2003.09.011
Galafassi, D.， t.m. Daw, L. Munyi, K. Brown, C. Barnaud和I. Fazey. 2017。学习社会-生态权衡。生态和社会22(1): 2。https://doi.org/10.5751/ES-08920-220102
García-Barrios, L.， J. cruz morales, J. Vandermeer和I. Perfecto. 2017。阿兹特克国际象棋的经验:学习如何与小咖啡农分享生态复杂性的概念。生态和社会22(2): 37。https://doi.org/10.5751/ES-09184-220237
García-Barrios, L.， T. Rivera-Núñez, J. cruz Morales, J. urdapileta - carrasco, E. Castro-Salcido, I. Peña-Azcona, O. Martínez-López, A. López-Cruz, M. Morales，和J. Espinoza。2020。农民生活的流动:一款模拟复杂的农村家庭决策所导致的生计策略和轨迹的棋盘游戏。生态和社会25(4): 48。https://doi.org/10.5751/ES-11723-250448
哎呀,j . 2007。学习和游戏，第21-40页在k·萨伦,编辑器。游戏生态。约翰·d·和凯瑟琳·t·麦克阿瑟基金会数字媒体与学习丛书，麻省理工学院出版社，剑桥，马萨诸塞州，美国。
Gharajedaghi, j . 1999。迭代设计，第三代系统思维。第43届国际系统科学学会会议记录。阿西洛玛会议中心，太平洋格罗夫，美国加利福尼亚州。
Gharajedaghi, J.和R. L. Ackoff 1984。机制、有机体和社会系统。战略管理杂志5(3): 289 - 300。https://doi.org/10.1002/smj.4250050308
吉福德,R。2011。不作为之龙:限制减缓和适应气候变化的心理障碍。beplay竞技美国心理学家66(4): 290 - 302。https://doi.org/10.1037/a0023566
Gosen, J.和J. Washbush, 2004。经验学习效果评价研究综述。模拟和游戏35(2): 270 - 293。https://doi.org/10.1177/1046878104263544
灰色,年代,2018。测量系统思考。自然的可持续性1(8): 388 - 389。https://doi.org/10.1038/s41893-018-0121-1
Gray, S. A.， E. Zanre和S. R. Gray, 2014。模糊认知图作为心理模型和群体信念的表征。页面29-48在E. I. Papageorgiou编辑。应用科学与工程的模糊认知图。施普林格，柏林，海德堡，德国https://doi.org/10.1007/978-3-642-39739-4_2
海尼，T.， T. M.康诺利，E. A.博伊尔，A.威尔逊和A.拉扎克，2016。小学教育中基于游戏的学习经验证据的系统文献综述。计算机和教育102:202 - 223。https://doi.org/10.1016/j.compedu.2016.09.001
Hamilton, l.c. 2008。谁会关心极地地区?这是美国民意调查的结果。北极、南极和阿尔卑斯研究40(4): 671 - 678。https://doi.org/10.1657/1523 - 0430(07 - 105)(汉密尔顿)2.0.co; 2
汉密尔顿，l.c.， 2011年。关于气候变化的教育、政治和观点是相互作用的证据。beplay竞技气候变化104(2): 231 - 242。https://doi.org/10.1007/s10584-010-9957-8
汉密尔顿，l.c.， 2021年。两种极地知识。地球科学教育杂志69(2): 106 - 112。https://doi.org/10.1080/10899995.2020.1838849
哈里，F.， R. Z.诺曼和D.卡特莱特，1965。结构模型:有向图理论的介绍。威利，纽约，美国。
角,k . 2009。模糊认知图在半定量场景开发中的潜力，以巴西为例。全球环境变化19(1): 122 - 133。https://doi.org/10.1016/j.gloenvcha.2008.08.003
克里兹，W. C. 2010。一个系统建构主义的方法来促进和汇报模拟和游戏。模拟和游戏41(5): 663 - 680。https://doi.org/10.1177/1046878108319867
Langan-Fox, J.， S. Code和K. Langfield-Smith。2000.团队心理模型:技术、方法和分析方法。人为因素42(2): 242 - 271。https://doi.org/10.1518/001872000779656534
李，j.j. 2020。游戏可以教授有关气候变化的知识，并激励人们采beplay竞技取环保行动。学校图书馆杂志．(在线)网址:https://www.slj.com/?detailStory=games-teach-about-climate-change-and-can-alter-behavior
莱维，文学硕士，卢贝尔，麦克罗伯茨。2018.可持续农业的心智模式结构。自然的可持续性1(8): 413 - 420。https://doi.org/10.1038/s41893-018-0116-y
罗旭，魏旭，张杰。2010。使用模糊认知图的导向游戏学习。IEEE学习技术汇刊3(4): 344 - 357。https://doi.org/10.1109/TLT.2010.26
Maani, K. E. 2013。气候变化适应决策:系统思维方法，beplay竞技国家气候变化适应研beplay竞技究机构，格里菲斯大学，黄金海岸，昆士兰，澳大利亚。(在线)网址:https://apo.org.au/node/34598
Maani, K. E.和V. Maharaj, 2004。系统思考和复杂决策之间的联系。系统动力学评论:系统动力学学会杂志20(1): 21-48。https://doi.org/10.1002/sdr.281
马哈扬，s.l.， l.g uw, E. Rieder, G. Ahmadia, E. Darling, H. E. Fox, M. B. Mascia和M. McKinnon。2019.规划和评估保护措施的系统思考。保护科学与实践1(7): 44。https://doi.org/10.1111/csp2.44
马戈林博士和马科维茨博士，2018。对大文本数据的多元理论方法:比较Yelp评论中的表达逻辑和修辞逻辑。通信研究45(5): 688 - 718。https://doi.org/10.1177/0093650217719177
马科维茨，D. M.， R. Laha, B. P. Perone, R. D. Pea, J. N. Bailenson。沉浸式虚拟现实实地考察有助于了解气候变化。beplay竞技心理学领域9: 2364。https://doi.org/10.3389/fpsyg.2018.02364
R. C. Martindale和A . M. Weiss, 2019年。“埋葬学:死亡和石化”:一个新的棋盘游戏，旨在教大学生关于石化的过程。地球科学教育杂志68(3): 21。https://doi.org/10.1080/10899995.2019.1693217
mcwright, A. M.和R. E. Dunlap, 2011。2001-2010年，气候变化的政治化和美国beplay竞技公众对全球变暖观点的两极分化。社会学的季度52(2): 155 - 194。https://doi.org/10.1111/j.1533-8525.2011.01198.x
麦格尼格尔,j . 2011。现实是破碎的:为什么游戏让我们变得更好，以及它们如何改变世界。企鹅，纽约，纽约，美国。
梅多斯，D. L. B. Sweeney和G. M. Mehers, 2016。气候变化beplay竞技剧本:关于气候变化更有效沟通的22个系统思维游戏。切尔西绿色出版社，切尔西，佛蒙特州，美国。
梅亚，J. N.和K.艾森纳克，2018。游戏对气候变化交流和教学的有效性。beplay竞技气候变化149(3): 319 - 333。https://doi.org/10.1007/s10584-018-2254-7
摩尔，S. M.， M. A. Dolansky, M. Singh, P. Palmieri和F. Alemi。2010。系统思维量表。凯斯西储大学，克里夫兰，俄亥俄州，美国。
妮可,h . 2016。调查结果1:我们是谁?每日员工安置(在线)网址:http://dailyworkerplacement.com/2016/02/19 / survey-results-1-who-are-we /
Olazabal, M.和D. Reckien, 2015。模糊认知映射在城市环境决策中的应用。148 - 176页在m·露丝编辑器。环境研究的研究方法和应用手册。爱德华·埃尔加，英国切尔滕纳姆https://doi.org/10.4337/9781783474646.00013
奥西米兹，2000年。利用系统动力学建模工具开发系统思维技能。Universität克拉根furt, Institut für Mathematik, statistics and Didaktik der Mathematik，克拉根furt am Wörthersee，奥地利。(在线)网址:http://webdoc.sub.gwdg.de/ebook/e/gdm/1996/ossimitz.pdf
Ouariachi, T.， m.d. Olvera-Lobo和J. Gutiérrez-Pérez。2017.通过网络游戏分析气候beplay竞技变化传播:有效标准的开发和应用。科学传播39(1): 10-44。https://doi.org/10.1177/1075547016687998
Özesmi，美国，和s.l. Özesmi。2004.基于人类知识的生态模型:一种多步模糊认知映射方法。生态模型176(1 - 2): 43 - 64。https://doi.org/10.1016/j.ecolmodel.2003.10.027
Petranek, c . 1994。体验式学习的成熟:模拟和游戏原则。模拟和游戏25(4): 513 - 523。https://doi.org/10.1177/1046878194254008
Pfirman, S.， T. O 'Garra, E. Bachrach Simon, J. Brunacini, D. Reckien, J. J. Lee和E. Lukasiewicz。通过游戏“更有粘性”的学习:气候变化教育的有效方法。beplay竞技地球科学教育杂志69(2): 192 - 206。https://doi.org/10.1080/10899995.2020.1858266
板,r . 2010。评估个体对复杂系统中非线性因果结构的理解。系统动力学评估26(1): 19-33。https://doi.org/10.1002/sdr.432
Rechtin, E.和M. W. Maier, 2010。系统架构的艺术。美国佛罗里达，博卡拉顿，CRC出版社。https://doi.org/10.1109/6.158642
Reckien, d . 2014。印度极端天气和街头生活的影响模糊认知映射作为一种新的半定量影响评估和适应措施排序工具。全球环境变化26:1-13。https://doi.org/10.1016/j.gloenvcha.2014.03.005
Reckien, D.， M. Wildenberg, M. Bachhofer. 2013。气候变化的主观现实:影响的心理地图如何提供社会上beplay竞技明智的适应选择。可持续性科学8(2): 159 - 172。https://doi.org/10.1007/s11625-012-0179-z
Reckien, D.， M. Wildenberg和K. Deb, 2011。了解印度特大城市的潜在气候变化影响和适应方案。beplay竞技15 - 34页在k . Otto-Zimmermann编辑器。适应性城市:城市和适应气候变化——2010年全球论坛论文集。beplay竞技卷1。荷兰，多德雷赫特，施普林格。https://doi.org/10.1007/978-94-007-0785-6_3
里士满,b . 1993。系统思维:20世纪90年代及以后的批判性思维技能。系统动力学评估9(2): 113 - 133。https://doi.org/10.1002/sdr.4260090203
鲁宾，D. B. 1974。在随机和非随机研究中估计治疗的因果效应。教育心理学杂志66(5): 688 - 701。https://doi.org/10.1037/h0037350
圣吉，1990年。第五学科:学习型组织的艺术与实践。双日商务，纽约，纽约，美国。https://doi.org/10.1002/pfi.4170300510
Senge, P. M.， N. Cambron-McCabe, T. Lucas, B. Smith, J. Dutton, 2012。学习的学校(更新和修订):第五学科实地手册的教育者，父母，和每个关心教育的人。皇冠商业，纽约，纽约，美国。
Shute, V. J.和F. Ke, 2012。游戏、学习和评估。页面43-58在D. Ifenthaler, D. Eseryel和X. Ge，编辑。基于游戏学习的评估:基础、创新和视角。施普林格，纽约，美国纽约。https://doi.org/10.1007/978-1-4614-3546-4_4
Storey, B.和J. Butler, 2013年。PE中的复杂性思维:以游戏为中心的方法，游戏是复杂的适应性系统，以及生态价值。体育与运动教育学18(2): 133 - 149。https://doi.org/10.1080/17408989.2011.649721
泰勒,p . 2005。难以驾驭的复杂性:生态、诠释、参与。芝加哥大学出版社，芝加哥，伊利诺伊州，美国和伦敦，英国。https://doi.org/10.7208/chicago/9780226790398.001.0001
Teodoro、J. D.、C. Prell和L. Sun, 2021年。通过多个关系和参与网络量化利益相关者在适应气候变化方面的学习。beplay竞技环境管理杂志278(2): 111508。https://doi.org/10.1016/j.jenvman.2020.111508
托雷斯，R. J. 2009。在21世纪的平台上学习:gamestar机制是游戏设计和系统思考技能的一种手段。纽约大学，纽约，美国。
Trope, Y.和N. Liberman, 2010。心理距离的识解水平理论。心理评估117(2): 440。https://doi.org/10.1037/a0018963
Turrin, M.， S. Pfirman和L. Hamilton。极地乐趣和游戏。《海洋教育杂志》34(1): 15。https://doi.org/10.5334/cjme.43
van der Linden, S.， E. Maibach和A. Leiserowitz, 2015。改善公众对气候变化的参与:心理科学的五个“最佳实践”见解。beplay竞技心理科学视角10(6): 758 - 763。https://doi.org/10.1177/1745691615598516
冯·贝塔兰菲1968。一般系统论:基础、发展、应用。George Braziller，纽约，美国。https://doi.org/10.1109/TSMC.1974.4309376
Waddington, D. I.和T. Fennewald, 2018。严酷的命运:学习系统思维在一个深入的气候变化模拟。beplay竞技模拟和游戏49(2): 168 - 194。https://doi.org/10.1177/1046878117753498
Whalen, K. A.， C. Berlin, J. Ekberg, I. Barletta, P. Hammersberg. 2018。“他们所做的一切都是为了赢”:这是从循环经济教育的严肃游戏中吸取的教训。资源、保护和循环利用135:335 - 345。https://doi.org/10.1016/j.resconrec.2017.06.021
白色,d . 1995。将系统思维应用于风险管理。管理决策33(10): 35 - 45。https://doi.org/10.1108/EUM0000000003918
伍特斯，P.， C. van Nimwegen, H. van Oostendorp, E. D. van Der Spek, 2013。严肃游戏的认知和动机效应的元分析。教育心理学杂志105(2): 249。https://doi.org/10.1037/a0031311
Wu J. S.和J. J. Lee. 2015。beplay竞技气候变化游戏是教育和参与的工具。自然气候变化beplay竞技5(5): 413 - 418。https://doi.org/10.1038/nclimate2566
年轻,e . 2015。千禧一代获取新闻的方式:美国第一代数字一代的习惯。NORC公共事务研究中心和美国新闻研究所，芝加哥，伊利诺伊州，美国。(在线)网址:http://www.americanpressinstitute.org/wp-content/uploads/2015/03/How-Millennials-Get-News-Media-Insight-Project-March-2015-FINAL.pdf
