基于能力的评估工具的有效性和可靠性测试——以护理实践生为例

时间:2026年1月25日
来源:Journal of Professional Nursing

编辑推荐:

本研究旨在修订Creighton能力评估工具(CCEI)用于护理师学生(NP),并验证其效度与信度。通过内容效度检验和结构效度分析,发现CCEI-NP能有效评估76%的AACN核心能力,为NP教育中的能力评估提供了可靠工具,但需进一步心理测量验证。

广告
   X   

Katie L. McDermott | Ke Yan | Melodee A. Liegl | Dora L. Clayton-Jones | Amy R. Newman | Christine A. Schindler | Kristina Thomas Dreifuerst
Children's Wisconsin, 8915 W. Connell Court, MS 681, Milwaukee, WI, 53226, USA

摘要

背景

护理教育正在向基于能力(Competency-Based Education, CBE)的教育模式转变,这一转变既适用于准护士学生,也适用于研究生。然而,基于能力的评估是实施CBE过程中面临的最大挑战之一,因为目前可用的严谨评估工具非常有限。

目的

本研究的目的是对Creighton能力评估工具(Creighton Competency Evaluation Instrument, CCEI)进行修改,以适用于护士从业者(Nurse Practitioner, NP)学生,并评估修改后的CCEI-NP的有效性和可靠性。

方法

通过调查来对CCEI-NP的内容有效性和结构有效性进行测试。内容有效性测试旨在确定每个CCEI-NP条目是否必要、是否能够准确反映其所所属的类别以及是否易于理解。进一步的有效性测试通过评估这些条目在多大程度上能够反映美国护理学院协会(AACN, 2023)规定的核心能力来进行。评分者间的一致性也是评估的一部分,这些评分者接受了临床导师的培训。

结果

CCEI-NP显示出较强的有效性和可靠性。该工具能够评估AACN核心能力中的76%(即45项中的34项)。

结论

像CCEI-NP这样的工具,因为它基于明确的能力标准,并支持基于能力的评估原则,对于对不同专业的NP学生进行一致性的评估非常重要。有必要进行更多的测试以增强其心理测量学的严谨性。

引言

护理教育正在向基于能力的教育模式转变,这一模式与美国护理学院协会(AACN, 2021)发布的《专业护理教育核心能力指南》(The Essentials: Core Competencies for Professional Nursing Education)相一致。该指南将能力分为十个领域和八个实践概念,这些概念又细分为具体的能力和子能力,旨在指导各级护理教育。与以往的教育模式相比,最大的变化是从关注学生掌握的知识转向关注学生的实际表现。这种转变要求对课程、教学方法和学习方式做出相应的调整,从以知识回忆或孤立技能表现为重点的教育模式,转向强调在全面的患者护理情境中应用知识和展示技能的教育模式。此外,基于能力的评估的一个核心原则是通过整个教育过程中的评估来跟踪和记录学生的能力发展(AACN, 2023; Lozano et al., 2017; Moreau, 2021)。最终,关于毕业生能力的评估必须基于一系列综合评估数据,包括他们在《核心能力指南》中列出的能力的实际表现(Holmboe et al., 2018; McDermott & Dreifuerst, 2022)。
CBE的实施需要修订课程,并采用新的教学、评估和评价方法。许多护理项目正在熟悉AACN的核心能力指南(AACN, 2021),并进行课程调整(Altmiller, 2023; Lewis et al., 2022; Welch & Smith, 2022)。这些步骤虽然重要,但仅仅是开始。CBE不仅仅是将一些标记为“能力”的任务添加到现有或修订后的课程中。为了收集和记录学生的能力证据,需要严谨的评估方法和工具。这些记录下来的能力证据对于确保护理教育的质量至关重要。如果没有一致且可靠的评估证据来支持能力的认定,CBE的积极影响可能无法实现。鉴于护理教育向CBE的转型旨在提升实践准备度、简化实践流程、优化护理劳动力配置、满足不断变化的医疗需求并保障患者安全(AACN, 2023; Cunningham et al., 2016; Hodge et al., 2020; Holmboe et al., 2008; Lozano et al., 2017),这一点尤为重要。
基于能力的评估是实施CBE过程中面临的最大挑战之一,目前可用的严谨评估工具非常有限(Giddens et al., 2022; Holmboe et al., 2018; Lavoie et al., 2018; Lewallen & Van Horn, 2019; Pijl-Zieber et al., 2014; Schuwirth & Ash, 2013; Tavares et al., 2020; Yanhua & Watson, 2011)。迄今为止,关于能力评估的研究和实际应用主要集中在主观的、较低层次的学习成果上,如自我报告、满意度、感知和信心等。而衡量较高层次成果(如知识应用、决策能力、临床判断力、期望行为的展示以及在真实护理情境中的整体表现)的客观、标准化且严谨的工具则相对较少(Johnston et al., 2018; Kardong-Edgren, 2010; Kirkpatrick and Kirkpatrick, 2016, 2021; Lavoie et al., 2018; McGaghie, 2010)。
在研究生护理教育中,尤其是护士从业者(NP)项目中,缺乏评估能力的工具。特别是那些能够全面评估能力的工具更为匮乏。虽然有一些针对NP学生的能力评估模型,如360度评估模型(Cormack et al., 2018)、可委托的专业活动模型(EPAs, Drayton-Brooks et al., 2020; Keating et al., 2021; Moore & Hawkins-Walsh, 2020; Surjadi et al., 2019)、RIME(Reporter, Interpreter, Manager, Educator)模型(D'Aoust et al., 2022; Jenkins-Weintaub et al., 2023)以及Miller的临床能力金字塔模型(Hampton et al., 2024),但这些模型更多是教育框架,并非具有严谨的心理测量学特性的评估工具。
文献中提到了三种用于评估NP学生能力的工具(Ainslie et al., 2024; Altmiller & Dugan, 2021; Burt & Olson, 2023):Quality and Safety Framed Clinical Evaluation工具基于护士高级实践能力标准(QSEN),显示出良好的条目内容有效性(内容有效性指数CVI >0.83,量表水平CVI 0.995),并且在一项小规模试点研究中(NP学生16人,临床教师5人)发现该工具易于使用;Diagnostic Competency During Simulation(DCDS)学习工具在各个学习者和模拟场景中的信度较高(CVI得分0.918–1.0,评分者间相关性系数0.548,p<0.001,95%置信区间[0.482–612]);Nurse Practitioner Student Competency Assessment(NPSCA)工具则用于评估以患者为中心的护理能力。然而,这些工具的评估结果尚未发表(Ainslie et al., 2024)。
虽然Creighton能力评估工具(CCEI)在准护士学生中得到了广泛认可和研究,但目前尚无类似的、具有足够心理测量学验证或实施数据的工具可用于评估NP学生的能力(Hayden, Keegan et al., 2014; Hayden, Smiley et al., 2014; Manz, Tracy et al., 2022; Todd et al., 2008)。鉴于这一空白,我们的研究团队决定开发一种专门针对NP学生能力进行评估的工具,并对其有效性和可靠性进行验证。本研究已获得马凯特大学(Marquette University)机构审查委员会的批准。

CCEI-NP的修改

原始的Creighton模拟评估工具(Todd et al., 2008)经过修改后,适用于传统临床环境,其内容基于AACN(2008)的《护理学士学位教育核心能力》(Essentials for Baccalaureate Nursing Education)和护士质量与安全教育能力标准(QSEN, 2008)。该工具被纳入美国州立护理委员会(NCSBN)的全国模拟研究,作为评估准护士学生表现的一个指标。

内容有效性:必要性、适用性和理解度

在调查的330名导师中,22%(n=73)参与了调查,15%(n=49)完成了整个调查。其中5名参与者完成了超过75%的调查内容,包括CCEI-NP的四个类别中的三个以及总共23个条目中的17个,因此他们的数据被纳入分析,占总响应率的16%(n=54)。
参与者使用4点李克特量表对每个条目的必要性进行了评分(平均值M=3.57,标准差SD=0.31)。

讨论

评估工具的心理测量学特性测试是一项具有挑战性的工作,但其结果非常有价值。有效性证据是支持或反对在特定情境下使用特定评估工具的决定依据(Cook & Beckman, 2006; Cook & Hatala, 2016; Downing & Haladyna, 2009)。良好的有效性证据能够增强评估工具的可靠性。

结论

在NP学生的教育过程中以及完成学业之前,评估他们的能力至关重要。使用严谨有效的评估工具不仅是实施CBE的基础,也是他们顺利过渡到专业实践的关键。令人担忧的是,许多即将毕业的护理学生在专业领域准备不足,这阻碍了护理学科的持续发展和进步。

利益冲突声明

无。

作者贡献声明

Katie L. McDermott:撰写——审稿与编辑、初稿撰写、资源整理、方法论设计、调查实施、数据分析、概念构建。 Ke Yan:撰写——审稿与编辑、数据分析。 Melodee A. Liegl:撰写——审稿与编辑、数据分析。 Dora L. Clayton-Jones:撰写——审稿与编辑、监督工作、方法论设计。 Amy R. Newman:撰写——审稿与编辑、监督工作、方法论设计。

未引用的参考文献

Beebe, McNelis, El-Banna and Dreifuerst, 2024 Boyd et al., 2018 Collier-Sewell et al., 2023 D'Aoust et al., 2021 Frank et al., 2010 Frank et al., 2010 Giddens, 2020 Graf, Jacob, Twigg and Nattabi, 2020 Kavanagh and Sharpnack, 2021 Kavanagh and Szweda, 2017 McDermott et al., n.d Pijl-Zieber, Barton, Konkin, Awosoga and Caine, 2013 Reebals, Wood and Markaki, 2022

生物通微信公众号
微信
新浪微博


生物通 版权所有