**摘要**
目的：风险评估模型（RAM）利用预测算法来帮助医生个性化护理。例如，一种用于评估住院患者静脉血栓栓塞症（VTE）风险的RAM提供了治疗建议，但医生对这些建议的遵守程度各不相同。我们旨在研究哪些因素影响了医生对住院环境中实施的VTE RAM预防建议的遵守情况。
**方法**
我们使用调查数据和真实世界数据来源来评估住院环境中VTE RAM治疗建议的遵守情况。纳入标准包括是住院医生或住院医师、至少使用VTE RAM 50次，并且两种数据来源都有完整的数据。我们比较了两种数据来源中的治疗遵守差异，并将医生归纳为高遵守组和低遵守组。通过先前的研究确定了七个可能影响遵守情况的因素，并使用最佳-最差排序（BWS）方法对它们进行了优先级排序。结果按遵守组分层，并使用Wald检验测试了优先级的差异。
**结果**
我们获得了188名医生的数据，其中大多数（56%）无法准确说明他们的遵守率。我们识别出两个组：遵守率相对较高的组（≥70%；n = 58）和遵守率相对较低的组（<70%；n = 130）。高遵守率的医生认为VTE RAM提高了决策信心（p < 0.001）、减少了低风险患者的过度治疗（p < 0.001）并促进了低风险患者的记录（p = 0.029）。低遵守率的医生更倾向于认为算法中缺少了重要的风险因素（p < 0.001）、VTE RAM干扰了工作流程（p < 0.001），以及使用它是由于机构政策要求（p = 0.021）。
**结论**
医生对VTE RAM建议的遵守情况往往与自我报告的行为不同。我们发现了一些与高遵守率和低遵守率医生相关的因素。高遵守率与信心、减少过度治疗和记录支持有关，而低遵守率则反映了对于缺失因素、工作流程中断和机构要求的担忧。将RAM设计与医生的优先事项对齐可能会提高遵守率和临床效用。
**关键点**
本研究调查了住院环境中医生对静脉血栓栓塞症风险评估模型（VTE RAM）治疗建议的遵守情况的影响因素。高遵守率的医生强调了VTE RAM提高决策信心、减少过度治疗和促进记录的能力，而低遵守率则与对缺失因素、工作流程中断和机构要求的担忧有关。这些发现强调了将RAM设计和实施与医生优先事项对齐的重要性，以提高临床效用和采纳率。
**引言**
风险在医学中无处不在，影响着预测未来结果的能力[1]。医生通过了解影响某些不良事件发生可能性的因素来评估和管理风险[2]。风险评估和管理可以帮助保护患者在住院期间免受感染、跌倒和血栓的侵害[3, 4]。静脉血栓栓塞症（VTE），即静脉中形成血栓，是住院患者中众所周知的风险。每年至少有60万人受到VTE的影响，导致约10万人死亡[5, 6]。手术、受伤和慢性炎症后VTE的风险最高[7]。多项随机安慰剂对照试验表明，通过预防措施（如化学药物、压缩装置和基于活动的干预）可以降低症状性VTE的发生率[8, 9, 10]。医生可能难以识别所有相关的风险因素或正确权衡它们，从而导致对个别患者风险的估计不一致[11, 12]。医生可以使用风险评估模型（RAM）来帮助评估事件发生的可能性[13, 14, 15, 16]。这些模型结合患者数据、病史和其他相关信息来预测特定疾病或结果，从而改善临床决策[17]。已经为各种情况开发了RAM，包括老年人跌倒的风险[18]、乳腺癌的风险[19, 20]以及与普通肿瘤学相关的风险[21]。RAM可以是独立的（即通过独立网站或应用程序访问）[22]，也可以集成到其他信息系统中，如电子健康记录（EHR）系统[23, 24, 25]。EHR集成允许无缝访问患者数据，提高临床工作流程的效率[26]。RAM可以借助人工智能和机器学习得到辅助[27]。临床指南建议使用RAM来评估和管理风险[28, 29]。RAM的采用可能会受到时间限制、不熟悉感和感知复杂性的阻碍[17, 30]。并非所有医生都同意RAM的治疗建议。医生也可能对这些模型的准确性持怀疑态度，通常更倾向于依赖自己的临床判断并保持自主权[31]。为解决RAM采用率低的问题，需要确定具体的障碍和促进因素，并识别影响RAM使用过程和结果的因素[32, 33, 34]。当RAM根据临床实践进行调整，并增强医生对其准确性和价值的信任时，会观察到改进[35, 36]。
克利夫兰诊所于2017年开发并实施了一个专注于VTE预防的RAM。该VTE RAM从EHR中收集信息，并将其呈现给医生，医生随后验证信息并将其重新输入RAM，RAM会返回未来14天内VTE的估计风险以及是否需要预防的建议。选择VTE作为研究重点是因为它是常见的住院问题，风险因素在EHR中容易获得，而仅依赖自己判断的医生往往会高估风险，导致对低风险患者过度使用预防措施。这使他们面临不必要的出血风险，这是预防措施的副作用。我们旨在研究影响医生在住院环境中遵守VTE RAM预防建议的因素。从实质上讲，我们的研究为医生使用RAM的实际经验提供了重要见解，这可能为未来RAM和其他决策支持工具的实施提供参考。在方法上，我们展示了基于遵守率进行分层的新方法，并说明了理论驱动的优先级方法如何识别终端用户对预测算法的看法。
**方法**
我们的方法可以描述为一种学习型健康系统方法，结合了关于临床实践的简短调查和真实世界数据[37, 38]。这种方法强调数据生成、分析和反馈到实践的迭代循环，使临床工具和流程能够持续改进[39]。我们的研究将常规收集的EHR数据与有针对性的调查方法相结合，生成可操作的证据，以指导VTE RAM实施的后续改进。目标是提高VTE RAM在现实世界环境中的采用率，并最终确保预防决策与患者风险一致。这些结合的数据用于比较医生自我报告的VTE RAM遵守率与他们在临床实践中的实际遵守率。然后，我们将医生分为高遵守组和低遵守组，根据他们对VTE RAM治疗建议的遵守情况。我们将遵守定义为医生决定是否开具或停止预防措施是否符合VTE RAM的建议。为了评估可能的驱动因素，我们开发并实施了一个简短的调查，其中包含了最佳-最差排序（BWS）工具来评估医生对VTE RAM的经验。这种BWS方法首先让我们能够量化这些因素的总体重要性，然后测试高遵守率和低遵守率医生之间的差异。以下小节将详细说明每个组成部分。
**2.1 识别高遵守率和低遵守率的医生**
我们通过电子邮件联系了克利夫兰诊所医院医学部门的住院医生和内科住院医师，邀请他们参与这项研究。在首次发送电子邮件后1-2周内，向未回复的医生发送了三封提醒邮件。作为参与补偿，医生获得了10美元的星巴克礼品卡。为了确保对医生遵守RAM治疗建议的估计稳定，只有至少使用VTE RAM 50次的医生被纳入初始样本进行分析。调查于2023年6月22日至11月8日在线进行。
我们通过绘制四个自我报告的遵守组（“<25%”、“25-50%”、“50-75%”和“>75%”）中观察到的VTE RAM治疗建议遵守情况的分布来评估声明的遵守情况与实际遵守情况之间的关系。我们通过计算每个组中观察到的遵守情况与其自我报告估计相匹配的受访者比例来评估准确性。然后我们使用Shapiro-Wilk检验和偏度及峰度检验来测试观察到的遵守分布的正态性。两项检验都表明偏离正态性（Shapiro-Wilk：p = 0.009；偏度和峰度：p = 0.010）。
**2.2 量化遵守的驱动因素**
我们使用BWS来衡量医生对VTE RAM的可能看法。BWS是一种基于随机效用理论的选择实验[40]，使用实验设计生成选择任务，每个任务由一组对象（即驱动VTE RAM使用的因素）组成[40]。这种优先级排序方法越来越受欢迎[41, 42]，其应用可以遵循当前的最佳实践[43, 44]。多个来源可以指导确定BWS中应包括的因素[40, 42, 45]。我们使用了研究团队成员之前进行的定性研究来识别相关因素[23]。这项研究采访了住院医生和高级实践提供者，了解使用VTE RAM的障碍和促进因素。该研究确定VTE RAM易于使用，并提供了有用的信息来指导预防决策，但当模型与他们的临床判断不一致时会引起问题。从这项研究中确定了十个主题，我们的团队使用归纳法确定了BWS中使用的七个因素（表1）。
**表1 最佳-最差排序实验中包含的因素**
调查开发遵循了已建立的偏好 elicitation 工具的良好实践，包括ISPOR患者偏好研究清单和形成性定性工作的报告指南[46, 47]。程序符合ISPOR建议，旨在提高患者偏好研究对决策者的有用性和影响力[43]。有效性评估采用了陈述偏好研究中既定的惯例，包括对内容及受访者理解程度的验证，以及对内部一致性和选择一致性的检查[45, 48]。BWS工具和其他调查问题的副本包含在补充材料中。BWS的一个关键优势是其实验设计，该设计允许在多个任务中考虑所探索因素的子集。通常使用平衡不完全区组设计（BIBD）来进行实验，以确保每个子集的大小相等，每个因素出现的次数相同，并且每个因素与其他每个因素出现的次数也相同。我们使用了Youden实验设计，这是一种特殊的BIBD类型，它还确保每个因素在选择的每个可能位置上出现的次数相同[49,50,51,52]。我们特别为七个因素使用了Youden设计，这些因素分布在七个任务中，每个任务包含四个因素的子集。每个因素在工具中出现了四次，每次出现在不同的位置（即第一、第二、第三或第四位）。这种设计是文献中最常用的设计之一[41]。医生被要求选择哪些因素最能反映他们对VTE-RAM的看法（图1）。完成所有选择任务后，我们提出了四个评估问题，以确定这些选择任务是否易于理解且与他们的实际情况相关，以及他们的答案是否真实反映了他们的偏好。研究数据使用托管在克利夫兰诊所的REDCap电子数据捕获工具进行收集和管理[53]。
图1
此图像的替代文本可能是由AI生成的。
全尺寸图像
2.3 分析
我们报告了每个因素被选为最佳和最差的次数。通过从最佳投票数中减去最差投票数，然后除以该因素出现的次数来计算一个简单的重要性得分。所得的最佳-最差（B-W）得分介于1（始终被选为最佳）和-1（始终被选为最差）之间。然后，我们使用效应编码对独立变量进行了条件逻辑回归分析，假设顺序选择了最佳和最差选项[54]。回归按医生的依从性水平进行了分层。进行了Wald检验，以评估两组医生之间的回归系数差异。使用概率重新缩放程序计算回归系数的重要性得分，将其转换为0到100的范围[55]。统计分析使用Stata SE版本17（StataCorp，德克萨斯州大学站）进行。所有研究程序均经过克利夫兰诊所机构审查委员会的审查和批准（标识符编号20-321）。
3 结果
共有434名医生被邀请参加调查（图2）。大约一半（n = 213；49%）没有参加调查，30名医生仅部分完成了调查。因此，调查数据集的总样本量为191名医生。2020年12月16日至2023年12月31日期间，从238名医生那里收集了VTE-RAM的依从性数据，其中234名医生提供了完整数据（即实际数据集）。调查数据集中的受访者ID与实际数据集中的ID进行了匹配。评估了数据完整性，并因实际数据不完整或缺失而移除了三名受访者。最终的分析样本为188名医生。
图2
此图像的替代文本可能是由AI生成的。
全尺寸图像
医生样本选择和纳入流程图
为了比较自我报告的依从性和观察到的依从性，我们首先检查了观察到的依从性分布。我们发现了一个双峰模式，有两个明显的峰值，表明自然地分为低依从性和高依从性两组。65%到70%之间的局部最小值作为分层的合理临界点。基于这个局部最小值，我们将依从性低于70%的医生定义为低依从性医生，将依从性达到70%或更高的医生定义为高依从性医生。图3展示了这种分布，并支持了将样本二分化的决定。对分层组进行的正态性测试表明，两个分布都接近正态分布（Shapiro–Wilk：p = 0.056；偏度和峰度：p = 0.155），进一步验证了使用这一阈值进行后续分析的合理性。
图3
此图像的替代文本可能是由AI生成的。
全尺寸图像
使用70%的临界值进行分层，通过电子健康记录（EHR）数据连续测量的观察依从性显示，130名医生（69%）的依从性较低（< 70%），58名医生（31%）的依从性较高（≥ 70%）。自我报告的依从性将医生分为四类：15名医生（8%）报告说他们的依从性低于25%，45名医生（24%）报告说25-50%，73名医生（39%）报告说50-75%，55名医生（29%）报告说超过75%（表2）。自我报告的依从性和观察到的依从性之间的比较显示，只有82名医生（44%）准确估计了自己的依从性。
表2 自我报告和观察到的RAM治疗建议依从性比较
全尺寸表格
3.1 影响依从性的因素
医生认为有几个因素最能反映他们使用VTE-RAM的经验。排名前三的因素是：VTE-RAM提高了决策信心（重要性得分18.55），有助于记录低风险患者（17.61），以及减少了低风险患者的过度治疗（16.70）。相比之下，排名最低的因素是：VTE-RAM干扰了工作流程（重要性得分8.96），可靠性不高（10.08），以及由于机构政策要求而使用（11.97）。这些结果表明，医生最看重VTE-RAM在支持临床效率和判断方面的作用，而在认为其繁琐或外部强加时则不太看重（表3）。
表3 影响医生遵守RAM治疗建议的因素的总体重要性
全尺寸表格
高依从性医生（n = 58）更倾向于认为VTE-RAM提高了决策信心（重要性得分22.98；p < 0.001），减少了低风险患者的过度治疗（22.47；p < 0.001），有助于记录低风险患者（18.62；p = 0.029），并且可靠性较高（11.67；p < 0.001）（表4）。相比之下，低依从性医生（n = 130）更倾向于强调模型中缺少重要的风险因素（18.76；p < 0.001），他们使用VTE-RAM是由于机构政策要求（12.75；p < 0.001），以及该模型干扰了他们的工作流程（11.51；p < 0.001）（图4）。
表4 按医生依从性水平分层的因素重要性
全尺寸表格
图4
此图像的替代文本可能是由AI生成的。
全尺寸图像
影响VTE-RAM建议高依从性和低依从性的因素
4 讨论
本研究量化了医生对VTE-RAM提供的治疗建议的依从性，并调查了影响高依从性和低依从性的因素。我们发现总体依从性较低，尽管有些医生始终遵循VTE-RAM的治疗建议。我们还发现，高依从性与重视VTE-RAM在支持决策、减少过度治疗和简化记录方面的能力有关。低依从性反映了对于风险因素缺失、工作流程中断和机构要求的担忧。这些结果强调了使RAM设计与医生需求相匹配的重要性，以提高采用率和临床效果。
本研究利用了一个独特的机会，将自我报告的VTE-RAM治疗建议依从率与从EHR收集的观察到的依从率进行了比较。自我报告的依从率低于50%的医生通常低估了自己的行为，而自我报告的依从率高于50%的医生则往往高估了自己的行为。随着自我报告的依从率增加，观察到的依从率与自我报告的依从率之间的差异变得更加明显。这种有效性检查突显了使用观察到的依从率进行分析的更高准确性和可靠性，确保了结果更加有效和可信。
最近的估计表明，根据所应用的阈值，大约20-30%的住院患者被认为是高风险的[56]。这意味着VTE-RAM至少会建议70%的患者不要进行预防性治疗。医生通常将大多数住院患者视为VTE的高风险患者[57, 58]。与VTE-RAM的低风险建议一致似乎是依从性的一个关键因素。高依从性医生可能发现VTE-RAM增强了他们不向低风险患者提供预防性治疗的信心。低依从性医生则倾向于认为VTE-RAM具有干扰性且缺乏临床价值，因为他们指出模型中缺少用于识别高风险患者的风险因素。
医生能够可靠地识别个别风险因素，但可能难以将多个因素整合起来进行准确的风险预测[59]。许多医生错误地将单一风险因素视为高风险指标，忽略了各个因素的重要性不同，以及结合几个中等风险因素可以提高患者的真实风险[60]。这一挑战突显了像RAM这样的决策辅助工具的价值，它们系统地整合了相关的风险因素，以生成更精确的风险估计。
尽管高依从性和低依从性群体对VTE-RAM的信任度存在差异，但总体上信任度相对较低。当VTE-RAM与医生的评估一致时，信任度可能更高，从而增强了他们的决策信心并减少了低风险患者的过度治疗。相反，当VTE-RAM将患者标记为低风险而医生认为患者实际上是高风险时，信任度可能会降低。两组之间的关键差异可能在于他们认为患者是高风险的频率，这导致与VTE-RAM的治疗建议更频繁地发生分歧。
采用RAM等工具的障碍通常还包括由于设计不良导致的工作流程中断和感知到的自主性限制[61]。这种自主性的丧失可能导致反抗心理，这是一种负面动机状态，也可能在决策支持工具与医生的判断相矛盾时出现[62]。医生还可能经历警报疲劳，即频繁的非关键警报使他们忽略所有警报[63]。本研究中使用的VTE-RAM通过在做出决定之前提出建议，并允许医生选择是否遵循这些建议，从而减少了反抗心理和警报疲劳。尽管有这些设计特点，大多数医生仍然表现出低依从性。虽然医生普遍不认为VTE-RAM具有干扰性，但低依从性医生更可能认为它具有干扰性。这表明，感知到的价值可能比技术设计更能决定使用情况。如果提出的解决方案仅关注工作流程的整合而不提高工具的临床相关性，那么它们可能只能解决部分问题。
即使医生对其临床效用有所怀疑，他们也更有可能采用全面整合相关风险因素的工具[64]。这表明，医生不需要完全信任VTE-RAM就能遵守治疗建议。进一步的研究应该探讨最终用户如何与RAM互动，以及哪些功能支持或阻碍了工作流程。这包括了解什么使工具对医生有价值。在医院之间与医生沟通是困难的。在这种情况下，信息是通过电子邮件、员工会议和当地倡导者分享的。VTE-RAM还包括一个链接，指向描述其推导和验证的已发表论文。大多数医生可能没有点击链接、阅读电子邮件或参加会议。在大型临床系统中有效实施这些工具仍然是一个持续的挑战。
本研究的一个潜在局限性是，在参与者完成选择任务之前没有介绍或解释驱动因素。如果没有事先澄清每个因素的含义，参与者可能会根据个人假设、以往的经验或任务本身的上下文线索来解释它们。这种缺乏标准化可能导致响应的差异，从而影响结果的可靠性和可比性。另一个需要考虑的因素是没有收集关于临床经验年限的信息，这可能会影响医生如何解释和执行VTE-RAM的建议。经验更丰富的医生可能更依赖以往的实践模式，而经验较少的医生可能更依赖VTE-RAM，这可能导致响应中的不可解释的异质性。然而，由于该调查的资格要求是至少使用VTE-RAM 50次，所有参与者很可能都熟悉所介绍的驱动因素，因为这些因素与VTE-RAM本身的各个组成部分相关。我们根据3年的临床数据制定了低依从性和高依从性的统计阈值，而不是基于外部验证的临床标准。在现实世界中，临床医生通常认为与决策支持工具有50%的一致性是一个很好的结果，因为大多数警报都会被忽略。由于我们没有将这些阈值与这样的基准挂钩，我们可能夸大了依从性的临床意义。我们没有调整分析以考虑医生使用VTE-RAM频率的差异，因此我们将每个医生使用VTE-RAM的次数设定为50次或以上这一纳入标准可能会引入选择偏差。我们选择这个阈值是为了确保依从性估计的稳定性，因为非常小的分母（例如5-10次使用）会导致不准确且可能具有误导性的一致性率。尽管如此，由于VTE-RAM已经嵌入到常规的住院患者工作流程中，这一标准可能排除了很少数的医生，从而限制了这种偏差对适用性的实际影响。
5 结论
通过结合调查数据和现实世界数据，我们确定了区分高依从性和低依从性医生的关键驱动因素。高依从性与医生重视VTE-RAM在提高决策信心、减少对低风险患者的过度治疗以及支持文档记录方面的能力有关。相比之下，低依从性与对遗漏风险因素的担忧、机构规定以及工作流程中断有关。这些发现强调了将RAM的设计和实施与医生的优先事项相一致的重要性，以提高依从性并最大化临床效用。未来的工作应优先考虑以医生为中心的设计和沟通策略，以增强RAM在临床实践中的影响。
