跳过主要内容

任何可能出错的,都不必出错:流行病学的开放质量方法

摘要

质量保证是流行病学研究最重要的方面之一,因为其有效性在很大程度上取决于数据质量。工业部门质量管理的不断成功导致了制造业和其他行业的迅速蔓延。然而,迄今为止,关于流行病学的质量保证方面发表的文章很少。在这篇文章中,我们回顾了三种质量保证模型(Juran, Donabedian和ISO 9000),并展示了如何将这些模型以一种直观的、系统的和灵活的方法结合到流行病学的质量保证中。由此产生的开放质量方法可以追溯到Juran确定的三个过程(计划、控制和验证)。在规划阶段,我们建议将研究过程细分为一系列步骤,并按照ISO方法的建议,定义与该步骤中活动相对应的品质属性。我们引用Donabedian模型来确定控制/监控应该发生的级别——结构、过程或结果。随着对开放质量方法的概述,我们提出了一个开放质量工具来支持质量属性、失败模式、预防策略、验证活动和纠正措施的定义,这些构成了开放质量方法的主干。

介绍

凡是能出错的,一定会出错墨菲定律可以解释为什么我们的数据文件在备份之前就损坏了,为什么打印机在我们计划打印所有调查问卷的那天坏了。但在悲观的困境之外,墨菲定律也为质量保证提供了一个非常有用的起点。正如我们在本文中所演示的,系统地反思“会出什么问题呢?“而且至关重要”我们能做些什么来预防它呢?是一种非常通用的数据质量保证方法的基础。

质量保证是流行病学研究最重要的方面之一,因为研究结果的有效性在很大程度上取决于数据质量。高测量误差会稀释现有关联(II类错误),而有偏差的数据会导致不正确地报告关联(I类错误)[1].质量管理是一个包含广泛的术语,指的是旨在产生高质量结果(如产品或服务)的管理过程。虽然质量管理的基础是在工业革命期间奠定的,但这门学科是在20世纪50年代日本决定将质量改进作为国家重建经济的一部分而势在必行时发展起来的。从那时起出现了许多方法和工具,它们根植于各种学科,包括工业工程、信息管理和统计学。在工业领域,质量管理的日益成功导致了制造业的迅速蔓延,并超越了服务业、政府和非营利企业。

是的,关于流行病学的质量保证和质量控制的文章很少。许多关于健康科学质量保证的文献都是在卫生保健的背景下产生的[23.]及临床试验[45].在流行病学方面,大多数与质量保证有关的工作已在研究完整性领域以良好流行病学做法指南的形式发表[678910]以及流行病学研究报告指南[11].一些流行病学研究已经发表了自己的研究特定质量保证和质量控制程序[121314]。这些描述代表了可在类似研究中采用或改编的活动和协议的丰富来源。然而,这些报告通常不将其描述嵌入更广泛的质量保证框架中,这可能会限制其在更多样化环境中的适用性。

在这篇文章中,我们提出了三种有目的地选择的质量保证模型,并讨论了它们与流行病学研究的相关性。第一个是最早提出的工业工程质量保证模型之一(Juran模型),第二个是最广泛接受的卫生保健质量保证模型(Donabedian模型),第三个是目前欧盟最广泛的质量认证模型(ISO 9000)。我们对这些模型的基本原则和工具进行了反思,并展示了如何将这些模型以一种直观的、系统的和灵活的方法以及相应的工具组合在一起,从而实现流行病学的质量保证。

概述用于质量保证的模型和工具

苏兰模型

美国工程师约瑟夫·朱兰(Joseph Juran, 1904-2008)是质量管理的创始人之一。有趣的是,他最初在日本的影响力比在美国更大。他在20世纪50年代访问日本,向管理人员和工程师咨询质量管理。朱兰承认,质量有很多定义,质量的含义也与质量管理的方法有关。朱兰的质量管理方法于1951年首次引入[15包括三个管理过程:质量策划、质量控制和质量改进。这三个过程后来被称为朱兰三部曲[16,并在下面加以说明。

质量计划提供创建高质量产品的过程,方法,工具和技术。这个过程中有6个步骤:(1)通过提供目标,方向和材料,设备,技能等来建立项目。(2)识别所有客户;(3)确定客户需要通知产品设计;(4)开发产品;(5)开发一个能够在时间后的设计,始终如一的时间来提供产品的过程;(6)开发过程控制,以保持过程以其完全能力运行。申请计划在规划阶段使用预防性风险分析工具以通知流程设计(框1)。质量控制提供稳定性。质量控制过程评估实际性能,将实际性能与目标进行比较,并采取差异的行动。在改进后,已经实现了新的性能水平。质量改进目标是达到“前所未有的表现水平”。此时过程和目标已经就位,尽管产品可能并不都满足目标。因此,该方法包括“(1)发现原因——为什么有些产品达到了目标,而另一些却没有——(2)采取补救措施消除原因”。

Juran对质量提出了许多定义,其中两个很容易应用于流行病学研究和数据:“适合使用”和“无缺陷”[16]。虽然消除缺陷是一个非常崇高的目标,但它可能仍然无法实现。另一方面,“适合使用”的相对性质非常务实,并在许多领域获得了吸引力,包括数据质量属性[17(见方框2)朱兰模型的预防性质很适合应用于流行病学研究。质量控制机制是在研究的早期规划阶段制定的。它们与质量目标和反馈循环密切相关。因此,该研究成为一个动态的学习系统,以促进及时的中途更正。虽然在理论上研究资助者和社会可以被认为是“客户”,但在研究环境中,对客户和客户需求的强烈关注感觉是人为的。Juran模型非常注重减少浪费,使系统达到更高的性能水平。有趣的是,这与当前围绕可复制性的科学论述产生了很好的共鸣,在这种论述中,研究研究的设计、执行和分析中的“可纠正的弱点”被视为宝贵资源的“浪费”。

唐氏燕模型

医生Avedis Donabedian(1919-2000)被认为是关于医疗保健质量的所有事项的权威。在他的一纯1966年的论文中评价医疗保健质量[3.他介绍了一种旨在评估关注结构,过程和结果的“三元”的护理质量。结构是指“提供护理的条件”(设施,设备,人力资源,组织特征等)。过程是“构成医疗保健的活动”(诊断,治疗,预防等)。结果是“可归因于医疗保健的个人和人口的变化”(健康状况,知识,行为,满足等的变化)。

在他后来的著作中,他还描述了一个质量保证系统[2],定义为“我们获取有关卫生保健系统产生的质量水平的信息,并根据对该信息的解释,采取保护和提高质量所需行动的活动”。建议的步骤如下:(1)确定监测内容(例如选择示踪剂);(2) 确定监测的优先事项;(3) 选择评估绩效的方法(结构、过程和/或结果);(4) 制定标准和标准(见方框2);(5) 获取必要的信息(调查、记录、观察);(6) 选择何时进行监测(前瞻性、同期或回顾性监测);(7) 选择监测方式;(8) 建立监测系统;(9) 带来行为改变(重新调整和教育/激励活动)。

多纳伯迪模式在医疗保健领域得到了广泛的认可。由于与健康有关,它似乎是流行病学家参考的自然选择。在很多方面可以很好地工作,因为流行病学研究的实现也可以分解成结构(人力资源和设备)、过程(数据收集、数据管理、数据分析)和结果(完成问卷,原始数据,干净的数据,分析了输出如表和图表)。对结构的监测重点只对长期结构投资的长期研究(例如监测系统或重复调查)有意义。对于一次性研究,重点可能更多地放在过程和结果上,因为“事后”几乎没有纠正的余地。在这些情况下,并发监视活动可以说更为重要。

ISO 9000的模型

国际标准化组织(ISO)成立于1947年,旨在实现全球范围内测量的一致性。此后,它转向出版标准。1987年,ISO创建了iso9000系列质量管理标准,旨在帮助组织确保他们满足客户和其他利益相关者的需求,同时满足与产品或服务相关的法律法规要求。iso9000标准自创立以来经历了多次修订,随着时间的推移,已从产品检验转向以过程为导向的方法,以产生所追求的质量结果[18].ISO 9000:1994通过预防性行动强调质量保证,基于风险评估和风险缓解的概念,使用失败模式和效果分析(Box 1)。这些概念非常符合Juran的质量管理方法。以ISO 9001:2000版在ISO 9001:2015中引入了加工的结构,如下所述。

ISO 9001:2015的过程定向方法描述了由一系列交互过程组成的组织[18].流程是一组使用资源(人、机器等)将输入转换为输出的活动。一个过程的输出是另一个过程的输入,这强调了不要孤立地对待每个过程(部门、工作等)的重要性。每个过程需要确保它交付(输出)下一个过程需要的(输入)。ISO 9001标准旨在通过以下步骤管理和改进过程:(1)识别关键过程;(2)为这些过程定义标准。(3)决定如何测量和评估过程;(4)根据你们的测量结果,记录你们实现所需质量的方法;(5)不断提高。

ISO的质量保证方法可以适用于流行病学研究。然而,对过程的关注可能令人不满意,因为数据质量(本质上是一个结果而不是过程)应该是流行病学质量保证的主要关注点。一个明显的优势是,研究机构可以获得第三方认证机构的ISO认证,这给外部带来了信誉,标准化和文件化的过程正在遵循。为了获得ISO认证的资格,一个组织必须为每个过程写一份具体的、按部就班的描述,然后证明它遵循这些程序。然而,ISO认证因耗时和昂贵而受到批评(ISO标准是专有的,认证严重依赖外部审计)。此外,没有证据表明ISO认证确实提高了质量[19].

框1.风险分析

失败模式和效果分析(FMEA)或危险分析和关键控制点(HACCP)是风险分析工具的两个示例,以识别过程中潜在的弱点。在美国武装部队军事程序中描述了进行FMEA的程序,1949年MIL-P-1629。在20世纪70年代,使用FMEA和相关技术传播给其他行业。HACCP是对食品工业的适应性
这些分析的目的是在设计阶段识别系统的每个部分中所有可能的故障或危险,以确保这些故障或危险能够在第一时间被阻止。应用到流行病学研究中,可以通过对调查过程中的每一步(例如研究准备、数据收集、数据分析等)系统地提出问题:哪里会出错(FMEA中的失效模式、HACCP中的危害)?如何预防这种情况?我们如何检查我们正在做的事情是正确的(在FMEA中检测)?如果出现问题,我们如何解决(FMEA中的缓解和HACCP中的纠正措施)?

框注2.标准、标准和属性

标准和标准是“用来衡量质量的工具”[2]。因此,它们构成了许多质量保证方法的基础。然而,这些术语没有一致的用法,事实上,给出了各种相互矛盾的定义[20.
Donabedian [2)定义了一个标准作为“用于推断质量的结构、过程或结果的属性”。例如,结果的标准可以是病死率”。标准被定义为“规定的数量或频率的指定定量度量,指定好或更低的频率。例如,出于病例的标准可能是:在指定的患者中指定程序(或一组程序)不超过0.1%
质量属性根据多纳贝迪安[2是“产品特征(这些特征)在各种组合中单独地构成了质量的定义,当以一种或另一种方式衡量时,将表明其大小”。根据这一定义,流行病学中的数据质量指的是数据质量框架的维度,如相关性;准确;信誉;及时性;可访问性;可解释性;和一致性17].这些属性可以是产生数据的系统(即过程)的属性,也可以是数据本身(数据输出/结果)的属性[21
Donabedian还提出了标准-标准和质量属性之间的有用联系:“标准和标准是将质量属性转化为实际测量的工具。”
  1. 本表和文本中粗体显示的项目可以追溯到此框作为参考

流行病学的开放质量方法

基于Juran、Donabedian和ISO模型,我们提出了一种专门针对流行病学研究的质量保证方法。从三个模型中,我们选择了最适用于流行病学研究的元素,并以用户友好和直观的方法为目标。我们的方法可以追溯到Juran确定的三个过程(计划、控制和验证)。这使我们能够注重预防,从一开始就防止出现错误。因此,第一规划阶段是最全面的阶段。在规划阶段,我们建议按照ISO方法的建议,将研究过程细分为不同的步骤,并在每个步骤集中研究受活动影响的品质属性。这些活动可以在FMEA/HACCP工具的启发下进行风险分析。这些分析将为调查方法和质量控制(使用朱兰的术语)或监测活动(多纳贝迪的术语)的设计提供信息。Donabedian模型可以用来确定控制/监控应该发生在哪个层次——结构、过程或结果。朱兰的第二和第三阶段包括控制和改进。 Similar approaches have been described for these two phases by the Juran, Donabedian and ISO model: conducting control/monitoring activities and acting upon results.

我们概述了表中的开放质量方法1并给出图中Open Quality工具的示意图。1.开放式质量工具支持质量属性,故障模式,预防策略,验证活动和纠正措施的定义,从而形成开放质量方法的骨干。在表格中2我们将重点介绍数据收集步骤,以说明如何将该工具应用于家庭调查。我们参考了经合组织数据质量属性在这个例子中(准确性、可信性、及时性、可访问性、可解释性和连贯性)[17]。在整个研究过程中应用开放式质量工具的Excel模板在附加文件中提供1

表1开放质量方法概述
图1
图1

开放式质量工具的示意图概述

表2开放式质量工具在住户调查中的应用(数据收集步骤)

虽然表格2已经为数据收集步骤进行了编译,只是为了说明的目的,在我们的示例中,研究或调查的实现中的所有其他步骤都可以遵循相同的逻辑。重要的是要认识到,不同数据质量属性的相对重要性会因过程步骤而不同。例如,在规划过程中,相关性和及时性是重要的属性。什么可能出错“是,计划的调查没有提供决策时间框架内数据用户所需的信息。有用预防策略包括c在研究准备期间咨询数据使用者,以确保所有研究满足他们的数据需求,并与各利益相关方讨论时间表。可解释性是开发问卷的关键(例如,在方案开发和伦理审查步骤中),以确保采访者和/或受访者理解问题的方式与调查者在开发问卷时所希望的相同。试点和实地测试工具,以及随后与试点采访者和受访者进行讨论,都是确保每个人对问题理解良好一致的好策略。在数据管理期间,准确性、完整性和一致性是至关重要的,这是数据管理计划包括双重数据输入、一致性检查、跳过模式和唯一标识符等策略的切入点。类似于表中的数据收集示例2,在数据库Sample-eg中发现点检查。反对原文表格 - 可以是一个有用的验证策略数据分析的准确性同样是关键。统计分析计划可以帮助防止某些错误,但独立分析人员的多重分析——无论是对整个研究结果还是对研究结果的选择——可能需要作为额外的验证。最后,在准备传播一项研究时,产出的可解释性和可获得性将是主要考虑的问题,这就是为什么可能需要特定用户的传播产品,可能需要与特定用户群体的代表协商开发。

在填写Open Quality工具时,有三个重要的实际考虑事项。首先,最好与参与研究的所有员工(或他们的代表)以及可能的外部利益相关方(如资助方或其他外部合作者)协商,以填充和开发该工具。确实,填写工具的过程和相关讨论,以达成各方共识,有助于确保所有各方对质量保证过程的信任和所有权,并确保战略在实践中是可接受和可行的。第二,不同的迭代失效模式质量属性可能需要满意地定义两者,并且一个故障模式可能与质量属性的组合有关(例如,可信度和准确性或易访问性和及时性在Table2).关于某个流程步骤中的问题的对话可能会以这样的问题开始上次这里出了什么问题?“(失败模式)或”我们如何确保完整/准确/连贯的数据?(质量属性),在继续(或返回)填写工具中的所有其他条目(标准/标准、预防策略、验证活动、纠正措施)之前。第三也是最后一点,记住这一点很重要纠正措施是根据……得出来的核查活动,这意味着如果没有验证活动,则没有纠正措施。此外,验证活动和纠正措施可能并不总是必要或可能(如表中所示2最后两列并不总是填满)。数据收集、数据管理和数据分析是过程步骤,通常需要几个验证活动和纠正措施。

结论

开放质量方法是一种直观、系统和灵活的数据质量保证方法直观的因为它建立在调查人员对什么可能出错的认识上(通常基于过去出错的经验);成体系的因为它要求在特定研究中逐步反映和记录所有潜在的质量威胁和缓解战略;灵活的因为它为调查人员提供了根据他们的需要调整他们的方法的自由,并且有可能不对所有威胁采取行动(只要这是一个经过计算和透明的决定)。

我们选择了术语“开放质量”作为框架和工具,因为我们相信它符合“开放科学”的愿景,以确保透明和可访问的研究。开放科学被认为是解决可复制性危机的一种方法,它确保研究过程的完全透明,并确保所有材料都可用于复制研究结果。开放科学至少包含四个概念:开放获取(在线免费同行评议的研究文章);开放数据(研究数据的在线发布);开放源码(使用任何人都可以使用和改变现有源代码的软件);以及开放的方法(在研究进行之前和之后分享明确和详细的程序)[22].开放质量框架和工具为质量保证提供了系统的方法数据生产者S,但也有明确的文档数据用户。使用本文介绍的工具公开披露所选的质量保证方法是开放数据和开放方法的基础,因为它为用户提供了评估数据和方法适用性的所有必要信息,其中用户包括将评估研究结果的人、我将根据研究数据做出公共卫生或个人决策,以及那些将重复使用数据进行二次分析的人。

能出问题的,不必出问题。在一个糟糕的日子里,人们会很容易看到墨菲定律统治着宇宙,并对我们的失败进行反常的嘲弄。但正是在这样的日子里,重要的是要记住一句名言,这句名言被认为是20世纪50年代为美国空军工作的美国工程师墨菲的话,它很可能是为了提醒我们的团队请各位成员谨慎行事,确保一切都得到了解释。宇宙有时似乎在与我们作对,但从过去的错误中吸取教训,至少有时可以防止事情出错,可以带来很多乐观。

数据和材料的可用性

不适用。

参考文献

  1. 1.

    Whitney CW, Lind BK, Wahl PW。纵向研究中的质量保证和质量控制。论文启1998;20(1):71 - 80。

    中科院文章谷歌学术

  2. 2.

    卫生保健质量保证导论。牛津:牛津大学出版社;2003.

    谷歌学术

  3. 3.

    评估医疗服务质量。米尔班克问:2005;83(4):691 - 729。

    文章谷歌学术

  4. 4.

    人用药品技术要求国际协调理事会(ICH)。https://ich.org/page/ich-guidelines.查阅日期:2021年7月12日。

  5. 5.

    世界卫生组织(who)。良好临床研究规范手册(GCP)的实施指导。2002.https://www.who.int/medicines/areas/quality_safety/safety_efficacy/gcp1.pdf.查阅日期:2021年7月12日。

  6. 6。

    等。良好流行病学规范的要点。但他Praventivmed。2005;50(1):12日到27日。

    文章谷歌学术

  7. 7。

    Hoffmann W,Latza U,Baumeister Se,BrüngerM,Buttmann-Schweiger N,Hardt J等人。确保良好流行病学实践(GEP)的指导方针和建议:由德国流行病学社会制定的指导。欧j流行病。2019; 34(3):301-17。

    文章谷歌学术

  8. 8。

    swen GMH, Langendam M, Weyler J, Burger H, Siesling S, Atsma WJ,等。负责任的流行病学研究实践:荷兰流行病学协会工作小组制定的指南。临床流行病学杂志。2018;100:111-9。

    文章谷歌学术

  9. 9

    专业标准和良好流行病学实践的建议(Frows France 2007).- Pubmed-NCBI。https://www.ncbi.nlm.nih.gov/pubmed/18841590.访问日期:2019年12月20日

  10. 10.

    桥梁研究完整性和全球健康流行病学(BRIDGE)声明:良好流行病学实践指南| BMJ全球健康。https://gh.bmj.com/content/5/10/e003236.查阅日期:2021年3月28日。

  11. 11.

    加强流行病学观察性研究报告(STROBE)声明:观察性研究报告指南——《柳叶刀》https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(07)61602-X/全文.访问日期:2019年12月20日

  12. 12.

    Stone EJ, Osganian SK, McKinlay SM, Wu MC, Webber LS, Luepker RV,等。CATCH多中心试验的运行设计和质量控制。Prev医学。1996;25(4):384 - 99。

    中科院文章谷歌学术

  13. 13.

    潘德伟,李志强,李志强,等。一个国际项目的数据管理和质量保证:印度-美国跨国家痴呆症流行病学研究。老年精神病学杂志。2002;17(6):510-8。

    文章谷歌学术

  14. 14.

    等。遗产家族研究:质量保证和质量控制。安论文。1996;6(6):520 - 9。

    中科院文章谷歌学术

  15. 15.

    朱兰JM。质量控制手册。纽约:麦格劳-希尔;1951.

    谷歌学术

  16. 16.

    约瑟夫·M,朱兰·a·布兰顿·戈弗雷。朱兰的质量手册。纽约:麦格劳-希尔;1998.

    谷歌学术

  17. 17。

    经济合作与发展组织。经合发组织统计活动的质量框架。http://www.oecd.org/sdd/qualityframeworkforoecdstatisticalactivities.htm.访问日期:2019年10月2日

  18. 18。

    ISO 9001:什么?谁需要认证,为什么?9000店。https://the9000store.com/what-are-iso-9000-standards/what-is-iso-9001/.2019年2月10日。

  19. 19。

    Wilson IG,Smye M,Wallace IJC.实验室ISO认证检查的元审计:测量旧皇帝的衣服.微生物学开放.2016;5(1):95–105。

    文章谷歌学术

  20. 20.

    标准、规范和质量标准:它们是什么意思?公共卫生杂志,1981;71(4):409-12。

    中科院文章谷歌学术

  21. 21.

    露西Laliberté(国际货币基金组织)、维尔纳Grünewald和劳伦特普罗布斯特(欧盟统计局)。数据质量:比较imf的数据质量评估框架(DQAF)和欧盟统计局的质量定义;2004.https://www.imf.org/external/pubs/ft/bop/2003/dataq.pdf

  22. 22.

    皮尔斯·海斯从开放获取到开放科学:从科学现实到开放科学传播的路径。圣人开放。2020;10(2):2158244020915900。

    文章谷歌学术

下载参考资料

确认

我们感谢Stella van Beers向我们介绍了质量保证,并为开放质量方法奠定了概念和实践基础。非常感谢Daniel Jeannetot对开放质量工具的开发做出的重要贡献,并感谢Jake Mathewson对草稿稿的全面审查。

资金

一个也没有。

作者信息

从属关系

作者

贡献

SA和MS共同开发了开放式质量工具。SA写了稿件的第一个草案,MS审查和编辑它。这位作者都阅读并批准了最终的手稿。

相应的作者

对应到桑德拉·阿尔巴

道德声明

伦理批准和同意参与

不适用。

同意出版

不适用。

相互竞争的利益

作者声明他们没有竞争利益。

补充资料

出版商的注意事项

亚搏体育官方电话施普林格《自然》杂志对已出版的地图和机构附属机构的管辖权要求保持中立。

补充信息

额外的文件1。

打开质量工具模板。

权利和权限

开放获取本文是基于知识共享署名4.0国际许可,允许使用、共享、适应、分布和繁殖在任何媒介或格式,只要你给予适当的信贷原始作者(年代)和来源,提供一个链接到创作共用许可证,并指出如果变化。本文中的图像或其他第三方材料都包含在本文的知识共享许可中,除非在该材料的信用额度中另有说明。如果资料不包括在文章的知识共享许可协议中,并且你的预期用途没有被法律规定允许或超过允许用途,你将需要直接从版权所有者获得许可。如欲查阅本许可证副本,请浏览http://creativecommons.org/licenses/by/4.0/.创作共用及公共领域专用豁免书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据,除非在数据的信贷额度中另有说明。

重印和许可

关于这篇文章

通过交叉标记验证货币和真实性

引用这篇文章

任何可能出错的,都不必出错:流行病学的开放质量方法。Excemes Epidemiol.18,8(2021)。https://doi.org/10.1186/s12982-021-00098-0

下载引用

关键词

  • 质量管理
  • 质量保证
  • 质量控制
  • 朱兰
  • 多纳贝迪安
  • ISO 9000
  • 流行病学
Baidu