自从影像学检查成为疾病诊断的重要手段,关于不同的人们对于相同医学图像产生不同视觉感知的争论一直存在。特别是在临床试验中,阅片专家之间的差异往往直接影响项目的最终结果,而且这也是CDE(国家药品监督管理局药品审评中心)和申办方在项目运营层面对IRC(Independent Review Committee,IRC)的一个重要的考量点。尽管人工智能有望在一定程度上缓解错误或者降低差异率,但它在抗肿瘤试验中用于评估肿瘤的常规应用仍然是一个美好愿景。本文总结出阅片专家不一致的常见原因[1],并确定哪些因素是可以控制的,同时临影团队日常采取哪些措施可以有效减少专家间评估结果的差异。
IRC目的是提供一种独立于研究中心评估时可能存在的偏倚和潜在功能解盲的图像评估。CDE目前在行业的指导意见中肯定了IRC对于“提高了成像评估的可信度”和“更好地保证了一致性”中的积极作用。同时IRC适用于大多数但不是所有抗肿瘤试验的所有阶段中,尤其在II期和III期中特别重要。IRC中最常见阅片方式被称为“2 + 1”,其中由两个独立的阅片人评估每个研究对象的相同图像,一个裁判员裁决两个结果之间的终点差异。两个阅片人的重复阅片加上裁判员的加入,增强了终点评估的可靠性。然而,任何两个阅片人不可避免地会在相同受试者的相同时间点得出不同的阅片结论。过去几十年的研究表明,两名影像科医生之间的差异并不必然或本质上等同于错误,但了解这些差异的来源和意义将有助于指导以后相关项目的运行,同时最大限度地减少和控制阅片人间的差异来保证项目质量是申办方希望看到的。
由于阅片专家评估包括对病灶的诊断,以及评估疾病状态随时间的变化,和对于相关标准的理解和应用,使得阅片专家的差异是IRC评估中不可分割的一部分。早期关于放射学不一致的研究主要集中在诊断上的不一致,同时放射科医生和任何临床医生之间都可能出现放射学结论的不一致。在一篇关于放射学错误的文章[2]中指出即使是经验丰富的影像学医生或者临床医生,也存在一定的“观察者误差”。值得注意的是,无论是定量的还是以主观形式的评估中,即使在不同的评估标准中,专家间的差异率保持相对稳定。因此,临影在项目运营前期往往对专家之间的差异率特别关注,尤其是差异率较大的阅片专家。
在临床试验中,可以采取适当措施来减少阅片专家之间的差异,来保证项目的质量。阅片专家评估时需要结合视觉感知来推理、诊断、鉴别诊断并标注测量来综合评估。在这些步骤中,阅片专家不仅要识别和确定疾病的状态,还要知道疾病何时变化到足以跨越标准阈值。阅读专家之间可变性的最大影响因素来自影像科医生自己对标准理解的主观方面的专业知识。
影响阅片专家阅片之间的结果差异表现的因素可以大致定义为可控的(如经验/专业知识、疲劳和环境)、不太可控的(如日常倾向、地域看法和内部偏见)和不可控制的(如随机测量)。阅片专家的疲劳和环境等因素被监管机构认可为足够重要的且是可监测的因素。对于阅片专家的疲劳和阅片环境,临影项目团队会根据项目进度合理分配阅片任务,并和专家保持沟通,保证专家在舒适稳定的环境且不疲劳的状态下进行阅片评估。
除了复杂影像学诊断和解剖知识外,阅片专家之间的可控制的差异来源包括专业知识、标准的培训和系统的设置等。不同的阅片专家各自具有独特的培训经历、经验水平和阅片习惯,甚至地域差异,这也可能导致专家间的不一致。对特定疾病适应症和临床试验审查的熟悉程度、知识的丰富程度,以及对反应标准的熟悉程度也会影响评估结果。
阅片专家阅读医学图像时需要对感兴趣的可见信息进行检测、解读和适当标注,包括病灶的复杂的形状、密度、信号和解剖学位置。除了临床诊断经验之外,临床试验经验的重要性已经在业界得到了注意,阅片专家需要了解IRC和申办方的独特需求,并且能够很好地处理和协调。尤其体现在当新发现的病灶可能被误认为是新的转移或在不常见的部位和不常见的影像学表现时,放射学经验起着特别关键的作用。
临影在筛选为申办方推荐专家时,通常考虑以下因素:
• 经验:推荐的专家在特定适应症下有丰富评估经验和大量评估受试者的数量;
• 任职医院及职称:往往推荐省级医院(肿瘤医院)及国内著名医院的副高及以上职称的专家
• 配合度及专业度:包括对临床试验的理解,对阅片时间的配合,及是否具有GCP证书均是阅片专家选取的考量因素
01. 病灶的选择
对于大多数转移性癌症,标准中通常规定与测量患者肿瘤负荷的变化有关的病灶。然而,测量所有患者的所有可见病灶是完全不切实际的。因此,随着时间的推移,只跟踪部分病灶的是大多数客观反应标准背后的基础。放射科医生必须能够在基线上选择“相关”病灶,他们认为这些病灶代表了患者的疾病负担,并且在整个治疗过程中可以保证重复可测量。符合可测量标准的病灶也可能后续的时间点上融合,例如肺门病灶或边界不清的病灶通常导致测量值的变化与疾病状态的变化不一致,在此情况下,具有丰富临床试验阅读经验的放射科医生更有可能在基线时选择该病灶为非靶病灶。有研究表明[3],允许阅片专家独立选择目标病灶不会影响整体研究结果,并且通过减少目标病灶的采集误差,从而增加结果的整体可靠性。
针对病灶的选择临影医学会在专家培训时候会做出建议和约定,如治疗后的病灶不建议选择,常规项目颅内病灶不建议选取做靶病灶,皮肤病灶由于可重复度测量性差也不建议选取等。同时选择基线入组合格性
评估的项目中,临影医学会对专家的病灶选择进行医学质控(MQC),若病灶选取不妥或者漏选,则会发出质疑与专家进行沟通,经专家确认后采取相应纠偏措施,来保证项目的阅片质量。
02. 新病灶的判定
对于新病灶,很小的新病灶可能会错过检测,或者即使检测到,许多临床试验中的阅片者表明,他们希望等待确认这是一个正在增长的病灶,有研究指出,放射科医生即使被引导到感兴趣的位置,也可能会遗漏或误诊病灶。新病灶的检测不仅是感知的问题,也与图像质量和专家的认知、习惯有关。
为此,临影团队在阅片表单的设计中对新病灶的状态进行区分(明确/疑似)并供老师选择,若后续访视新病灶的状态由疑似转为明确,系统会自动修正疾病进展的时间为首次发现记录的时间。
03. 疾病进展的判定
明确的疾病进展应反映“总体肿瘤负担增加到需要停止治疗”的增长。因此,阅片专家之间对非靶病灶进展的差异也时有发生。关于非目标病灶进展的分歧约占所有分歧的10%,虽然这只占所有差异的一小部分,非靶病灶对治疗反应的客观评价主要取决于明显的病灶形态生长程度、专家经验以及整体的肿瘤负荷。
由于疾病进展判定的复杂性,除了加强医学质控,临影医学团队也会总结相关项目经验,同时与申办方和阅片专家之间达成共识,对于差异率较大的专家,临影医学团队对专家进行重新培训。
04. 测量的复杂性
与弥漫性或边界不清的复杂病灶或与背景区分差的病灶相比,具有清晰边界的病灶与背景区分良好的、椭圆形或圆形病灶更容易测量,并且导致差异性更小。肝细胞癌、卵巢癌、胶质瘤等适应症,病灶的测量尤其具有挑战性,病灶的形状、显著性或弥漫性或浸润性边界在测量时需要不同程度的主观性。由于患者的体位、呼吸、吞咽,病灶也会发生轻微的运动和变形;此外,即使在立即重新成像后,相同的病灶也可能表现出其直径的变化。此外,根据病灶类型和标准,肿瘤大小通常在单个平面上通过最长和/或最短(即最宽)直径来测量。常见的RECIST1.1标准中沿着最长的直径测量非淋巴结病灶,因此,由于测量边缘或最长轴的确定不同,阅片专家之间的测量差异会影响目标病灶反应。
既往项目中,临影医学团队对于病灶的测量临影也会做出许多约定,如肺部病灶建议纵膈窗测量,长毛刺不建议测量,测量时也不能穿出病灶,强化边缘依旧纳入测量值内等。
05. 图像质量
关于图像质量问题,往往使可靠的评估变得困难,并可能增加阅片专家之间的差异。需要提供关于预期图像采集的明确指导,并了解由于疏忽或受试者病情(例如不能耐受全剂量静脉造影剂)而进行调整的后果。
研究前培训应前瞻性地讨论这些情况,特别是在评估标准的影响背景下(例如,HCC的mRECIST造影剂的时间)。
临影团队在项目运行前会根据项目方案制定影像章程,里面规定了影像采集标准(采集方式、序列、期相、层厚、层间隔等),并在数据传输后由影像质控专员对于影像质量进行双人严格质控,只有保证质量合格的前提下,才会分配给阅片老师进行阅片。
在当下,随着评估标准的解读更为透彻、医学质控更为规范的和人工智能的加入,临影团队能更好的分析出专家差异的原因,并能控制阅片专家的差异率在理想的阈值内,保证项目的高质量交付。
参考文献:
[1]Therapeutic Innovation & Regulatory Science (2021)55:1111–1121
https://doi.org/10.1007/s43441-021-00316-6
[2]Garland LH. Studies on accuracy of diagnostic procedures. AJR. 1959;82:25–38.
[3]Dodd LE, Korn EL, Freidlin B, Jaffe CC, Rubinstein LV, Dancey J, et al. Blinded independent central review of progression-free survival in phase III clinical trials: important design element or unnecessary expense? J Clin Oncol. 2008;26(22):3791.
临影医药
上海有临医药科技有限公司全资子公司,是第三方独立医学影像CRO (Independent Review Committee, IRC),为创新药物临床研究提供第三方独立影像评估服务,确保试验结果的客观性和科学性,加速临床试验、注册审批的进程,助力新药上市。