Intra- and Inter-Physician Agreement in Therapeutic Decision for Sleep Apnea Syndrome

Abstract

[EN]: [Background]: Large variation in diagnostic procedures and treatment recommendations may hinder the management of obstructive sleep apnea (OSA) and also compromise correct interpretation of the results of multicenter clinical trials, especially in subjects with non-severe OSA. The aim of this study was to analyze the therapeutic decision-making between different sleep physicians in patients with AHI<40 events/h.

[Methods]: Six experienced senior sleep specialists from different sleep centers of Spain were asked to make a therapeutic decision (CPAP treatment) based on anonymized recordings of patients with suspected OSA that has previously performed a sleep study. The clinical data was shown in an online database and included anthropometric features, clinical questionnaires, comorbidities, physical examination and sleep study results. Intra- and inter-observer decision-making were analyzed by the Fleiss’ Kappa statistics (Kappa).

[Results]:A total of 720 medical decisions were taken to analyze the agreement between sleep professionals. Overall intra-observer evaluation reliability was almost perfect (Kappa = 0.83, 95% CI, 0.75–0.90, p < 0.001). However, overall inter-observer concordance decreased to moderate agreement (Kappa = 0.46, 95% CI, 0.42–0.51, p < 0.001). Nevertheless, it was especially low when considering AHI < 15 events/h.

[Conclusions]: This study demonstrates a good intra-observer concordance in the therapeutic decision-making of different sleep physicians treating patients with low/moderate OSA. However, when analyzing inter-observer agreement the results were considerably worse. These findings underline the importance of developing improved consensus management protocols.

[ES]: [Introducción]: La gran variedad de procedimientos diagnósticos y recomendaciones de tratamiento puede dificultar el manejo del síndrome de apnea obstructiva del sueño (SAHS), y del mismo modo comprometer la correcta interpretación de los resultados de ensayos clínicos multicéntricos, especialmente en pacientes con SAHS no grave. El objetivo de este estudio fue analizar la decisión terapéutica de distintos médicos expertos en sueño en pacientes con el índice de apnea hipopnea < 40 eventos/h.

[Métodos]: Se pidió a seis especialistas con amplia experiencia en sueño de diferentes centros de España que tomaran una decisión terapéutica (terapia de presión positiva continua en las vías respiratorias o CPAP) basada en datos anónimos de los pacientes con sospecha de SAHS en los que previamente se había llevado a cabo un estudio del sueño. Los datos clínicos procedían de una base de datos online e incluían características antropométricas, cuestionarios clínicos, comorbilidades, examen físico y resultados del estudio del sueño. La concordancia intra- e interobservador de la toma de decisiones se analizó mediante el estadístico Fleiss’ Kappa (Kappa).

[Resultados]: Se analizaron un total de 720 decisiones médicas para evaluar el consenso entre profesionales del sueño. De manera global, la fiabilidad de la evaluación intraobservador fue casi perfecta (Kappa = 0,83; 95% CI; 0,75 a 0,90, p < 0,001). Sin embargo, la concordancia global interobservador disminuyó hasta alcanzar un grado moderado de consenso (Kappa = 0,46; 95% CI; 0,42 a 0,51, p < 0,001), que fue especialmente bajo cuando se tuvo en cuenta un índice de apnea hipopnea <15 eventos/h.

[Conclusiones]: Este estudio demuestra una buena concordancia intraobservador en la toma de decisiones terapéuticas de distintos médicos expertos en sueño que tratan a pacientes con SAHS leve o moderado. Sin embargo, los resultados relativos al acuerdo interobservador fueron notablemente peores. Estos hallazgos señalan la importancia de desarrollar mejores protocolos consensuados de manejo.