غربالگری برای زوال عقل: q * شاخص به عنوان یک اندازه گیری جهانی از دقت آزمون تجدید نظر شده

منحنی های مشخصه عملکرد گیرنده (ROC) از طریق فضای ROC در یک نقطه ، شاخص q* ، از مورب رو به پایین عبور می کنند ، جایی که با حساسیت و ویژگی با تعریف برابر است. گذشته از استفاده از آن در متاآنالیز ، شاخص q* همچنین به عنوان یک پارامتر جهانی احتمالی خلاصه تست تست ابزارهای غربالگری شناختی و به عنوان تعریفی برای برش بهینه تست پیشنهاد شده است. مساحت زیر منحنی ROC (AUC ROC) یک اندازه گیری شناخته شده از دقت آزمایش است. این مطالعه روشهای مختلفی را برای تعیین شاخص q* (هم گرافیکی و هم از نسبت شانس تشخیصی) و AUC ROC (ادغام و محاسبه از نسبت شانس تشخیصی) با استفاده از مجموعه داده های یک مطالعه دقت آزمایش غربالگری آینده نگر از معاینه شناختی مینی اددنبروک مقایسه کرد. روشهای مختلف موافق نبودند. محاسبات مبتنی بر DOR برش بسیار حساس اما با معیارهای جهانی ضعیف تر از روش گرافیکی ارائه داد. محاسبات مبتنی بر DOR برای تعیین دقیق برش تست یا دقت آزمایش توصیه نمی شود.

• برش
• دلهره
• تشخیص
• مگس
• q * فهرست
• منحنی ROC
• دقت غربالگری

معرفی

غربالگری برای زوال عقل در عمل بالینی معمولاً شامل حداقل یک ابزار غربالگری شناختی است. تعریف نقطه برش یا دوگانگی برای چنین ابزاری پیامدهای عمیقی برای دقت غربالگری دارد.

آستانه برش بهینه یا آستانه تصمیم گیری ممکن است به روش های مختلفی بر اساس طرح مشخصه عملکرد گیرنده (ROC) از "نرخ ضربه" یا حساسیت یا نرخ مثبت واقعی (TPR) (Ordinate) در برابر نرخ مثبت کاذب (FPR) تعریف شود.، یا [1 - ویژگی] ، (abscissa) در محدوده نمرات آزمون ممکن. از این روشها ، شاخص اقلیدسی و شاخص Youden احتمالاً متداول ترین مورد استفاده برای تعریف برش بهینه است.

شاخص اقلیدسی (D) نقطه ای است که حداقل از گوشه بالا سمت چپ ("شمال غربی") از طرح ROC فاصله دارد ، با مختصات (0،1) ، با تقاطع ROC از یک خط که به این نقاط مشخص شده است C ، 1، 2 به گونه ای که:

شاخص Youden (Y) یک اندازه گیری جهانی یا واحد از عملکرد آزمون است که توسط [حساسیت + ویژگی - 1] داده شده است. حداکثر y مطابق با نقطه روی منحنی ROC است که حداکثر فاصله عمودی از خط مورب (y = x ، یا sens = 1 - spec یا tpr = fpr) است ، خطی که عملکرد یک طبقه بندی تصادفی را نشان می دهد. همچنین به عنوان C*شناخته می شود ، این نکته طبقه بندی نادرست را به حداقل می رساند: 3

هنگامی که C و C* موافق نیستند ، C* ارجحیت دارد زیرا این امر به حداکثر رساندن میزان کلی طبقه بندی صحیح است. 4

با استفاده از یک منحنی خلاصه ROC (SROC) بر اساس داده های متاآنالیزها ، شاخص دیگری برای تعیین برش بهینه تست پیشنهاد شده است: شاخص Q*. این نقطه ای است که خط نزولی ، منفی یا ضد قطر از طریق فضای ROC (y = 1-x ، یا sens = spec ، یا sens-spec = 0 یا tpr = 1-fpr) از منحنی ROC عبور می کند. 5 q* شاخص همچنین ممکن است به عنوان "نقطه بی تفاوتی در منحنی ROC" تعریف شود ، جایی که حساسیت و ویژگی برابر است ، یا به عبارت دیگر ، جایی که احتمال نتایج آزمایش نادرست برای موارد بیماری و غیر موارد برابر است(یعنی بی تفاوتی بین خطاهای تشخیصی منفی کاذب مثبت و کاذب ، با فرض هر دو از ارزش برابر). برای مورد خاص منحنی ROC متقارن ، q* برابر با شاخص اقلیدسی خواهد بود. 6 شاخص 6* همچنین به عنوان اندازه گیری جهانی مفید از دقت آزمایش پیشنهاد شده است ، 7 اگرچه استفاده از آن برای مقایسه آزمایش های تشخیصی بحث برانگیز است و به طور کلی دلسرد شده است. 8

علاوه بر این که به صورت گرافیکی ارزیابی می شود ، به عنوان نقطه تقاطع منحنی ROC و ضد معاصر از طریق فضای ROC ، ممکن است Q* بر اساس رابطه آن با نسبت شانس تشخیصی (DOR) محاسبه شود. DOR یا نسبت محصول متقابل ، نسبت محصول مثبت و منفی واقعی و منفی های دروغین و مثبت کاذب است. 9،10 Q* ممکن است به صورت: 6 محاسبه شود

علاوه بر تعریف برش های مناسب ، پزشکان اغلب به دقت کلی یک آزمایش علاقه مند هستند. این همچنین ممکن است از منحنی ROC به عنوان ناحیه زیر منحنی (AUC) اندازه گیری شود ، که به طور معمول با ادغام محاسبه می شود. AUC همچنین ممکن است بر اساس رابطه آن با DOR محاسبه شود: 6

مقایسه شاخص q* و مقادیر AUC که توسط این روشهای مختلف تعیین شده است ، با دانش نویسنده قبلاً مورد بررسی قرار نگرفته است.

بنابراین ، اهداف مطالعه حاضر عبارتند از:

• برای تعریف و مقایسه برش های بهینه با استفاده از شاخص های مبتنی بر ROC D ، Y و Q*، دومی هم به صورت گرافیکی و هم با محاسبه با استفاده از DOR ارزیابی کرد.
• برای استفاده از برش های بهینه که در نتیجه برای بررسی پیامدهای حساسیت و ویژگی و مقادیر پیش بینی شده تعریف شده است.
• برای مقایسه مقادیر AUC برای دقت آزمون که هم با ادغام و هم با محاسبه با استفاده از DOR محاسبه می شود.

این اهداف با استفاده مجدد از مجموعه داده های یک بررسی دقیق آزمایش غربالگری آینده نگر عملی از معاینه شناختی مینی آدنبروک (MACE) ، 11 یک ابزار غربالگری شناختی که به طور گسترده در ارزیابی بیماران مظنون به دچار زوال عقل و درجات کمتری از اختلال شناختی استفاده می شود ، تحقق یافت. بشرMACE شامل تست های توجه ، حافظه (نام و آدرس 7 ماده ای) ، تسلط کلامی ، طراحی ساعت و یادآوری حافظه است ، حدود 5-10 دقیقه طول می کشد و دارای امتیاز نمره 0-30 (اختلال در حالت عادی) است. در مطالعه شاخص MACE ، دو نقطه برش مشخص شد: 25/20 ≤ هر دو حساسیت و ویژگی بالایی داشتند (85 0. 85). و ≤21/30 ویژگی بالایی داشت (1. 00). 12 مطالعه حاضر بر روی داده های گزارش شده قبلاً گزارش شده از مطالعه دقت آزمون آینده نگر عملی MACE ساخته شده است. 13

مواد و روش ها

برش بهینه MACE همانطور که توسط حداقل شاخص اقلیدسی (D) تعریف شده است ، با حداکثر شاخص Youden (Y) ، و شاخص Q* تعیین شد. از توطئه های D و Y در برابر برش های MACE برای تعیین Optima آنها استفاده شد. شاخص 13 Q* با خواندن نقطه تقاطع طرح ROC با ضد مورب به صورت گرافیکی اندازه گیری شد. 7،11

شاخص Q* همچنین در هر برش MACE محاسبه شد ، شامل دامنه برش های MACE تعریف شده در مطالعه شاخص ، 12 از مقدار مربوط به DOR ، 11 با استفاده از فرمول والتر: 6

در هر یک از برش های "بهینه" که به این ترتیب توسط شاخص D ، Y و Q* تعریف شده است ، حساسیت آزمون ، ویژگی و مقادیر پیش بینی کننده پس از آن محاسبه شده و نتایج مقایسه می شوند. شاخص های ابزار بالینی (CUI+، CUI-) ، پارامترهای نشانگر ارزش یک روش تشخیصی برای حکم در یا رد یک تشخیص ، نیز محاسبه و طبقه بندی شدند ، 14 که در آن:

از این موارد ، شاخص ابزار غربالگری خلاصه جهانی (SSUI) محاسبه و طبقه بندی شد: 15

دقت آزمون با استفاده از منطقه زیر منحنی ROC (AUC) ارزیابی شد. AUC با استفاده از روش استاندارد ادغام با فواصل اطمینان 95 ٪ و همچنین با محاسبه ، با استفاده از فرمول والتر: 6 محاسبه شد.

نتایج

برش بهینه با توجه به روش متفاوت است. توطئه های D و Y در مقابل برش های تست MACE حداقل D را در 19/30 ≤ و حداکثر Y در 20/30 ≤ نشان داد. از نظر گرافیکی ، شاخص q* در 18/30 برش 0. 8 بود (شکل 1).

• شکل دانلود
• در برگه جدیدی باز کن

شکل 1: طرح ROC MACE برای تشخیص زوال عقل ، با خطوط مورب (Y = X) و خطوط ضد مورب (Y = 1-X) ، دومی تخمین گرافیکی شاخص q* را مجاز می کند.

با محاسبه ، شاخص q* با تشخیص یا در هر برش تست (جدول 1 ، ستون 3 RD) متفاوت است ، با مقدار بهینه در 23/30. توجه داشته باشید ، شاخص q* محاسبه شده در برش ≤18/30 با مقدار (0. 8) به صورت گرافیکی مشخص شده است.

• مشاهده خطی
• مشاهده پنجره
• دانلود پاورپوینت

میز 1:

q* شاخص و مقادیر AUC از نسبت شانس تشخیصی در هر مقدار برش MACE محاسبه می شود

مقایسه حساسیت ، ویژگی و مقادیر پیش بینی در هر یک از برش های تعریف شده "بهینه" تغییرات در همه پارامترها را نشان داد ، به استثنای NPV که نسبتاً ثابت باقی مانده است (جدول 2). حساسیت و ویژگی برای شاخص Q* محاسبه شده برابر نبود ، بر خلاف شاخص Q* تعیین شده گرافیکی.

• مشاهده خطی
• مشاهده پنجره
• دانلود پاورپوینت

جدول 2:

حساسیت میس ، ویژگی ، شاخص Youden و مقادیر پیش بینی شده در برش های بهینه تعریف شده توسط معیارهای مختلف جهانی

• مشاهده خطی
• مشاهده پنجره
• دانلود پاورپوینت

جدول 3:

شاخص های ابزار خلاصه بالینی و غربالگری MACE و طبقه بندی آنها در برش های بهینه تعریف شده توسط معیارهای مختلف جهانی

شاخص های ابزار بالینی و مقادیر شاخص ابزار غربالگری خلاصه برای هر روش برش ، شاخص Q* محاسبه شده را نشان داد که فقیرترین عملکرد روشهای مورد بررسی را دارد (جدول 3).

AUC با ادغام 0. 886 (فاصله اطمینان 95 ٪ 0. 856-0. 916) بود. 11 AUC محاسبه شده حداکثر 0. 941 را در برش بهینه 23/30 ≤ (جدول 1 ، ستون چهارم) نشان داد. AUC محاسبه شده بیشتر از نزدیک با AUC با ادغام بین برش های 19/10 ≤ و 30 ≤ 30 ، بهینهای تعریف شده توسط D و Y بود.

بحث

مقادیر برش بهینه تعریف شده توسط روشهای مختلف مبتنی بر ROC متفاوت است ، و این پیامدهایی برای عملکرد آزمون از نظر حساسیت ، ویژگی و مقادیر پیش بینی کننده محاسبه شده از این برش ها دارد.

منحنی های ROC متقارن دارای DOR ثابت هستند. از این رو برای خط مورب ROC (y = x ، یا sens = 1 - spec یا tpr = fpr) ، dor = 1 ، نشانگر یک آزمایش بی فایده است. در یک طرح ROC نامتقارن ، وضعیت معمول در عمل بالینی (شکل 1) ، DOR با برش یا آستانه آزمایش متفاوت است ، با تغییر مربوط به مقدار شاخص Q* با استفاده از معادله والتر محاسبه می شود. برای خط ضد مورب (y = 1-x ، یا sens = spec ، یا sens-spec = 0 یا tpr = 1-fpr) ، DOR از ∞ در مختصات (0،1) تا 1 در تقاطع متفاوت خواهد بودبا مورب ROC (SENG = SPEC = 0. 5) به -∞ در گوشه سمت راست پایین ("جنوب شرقی") در مختصات (1،0).

در مطالعه حاضر ، برش بهینه MACE تعریف شده توسط شاخص q* با محاسبه از DOR به نظر می رسد در مقایسه با سایر روشهای مورد بررسی برای تعریف برش بهینه ، یک دور از ذهن باشد. این یافته یافته های یک مطالعه قبلی را تأیید کرد که به استفاده از اقدامات مختلف جهانی برای تعریف برش های MACE که در آن برش بهینه تعریف شده توسط DOR تعریف شده بود ، تأیید کرد. 13 این برش بالاتر حساسیت بهتری داشت اما ویژگی فقیرتر و ارزش پیش بینی مثبت نسبت به سایر برش های "بهینه" تعریف شده (جدول 2). علاوه بر این ، AUC با محاسبه از DOR مقدار بالاتری از AUC را نسبت به ادغام نشان داد.

پزشکان مایل به استفاده از تست های بسیار حساس برای جلوگیری از از دست دادن موارد زوال عقل ، حتی با هزینه مثبت تر کاذب ، بنابراین ممکن است تمایل به استفاده از روش مبتنی بر DOR برای تعریف برش آزمایش داشته باشند. با این حال ، به رسمیت شناخته شده است که DOR تمایل دارد با انتخاب بهترین کیفیت یک آزمون و نادیده گرفتن نقاط ضعف آن ، تولید نقاط برش بسیار بالا و رفتار منفی کاذب و مثبت های کاذب به همان اندازه نامطلوب ، خوش بین ترین نتایج را به دست آورد. علاوه بر این ، DOR ممکن است به عنوان یک اندازه گیری آزمایش نسبت به حساسیت و ویژگی کمتر شهودی باشد. 8 ممکن است توجه داشته باشید که ، از روشهای مورد بررسی در اینجا ، شاخص q* با محاسبه از DOR کمترین مقدار را برای شاخص Youden (جدول 2) ، و برای شاخص های ابزار بالینی و شاخص ابزار غربالگری خلاصه (جدول 3).

از این رو این مطالعه شواهد دیگری در مورد کاستی های محاسبات DOR و DOR مبتنی بر 16،17 ارائه می دهد و بنابراین استفاده از آن نمی تواند برای تعریف دقیق برش یا صحت آزمون توصیه شود.

در دسترس بودن داده ها

داده های موجود از نویسنده

منابع

ZWEIG MH ، CAMPBELL G. ویژگی های عملکرد گیرنده (ROC): یک ابزار ارزیابی اساسی در پزشکی بالینی. Clin Chem 39: 561 - 577 (1993).

Coffin M ، Sukhatme S. گیرنده مطالعات مشخصه و خطاهای اندازه گیری. بیومتریک 53: 823 - 837 (1997).

Schisterman EF ، Perkins NJ ، Liu A ، Bondell H. بهینه برش و شاخص Youden مربوط به آن برای تبعیض افراد با استفاده از نمونه های خون مخلوط. اپیدمیولوژی 16: 73 - 81 (2005).

Zhou XH ، Obuchowski NA ، McClish DK. روشهای آماری در پزشکی تشخیصی (چاپ 2). هابوکن ، N. J.: جان ویلی ؛پ. 51 - 52 (2011).

موسی LE ، شاپیرو D ، Littenberg B. ترکیبی از مطالعات مستقل از یک آزمایش تشخیصی در یک منحنی ROC خلاصه: رویکردهای داده تحلیلی و برخی ملاحظات اضافی. Stat Med 12: 1293 - 1316 (1993).

Walter SD: خواص منحنی مشخصه عملکرد گیرنده خلاصه (SROC) برای داده های آزمایش تشخیصی. Stat Med 21: 1237 - 1256 (2002).

Laer AJ. شاخص Q*: یک اندازه گیری مفید جهانی از دقت آزمون غربالگری زوال عقل؟Dement Geriatr Cogn Dis Extra 5: 265 - 270 ، doi: 10. 1159/000430784 (2015).

لی جی ، کیم KW ، چوی SH ، هاوه جی ، پارک SH. بررسی سیستماتیک و متانالیز مطالعات ارزیابی صحت آزمایش تشخیصی: یک بررسی عملی برای محققان بالینی - قسمت دوم. روشهای آماری متاآنالیز. کره J Radiol 16: 1188 - 1196 ، doi: 10. 3348/kjr. 2015. 16. 6. 1188 (2015).

ادواردز AWF. اندازه گیری ارتباط در جدول 2 × 2. J R Stat Soc Ser A 126: 109 - 114 (1963).

Glas AS ، Lijmer JG ، Prins MH ، Bonsel GJ ، Bossuyt PM. نسبت شانس تشخیصی: یک شاخص واحد از عملکرد آزمون. J Clin Epidemiol 56: 1129 - 1135 (2003).

Laer AJ. MACE برای تشخیص زوال عقل و MCI: بررسی برش ها و مقادیر پیش بینی کننده. تشخیص (بازل) 9: E51 ، doi: 10. 3390/Diagnostics9020051 (2019).

Hsieh S ، McGrory S ، Leslie F ، Dawson K ، Ahmed S ، Butler CR ، et al. معاینه شناختی Mini-Addenbrooke: یک ابزار ارزیابی جدید برای زوال عقل. DEMENT GERIATR COGN DINORD 39: 1 - 11 ، doi: 10. 1159/000366040.(2015).

Laer AJ. تعریف برش آزمون "بهینه" با استفاده از معیارهای آزمون جهانی: شواهدی از یک ابزار غربالگری شناختی. Neurodegener Dis Manag 10: پذیرفته شده (2020).

میچل AJ. حساسیت X PPV یک آزمایش شناخته شده به نام شاخص ابزار بالینی (CUI+) است. Eur J Epidemiol 26: 251-252 ، doi: 10. 1007/S10654-011-9561-X.(2011).

Laer AJ. معیارهای واحد جدید برای مطالعات صحت آزمون زوال عقل. روانپزشکی Prog Neurol 23 (3): 21 - 25 ، doi: 10. 1002/pnp. 543 (2019).

Bohning D ، Holling H ، Patilea V. محدودیت نسبت تشخیصی-ODDS در تعیین مقدار برش بهینه برای یک آزمایش تشخیصی مداوم. Methods Stat Med Res 20: 541 - 550 ، doi: 10. 1177/0962280210374532 (2011).

Hajian-Tilaki K. انتخاب روشها در تعیین مقدار برش بهینه برای ارزیابی تست تشخیصی کمی. Methods Stat Med Res 27: 2374 - 2383 ، doi: 10. 1177/0962280216680383 (2018).