ROC eğrisi neyi gösterir?
ROC eğrisindeki her nokta farklı bir karar eşiğini temsil eder. Eşik değiştikçe duyarlılık ile özgüllük arasındaki denge değişir. Eğri tek başına bağlamdan bağımsız bir “en iyi değer” üretmez.
Duyarlılık ve özgüllük nasıl hesaplanır?
Duyarlılık, referans standarda göre pozitif olanların ne kadarının testte pozitif bulunduğunu; özgüllük, referans standarda göre negatif olanların ne kadarının testte negatif bulunduğunu gösterir. ROC grafiğinin dikey ekseni duyarlılık, yatay ekseni 1 − özgüllüktür. Testte pozitif sayılacak grubun ve yüksek ya da düşük değerlerin hangi sonucu işaret ettiğinin doğru tanımlanması gerekir.
AUC nasıl okunur?
Eğri altında kalan alan, rastgele seçilen pozitif ve negatif gözlem arasında testin doğru sıralama yapma olasılığıyla ilişkilidir. AUC 0,5 düzeyinde olduğunda ayırt etme rastlantısal düzeye yakındır. Güven aralığı ve doğrulama yöntemi görülmeden kesin sınıflar kullanılmamalıdır. AUC 0,80 olması, kişilerin yüzde 80’ine doğru tanı konduğu anlamına gelmez. AUC, seçilmiş tek bir eşikteki doğruluk oranından farklıdır. AUC 0,50’nin altındaysa önce test yönü ve referans grup kodlaması kontrol edilir; yalnız değeri yükseltmek için sonuç görüldükten sonra yön değiştirilmez.
Eşik seçimi klinik bir karardır
Youden indeksi istatistiksel bir başlangıç sağlayabilir; ancak yanlış negatif ve yanlış pozitif sonuçların maliyeti eşit olmayabilir. Tarama testinde duyarlılık, doğrulama testinde özgüllük daha fazla önem taşıyabilir. Youden indeksi J = duyarlılık + özgüllük − 1 olarak hesaplanır. Bu toplamı en yüksek yapan eşik, çalışmanın klinik amacı için otomatik olarak uygun değildir. Eşiğin önceden belirlendiği mi yoksa bu veri üzerinde arandığı mı raporda belirtilmelidir.
Sayısal örnek: aynı eşikte iki farklı ölçüt
Yalnız açıklama amaçlı bu örnekte, referans standarda göre pozitif 100 kişinin 80’i testte pozitif; negatif 100 kişinin 70’i testte negatif bulunmuş olsun. Duyarlılık 80/100 = yüzde 80, özgüllük 70/100 = yüzde 70 ve Youden indeksi 0,80 + 0,70 − 1 = 0,50 olur. Bu tek eşik tablosundan AUC hesaplanamaz; farklı eşiklerdeki test sonuçları gerekir. Sayılar gerçek hasta veya müşteri verisi değildir.
Hesaplanmış AUC örneği: tüm skorlar üzerinden
AUC’nin nasıl ortaya çıktığını göstermek için 10 hasta ve 10 sağlıklı kişiden oluşan temsili bir veri kullanılsın; gruplandırmanın referans standartla doğrulandığı varsayılır.
| Grup | Skorlar |
|---|---|
| Hasta | 3,2 · 2,9 · 2,8 · 2,5 · 2,4 · 2,2 · 2,1 · 1,9 · 1,6 · 1,4 |
| Sağlıklı | 2,3 · 2,0 · 1,8 · 1,7 · 1,5 · 1,3 · 1,2 · 1,0 · 0,8 · 0,5 |
AUC, hasta skoru sağlıklı skorundan büyük olan çiftlerin oranıdır: 10 × 10 = 100 çiftin 87’sinde hasta skoru daha büyüktür; dolayısıyla AUC = 87/100 = 0,87 olur. Hanley–McNeil yaklaşımıyla yüzde 95 güven aralığı yaklaşık [0,71–1,00] hesaplanır; 20 kişilik örneklemde aralığın bu kadar geniş olması beklenir. Gerçek analizde AUC ve güven aralığı, tüm eşikler üzerinden istatistik yazılımı tarafından hesaplanır; sayılar eğitim amaçlıdır.
Pozitif sonuç hastalık olasılığıyla aynı şey mi?
Pozitif ve negatif öngörü değerleri, test sonucundan sonra referans durumun bulunma olasılığıyla ilgilidir ve hedef toplumdaki prevalanstan etkilenir. Araştırmaya eşit sayıda pozitif ve negatif kişi almak, toplumda da bu oranın bulunduğu anlamına gelmez. Bu nedenle duyarlılık ve özgüllük doğrudan bir kişinin hastalık olasılığı olarak yorumlanmamalıdır.
ROC analizi için hangi veriler hazırlanmalı?
Her katılımcının test ölçümü ve referans standart sonucu eşleştirilmelidir. Ölçüm birimi, pozitif durum kodu, eksik veya belirsiz sonuçların nasıl ele alındığı ve varsa tekrarlı ölçümler açıklanmalıdır. Aynı veride eşik seçip performansı yine aynı veride değerlendirmek iyimser sonuç verebilir; uygun iç doğrulama veya bağımsız doğrulama planlanmalıdır.
Raporlanması gerekenler
- AUC ve yüzde 95 güven aralığı
- Referans standart
- Eşik ve seçim gerekçesi
- Duyarlılık ve özgüllük
- Olabilirlik oranları
- İç veya dış doğrulama yöntemi
Örnek raporlama
“Belirtecin sonuç durumunu ayırt etme performansı ROC analiziyle değerlendirilmiş; AUC güven aralığıyla sunulmuş ve karar eşiği klinik öncelikler dikkate alınarak belirlenmiştir.” Gerçek raporda bütün değerler analiz çıktısıyla doldurulmalıdır.
ROC analizi için biyoistatistik hizmeti kapsamına bakabilirsiniz.