Roc curve cut-off value 구하기 - roc curve cut-off value guhagi

Survival Manual for Statistical Analysis
(통계분석 생존지침서)

by Byung Gil Choi, MD, PhD.

MedCalc

ROC curve (Receiver Operating Characteristic curve) Comparison of ROC curves

SPSS를 이용하는 통계방법이 아니므로 프로그램 MedCalc 가 설치되어 있어야 한다.

개념

검사방법의 유용성 및 cut-off value 판단, ROC curve간 비교

예제1

Peritoneal carcinomatosis를 Peritoneal tuberculosis와 감별 진단하는데 유용한 CT finding을 알아 보고자 한다. DownLoad ROC_curve_MedCalc.mc1
즉, maligancy를 시사하는 소견을 알아보고자 한다.

1. Enlarged LN count (커진 LN의 숫자를 센다)
2. Diameter of largest LN (가장 큰 LN의 diameter를 잰다)

두가지 finding중 어떤 finding이 더 의미있는(malignant) finding 일까?

만일 enlarged LN count가 더 의미있는 finding이라면 몇 개 일 때 further study를 권장하여야 하는가? (cut-off value)
만일 diameter of largest LN가 더 의미있는 finding 이라면 몇 mm 일 때 further study를 권장하여야 하는가? (cut-off value)

enlarged LN count와 diameter of largest LN의 ROC curve 간에 유의한 차이가 있는가?

예제2

유방암을 진단하는데 적절한 screening study는 어떤 것인지 알아보고자 한다.

1. mammogram	(grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9)	(benign=0, malignant=9)
2. US	(grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9)	(benign=0, malignant=9)
3. MRI	(grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9)	(benign=0, malignant=9)

어떤 검사가 screening study로서 좋을까?

전제 조건

1. 반드시 Confirm diagnosis 또는 이에 상응하는 Gold Standard 결과가 있어야 함.

2. Finding이나 검사 방법의 결과값이 반드시 연속변수일 필요는 없으나, 비연속변수일 경우 최소 4개 이상의 순위(ordinal)변수는 되어야 curve가 그려지고, 이상적으로는 7개 이상일 경우 curve의 모양이 그럴 듯하다.

방법1 (예제1을 기준으로)

1. Data 입력 confirm(Confirm Dx., Negative=0, Positive=1) ... Peritoneal tuberculosis로 확진된 환자 (negative) = 0, ... Peritoneal carcinomatosis로 확진된 환자 (positive) = 1로 입력 count(LN Count) diameter(LN Longest Diameter) **SPSS와 차이점 각 변수를 상세 설명할 수 있는 Label을 넣을 수 없다. 첫 번째줄에 변수명을 넣도록 되어 있고, 실제 data는 두 번째줄부터 입력하여야 한다.	2. 선택 [MENU]-[Statistics]-[ROC Curves]-[ROC curve analysis]
3. 설정 [Variable]에 분석하고자 하는 검사(count)을 넣고, [Classification variable]에 확진(confirm)을 넣는다. 나머지는 화면과 같이 선택하고, [OK]를 누른다. (결과해석1 참조) ** diameter에 대한 분석인 경우는 [Variable]에 (diameter)를 입력한다. (결과해석2 참조)

결과해석1

요약 정보

confirm = 1 즉, Peritoneal carcinomatosis(Positive)가 54 case
confirm = 0 즉, Peritoneal tuberculosis(Negative)가 46 case

Disease prevalance = 54.0 %

최종 결과

AUC = 0.947 (95% CI, 0.883-0.982), p<0.0001 ... Area under the ROC curve(AUC) = ROC curve 아랫부분의 면적

이상적으로 1.0 이 되는 경우 완벽한 검사 방법이다. 즉, sensitivity, specificity 모두 100% 인 경우를 의미한다.

AUC는 Accuracy와 같은 의미이며, 보통 다음과 같이 구분하여 사용하기도 한다.

0.90 - 1.00	excellent
0.80 - 0.90	good
0.70 - 0.80	fair
0.60 - 0.70	poor
0.50 - 0.60	fail

Significance level P (Area=0.5) 즉, p value가 0.05보다 작은 경우 검사 방법은 유용하다고 볼 수 있다.

95% Confidence Interval의 Lower Bound와 Upper Bound가 모두 0.5 이상인 경우 유용한 검사라 할 수 있다.

만일 0.5 이하인 경우가 있다면(Reference Line 보다 작은 경우), 그 검사 방법은 무의미한 검사 방법으로 간주한다.

Sensitivity, Specificity를 표로 나타낸 것이다.

이 표를 참조하여 연구자가 원하는 적절한 point를 선택하여 cut-off value를 결정하면 된다.

예를 들어 count의 cut-off value를 10으로 선택하게 된다면, sensitivity가 79.63% 이고 specificity가 97.83%가 되는 것이다.

**SPSS와 차이점
자동으로 cut-off value를 계산하여 [*]로 표시를 해준다 (maximum of the Youden index). 이는 reference line에서 가장 멀리 떨어진 점을 의미한다.
이 예에서는 >10 이 cut-off value 이다.

자동으로 계산된 cut-off value와 ROC curve가 그려진다.

결과해석2

(결과해석1 참조)

최종 결과:

AUC = 0.691 (95% CI, 0.591-0.779), p=0.0002

>16 이 cut-off value 이다.

(결과해석1 참조)

(결과해석1 참조)

방법2 (Comparison of ROC curve)

1. 선택

[MENU]

-[Statistics]

-[ROC Curves]

-[Comparison of ROC curves]

2. 설정

[Variables]에 비교하고자 하는 검사를 하나씩 넣고,

[Classification variable]에 확진(confirm)을 넣는다.

나머지는 화면과 같이 선택하고,

[OK]를 누른다. (결과해석3 참조)

** 총 6개까지 비교가 가능하다.

결과해석3

반영된 변수 요약

confirm = 1 즉, Peritoneal carcinomatosis(Positive) 가 54 case,

confirm = 0 즉, Peritoneal tuberculosis(Negative)가 46 case

AUC for count = 0.947 (95% CI, 0.883-0.982)

AUC for diameter = 0.691 (95% CI, 0.591-0.779)

2 AUC간에 유의한 차이가 있다 (p<0.0001).

즉, count의 AUC가 diameter AUC보다 유의하게 크다.

결론은

count가 diameter에 비해 확진 방법으로 더 좋다.

Graph가 상단, 좌측에 위치할수록 유용한 finding 또는 검사 방법이다.

그러므로 count가 diameter에 비해 더 유용하고 통계적으로 유의하다 (p<0.0001).

위의 결과해석 3가지를 모두 요약하면

FindingsAUC95% CIcut-off valuep valueComparisoncountdiameter

0.947	0.883-0.982	>10	p<0.0001	p<0.0001
0.691	0.591-0.779	>16	p=0.0002

유의사항

3가지 ROC curve의 예를 보여주는 그래프로 빨간색 그래프가 가장 좋은 검사 방법이며, 오렌지색 그래프는 중등도 좋은 검사 방법, 파란색 그래프는 검사방법으로서 의미가 없음을 알 수 있다.

Area under the curve[AUC] = ROC curve 아랫부분의 면적 0.90 - 1.00 excellent 0.80 - 0.90 good 0.70 - 0.80 fair 0.60 - 0.70 poor 0.50 - 0.60 fail

by Byung Gil Choi, MD, PhD.     Department of Radiology, College of Medicine, The Catholic University of Korea.