FN, FP, TN, TP의 정의와 활용 (Confusion Matrix)

여러 업무를 하다보니 FN, FP 를 실제로 되게 많이 쓰더라구요.

대학교 때 배운 내용이지만 기억이 가물가물 합니다.

해당 내용을 깊이있게 숙지해야 할 필요성을 느꼈고, 스터디한 내용을 작성하여 봅니다.

잘못된 내용은 코멘트로 얼마든지 남겨주시면 좋겠습니다!!ㅎㅎ

 

본 게시글에서는 선형대수와 관련된 Confusion Matrix를 설명하기 보단, Confusion Matrix 자체에 포커싱하여 설명하고, 예시를 중점적으로 적어보려 합니다.

 

선형대수에서는 FN과 FP를 이해하기 위해 벡터 공간에서의 분류 경계(Decision Boundary)를 활용할 수 있습니다.

예를 들어, 분류 모델의 결정 경계는 선형 변환을 통해 정의되며, FN과 FP는 데이터 포인트가 잘못된 영역에 위치하는 경우로 해석됩니다.선형 변환(Matrix Transformations)을 통해 FN과 FP를 줄이는 방향으로 데이터를 변환하거나, 결정 경계를 이동시킬 수 있습니다.

 * TP/TN: 데이터 포인트가 올바른 클래스에 속해 있을 때, 이는 결정 경계가 효과적으로 학습되었음을 나타냅니다.

 

FN, FP, TN, TP의 정의와 활용

통계나 여러 산업 분야에서 False Negative(FN), False Positive(FP), True Negative(TN), True Positive(TP)는 데이터 분석과 의사결정에서 중요한 개념입니다. 이들은 모델이 내린 예측의 정확성을 측정하는 데 사용됩니다. 아래에서 각각의 정의와 예시를 설명하고, 다양한 산업 분야에서 어떻게 활용되는지 확인해 보려 합니다.

---

1. FN, FP, TN, TP의 정의

실제 값 \ 예측 값 Positive Negative

		예측값
		Positive	Negative
실제값	Positive	True Positive (TP)	False Negative
	Negative	False Positive (FP)	True Negative

 

1. True Positive (TP): 실제 값이 Positive, 모델도 이를 Positive로 예측한 경우
2. False Positive (FP): 실제 값이 Negative, 모델이 이를 Positive로 예측한 경우
3. False Negative (FN): 실제 값이 Positive, 모델이 이를 Negative로 예측한 경우
4. True Negative (TN): 실제 값이 Negative, 모델도 이를 Negative로 예측한 경우

---

2. FN, FP, TN, TP의 활용 사례

1. 의료 분야
   • FN: 암 진단에서 실제로 암 환자인데도 불구하고 "암 없음"으로 진단된 경우. 이 경우 치료 기회를 놓칠 수 있습니다.
   • FP: 실제로 암이 아닌데 "암 있음"으로 진단된 경우. 불필요한 추가 검사나 치료로 이어질 수 있습니다.
   • TP/TN: 정확한 진단이 이루어진 경우.
2. 자율주행
   • FN: 보행자가 도로에 있음에도 이를 탐지하지 못하고 "보행자 없음"으로 인식한 경우. 이는 매우 위험한 사고로 이어질 수 있습니다.
   • FP: 도로에 아무것도 없는데도 "보행자 있음"으로 잘못 인식한 경우. 불필요하게 차량이 멈추거나 경로를 변경할 수 있습니다.
   • TP/TN: 도로 상황을 정확히 인식한 경우.
3. 스팸 필터
   • FN: 실제 스팸 메일인데 이를 스팸으로 분류하지 못한 경우. 사용자는 불편을 겪게 됩니다.
   • FP: 실제로 정상 메일인데 이를 스팸으로 분류한 경우. 중요한 메일을 놓칠 위험이 있습니다.
   • TP/TN: 이메일이 올바르게 분류된 경우.
4. 금융
   • FN: 실제로 부정 거래가 발생했음에도 이를 정상 거래로 간주한 경우. 금융 손실로 이어질 수 있습니다.
   • FP: 정상 거래를 부정 거래로 간주한 경우. 고객이 불편을 겪을 수 있습니다.
   • TP/TN: 거래를 정확히 판단한 경우.

이러한 사례를 살펴보면 FN의 경우 실제로 발생하는 사건에 대하여 발생하지 않았다고 잘못 판단하는 경우 입니다. 많은 실제 사례에서 FN이 매우 위험한 결과를 초래하게 되는군요. 

FP의 경우 사용자(시스템) 관점으로 바라봤을 때, 비용은 추가되지만 FN 보다는 위험한 사례가 덜 발생하는 것 같습니다.

실제 업무를 하다보면 FN을 줄이는 것에 많은 리소스를 투입하는 이유를 여기서 알 수 있는 것 같습니다.

---

3. FN과 FP를 줄이는 전략

• FN 줄이기
  • FN은 주로 민감도를 높임으로써 줄일 수 있습니다. 예를 들어, 암 진단 시스템에서는 민감도를 높여 암 환자를 놓치는 경우를 최소화해야 합니다.
  • 선형대수적으로는 결정 경계를 데이터의 Positive 클래스에 더 가깝게 이동시켜 FN을 줄일 수 있습니다.
    
    
  • 자율주행에사 FN을 줄일 수 있는 방법:
    • 자율주행 차량 제조사 혹은 시스템 개발사는 FN을 줄이기 위해 고해상도 자율주행 인식 성능을 향상시킬 수 있습니다.
      라이다(LiDAR), 레이더, 그리고 카메라 데이터를 통합한 멀티센서 융합(Multi-Sensor Fusion) 기술을 사용합니다. 이를 통해 보행자나 장애물에 대한 탐지 '민감도를 높입니다.'
    • 딥러닝 기반의 객체 탐지 모델(예: YOLO, Faster R-CNN)을 활용하여 실제 도로 환경에서 물체를 더 정확히 식별할 수 있도록 학습 데이터를 늘리고, 신호 처리와 강화 학습을 통해 FN 비율을 낮출 수 있습니다.
    • 자율주행 인식단에서는, 라이다 데이터를 사용해 보행자가 나무 그림자에 가려졌을 때도 이를 감지할 수 있도록 FN을 줄일 수 있습니다.
      
      
    • 위와 같은 사례로 볼 때, FN을 줄이기 위해선 '더 정확한' 결과를 내는 것이 중요하겠군요.
      뭔가 당연한 것 같으면서도 비용, 실시간성 등의 문제로 실제 업무에서는 쉽지 않은 일인 것 같습니다.
      
• FP 줄이기
  • FP는 주로 특이도를 높임으로써 줄일 수 있습니다. 스팸 필터에서는 정상 메일을 스팸으로 잘못 분류하지 않도록 특이도를 개선해야 합니다.
  • 선형대수적으로는 Negative 클래스에 가까운 데이터를 더 분명히 분리하는 방식으로 FP를 줄일 수 있습니다.

---