1. 서 론

도로 포트홀은 차량 손상, 교통사고, 유지보수 비용 증가의 주요 원인으로, 효율적인 자동 탐지 기술의 개발이 도로 인프라 관리의 핵심 과제이다(Babbar and Bedi, 2023; Chorada et al., 2023; Gu et al., 2024; Yu et al., 2025). 최근 딥러닝 기반 객체 탐지 기술의 발전으로 YOLO 계열 모델을 중심으로 Faster R-CNN, RT-DETR 등 다양한 모델이 포트홀 탐지에 적용되고 있으며 높은 mAP 수치가 보고되고 있다(Jakubec et al., 2023, 2024; Kim and Lee, 2023; Meshram et al., 2025; Rubin et al., 2025). 그러나 이러한 정량적 성능 지표의 향상에도 불구하고, 실제 도로 환경에서의 배포 시 활용하기 어려운 문제가 있다.

실제 도로 이미지나 영상에는 포트홀과 시각적으로 유사한 다양한 객체가 존재한다. 전통적인 영상 처리 및 딥러닝에서는 형상으로 객체를 탐지하기도 하지만 주변과의 색상 차이나 대비 차이를 통해 판단한다. 차량이 급제동하면서 도로 표면에 남는 어두운 타이어 스키드마크, 도로 보수 패치, 맨홀 뚜껑이나 배수구 등은 포트홀과 유사한 어두운 영역을 생성하여 저대비 패턴을 만든다. 이러한 요소들은 딥러닝 모델의 오탐(false positive, FP)을 유발하여 실무에 적용할 때 신뢰성을 저하시킨다(Frnda et al., 2024; Jo and Ryu, 2016; Ling et al., 2024).

기존 포트홀 탐지 연구는 mAP, Precision, Recall 등의 정량 지표로 모델 성능을 평가하는 데 집중하며, 모델이 왜 특정 영역을 포트홀로 인식하거나 인식하지 못하는지에 대한 원인 분석 연구는 수행하지 않았다. 그림자 및 유사 질감 환경에서의 오탐 문제가 보고되었지만, 딥러닝 모델 내부의 판단 근거를 직접 분석하지는 않았다.

설명 가능한 AI(XAI, Explainable AI)는 딥러닝 모델의 판단 근거를 시각화하여, 모델이 입력 이미지의 어떤 영역에 주목하여 결정을 내리는지 해석하는 기술이다. 특히 Grad-CAM(Selvaraju et al., 2017)은 모델 gradient 정보를 활용하여 클래스별 활성화 맵을 생성하며, 딥러닝 모델이 이미지의 어느 부분이 중요하다고 판단하여 결과를 도출했는지 시각적으로 보여준다. Jiang 등(2021)은 XAI 기법 중 하나인 LayerCAM을 포트홀 탐지에 적용하여 활성화의 집중도와 경계 정렬을 정량적으로 평가(CAM IoU 등)하고 모델 간 탐지 성능을 비교하였으나, 오탐 원인을 체계적으로 분석하지는 않았다.

본 연구의 목적은 다음과 같다. 첫째, 포트홀 탐지 모델의 오탐과 미탐(false negative, FN) 을 체계적 유형으로 분류하는 분류 체계를 수립한다. 둘째, Grad-CAM과 Eigen-CAM(Muhammad and Yeasin, 2020)을 적용하여 각 유형별 모델의 주목 영역 패턴을 시각적으로 분석한다. 셋째, 정탐(true positive, TP)과 오탐의 모델 주목 패턴 차이를 정량적으로 비교한다. 이를 통해 포트홀 탐지 모델의 실용적 신뢰성 향상을 위한 개선 방향을 도출한다.

이로써 본 연구는 포트홀 탐지 모델의 오탐 발생에 대한 기존 문제를, (i) 오탐 유형별 실측 빈도･신뢰도라는 우선순위, (ii) 모델이 주목하는 영역의 기전적 근거, (iii) 정탐･오탐이 동일 특징 공간에서 구분되지 않는다는 반증 가능한 명제로 전환하여 XAI로 단순히 재확인하는 과정을 넘어 정량･구조적으로 제시한다.

2. 이론적 배경

2.1 딥러닝 기반 포트홀 탐지

국내 포트홀 탐지 연구는 전통적 영상처리 기법에서 딥러닝 기반 방법으로 전환되어 왔다. Jo와 Ryu(2016)는 포트홀 탐지에 대한 영상 처리 연구에서 딥러닝을 적용한 초기 연구를 수행하였다. 이 논문에서는 Saliency Map 기반 알고리즘을 통해 그림자 및 유사 질감 환경에서의 오탐 문제를 개선하였다. 이후 포트홀 탐지를 위한 다양한 딥러닝 모델이 적용되었으나 오탐에 대한 문제는 반복적으로 제기되었다.

이러한 문제를 극복하기 위해 영상처리 기반 이미지 전처리 기법이 적용되어 왔다. 그리고 다른 모델에 비해 실시간 추론 속도가 빠르고 연산 효율이 높은 YOLO 계열 모델이 성능 평가에 활용되고 있다. 이와 같은 연구에서는 입력 데이터 전처리가 포트홀 이미지의 질감, 형태, 경계를 강조하여 모델 탐지 성능을 향상시키는 것으로 확인되었다(Heo et al., 2023; Lee et al., 2022). 이러한 연구들은 본 연구에서 XAI를 통해 분석하는 모델의 특징 의존성과 밀접한 관계가 있다. Geirhos 등(2019)은 ImageNet으로 학습된 CNN은 객체의 형태보다 텍스처에 편향되어 인식하는 텍스처 바이어스가 있음을 검증하였다. 이 텍스처 바이어스는 포트홀 탐지에서 중요한 시사점을 가지는데, 포트홀과 유사한 텍스처를 보이는 스키드마크, 그림자, 맨홀, 도로 패치 등이 오탐의 근본 원인이 될 수 있기 때문이다. 따라서 전처리 연구에서 질감 강조가 탐지 성능에 미치는 영향은 이러한 텍스처 의존성을 간접적으로 뒷받침한다고 볼 수 있다.

실제 인프라 운영 환경에 적용한 사례로는 전국 교통정보 CCTV 데이터에 YOLOv8 인스턴스 세그멘테이션을 적용한 포트홀 탐지 연구가 있다(Im et al., 2023). 그리고 최근에는 YOLOv8, SAM2, LLM을 결합한 potholeSAM 프레임워크를 통해 탐지를 넘어 포트홀 깊이까지 추정하는 연구로 확장되고 있다(Choi et al., 2025).

YOLOv8은 C2f 블록 기반 anchor-free 구조를 도입한 경량 1-stage detector로, 실시간 추론 속도와 높은 정밀도를 동시에 달성한 모델이다(Jocher et al., 2023). 국외에서는 YOLOv8의 다양한 모델 라인업과 멀티태스크 확장성, 우수한 배포 환경 등을 바탕으로 현재 컴퓨터 비전 프로젝트의 표준 기준 모델(baseline) 역할을 하고 있다(Khan et al., 2024; Zeng and Zhong, 2024). 그러나 기존 연구는 모델의 정량적 성능(mAP, FPS 등)에 집중하며, 오탐과 미탐의 원인을 분석하지 않았다. 일부 연구에서는 악천후 조건(야간, 비, 안개)에서의 성능 저하를 보고하였으나(Jakubec et al., 2023; Zanevych et al., 2024), 정상 주간 조건에서도 발생하는 구조적 오탐(스키드마크, 도로 패치 등)에 대한 분석은 부재하였다.

2.2 설명 가능한 AI

XAI는 딥러닝 모델의 판단 과정을 인간이 이해할 수 있는 형태로 설명하는 기술 분야로, 모델이 어떤 근거로 결과를 도출했는지 알 수 없는 블랙박스(Black-box) 문제를 해결하기 위해 개발되었다. 객체 탐지에서 가장 널리 사용되는 XAI 기법은 CAM(Class Activation Mapping) 계열이다.

Grad-CAM은 모델의 특정 클래스에 대한 gradient를 역전파하여, 해당 클래스를 판단할 때 기여하는 특징 맵의 가중치를 계산한다. 가중치가 적용된 특징 맵의 합은 히트맵의 형태로 시각화되어, 모델이 해당 클래스를 판단할 때 주목하는 이미지 영역을 보여준다. 히트맵에서 붉은 영역은 모델이 강하게 주목하는 영역을 보여주고, 파란 영역은 주목하지 않는 영역을 나타낸다.

Eigen-CAM은 gradient를 사용하지 않고 특징 맵의 첫 번째 주성분을 추출하여 활성화 맵을 생성한다. Grad-CAM과는 독립된 방법으로, 두 기법의 결과를 비교하면 해석의 일관성을 검증할 수 있다.

본 연구가 두 기법을 병행하는 이유는 상호 보완적 검증에 있다. Grad-CAM은 gradient를 역전파하여 특정 탐지 판단에 직접 기여한(클래스 특이적) 영역을 보여주는 반면, Eigen-CAM은 gradient 없이 특징 맵의 주성분만으로 모델이 학습한 전반적(클래스 비특이적) 표현을 보여준다. 두 기법의 활성화가 일치하면 해석의 강건성이 확보되고, 차이가 나면 그 차이 자체가 모델이 판단에 사용한 영역과 학습한 특징 구조의 괴리를 드러낸다. 따라서 CAM 결과의 정성･정량 분석은 두 기법을 함께 제시하였다.

3. 연구 방법

3.1 포트홀 데이터셋 및 탐지 모델

본 연구에서는 남아프리카공화국 도로에서 GoPro Hero 3+ 대시캠으로 촬영된 총 4,337장의 고해상도(3,680 × 2,760px) 이미지 데이터셋을 사용하였으며, 포트홀 단일 클래스에 대한 바운딩 박스 어노테이션을 포함한다(Nienaber et al., 2015a, 2015b). 이 데이터셋은 Kaggle 플랫폼을 통해 공개 배포되고 있다. 모델 학습 및 평가를 위해서 Train/Validation/Test를 7:1.5:1.5 비율로 Table 1과 같이 분할하였다.

본 연구에서는 YOLOv8s를 탐지 모델로 사용하였다. 이 모델은 11.13M 파라미터의 경량 1-stage detector로, COCO pretrained weights를 전이 학습하여 Table 1의 학습셋(3,035장)에서 300 epoch 학습되었다. 모델의 하이퍼파라미터는 본 논문의 목적이 모델 성능 최적화가 아니기 때문에 YOLOv8s의 기본 설정을 그대로 적용하였다(SGD, lr = 0.01, 입력 해상도 640 × 640, seed = 42).

학습된 모델의 데이터셋에 대한 성능은 mAP@0.5=0.498로 낮게 나타났다. 이는 원본 해상도(3,680 × 2,760)가 입력 해상도(640 × 640)로 약 5.7배 축소되는 과정에서, 원본에서 작게 촬영된 포트홀이 학습 해상도에서는 극소형 객체(수~수십 픽셀)가 되어 CNN 깊은 층의 수용 영역(receptive field) 이하로 떨어지기 때문이다. 즉 해상도 축소로 인해 소형 객체의 특징이 소실되고 소형 포트홀의 미탐이 증가하게 된다. 이로써 딥러닝 모델의 성능지표(Recall, mAP 등)가 낮게 나타나는 것이 설명된다. 한편 이러한 기본 설정은 본 연구의 목적이 성능 최적화가 아니라 오탐･미탐 원인 분석이며, 분석에 충분한 FP(133건)･FN(363건) 표본을 확보하기 위한 의도된 조건이다.

테스트셋 652장에 대해 학습된 YOLOv8s로 추론(confidence threshold = 0.25)을 수행하고, 각 예측을 Table 2와 같이 분류하였다.

Table 2에서 예측 bbox와 정답 bbox의 IoU가 0.5 이상인 경우 TP, 예측 bbox에 대응하는 정답 bbox가 없거나 IoU가 0.5 미만인 경우 FP, 정답 bbox에 대응하는 예측 bbox가 없는 경우 FN, 그리고 Negative 이미지(포트홀 없음)에서 예측이 없는 경우 TN으로 설정하였다.

3.2 모델 해석을 위한 XAI 적용 및 지표 설정

YOLOv8s 모델의 판단 근거를 해석하기 위해 Grad-CAM과 Eigen-CAM을 적용하였다. CAM 히트맵은 모델 내부의 특징 맵에서 추출되며, 추출 위치에 따라 해석의 추상화 수준이 달라진다. 본 연구에서는 전체 이미지의 의미론적 맥락을 집약하는 YOLOv8s backbone의 SPPF 레이어(최종 특징 맵)와 neck에서 고해상도 공간 정보를 보존하는 P3 레이어를 대상 레이어로 선정하였다. 각 TP, FP, FN 사례에 대해 두 레이어에서 Grad-CAM 및 Eigen-CAM 히트맵을 생성하였으며, 히트맵은 원본 이미지에 오버레이하여 모델의 주목 영역을 시각화하였다.

오탐‧미탐 유형 분류는 2단계로 수행하였다. 먼저 bbox 영역의 물리적 특징(밝기, 에지 밀도, 선형 패턴 수, 반사 비율, 대비, 주변 색상 차이)을 정량적 기준으로 사용하는 규칙 기반 1차 분류를 적용하였다. 본 데이터셋은 포트홀 단일 클래스만 어노테이션되어 있어 오탐 유형은 1차 분류 결과를 전수 육안 검증하여 최종 라벨을 확정하였다. 이 육안 검증 과정에서, 초기 규칙에 포함했던 원형 패턴 기준(Hough 원검출)이 불규칙한 노면 패치의 곡선 경계를 원으로 거짓 검출하여 일부 패치를 맨홀로 오분류함을 확인할 수 있었다. 실험에 사용한 데이터셋에는 실제 맨홀이 존재하지 않아 맨홀 유형은 분류 체계에서 제외하였다. 그 결과 오탐은 5가지, 미탐은 4가지 유형으로 Table 3과 같이 확정하였다.

마지막으로 본 연구에서 Grad-CAM과 Eigen-CAM 히트맵의 정량적 비교를 위해 두 가지 지표를 정의하였다. 첫째, 활성화 집중도를 상위 10% 활성화 영역의 면적 비율로 정의하였다. 그러나 Eigen-CAM이 PCA 기반으로 되어 있어 활성화 값이 연속적으로 분포하고, 픽셀이 수학적으로 항상 전체의 약 10%가 되어 모든 샘플에서 0.1000으로 고정된다. 반면 Grad-CAM은 ReLU를 거치면서 0값이 다수 발생하여 동점에 의한 변동이 생긴다. 이에 따라 활성화 집중도 지표를 정규화된 공간 엔트로피로 변경하였다. 이는 히트맵을 확률 분포로 정규화한 후 Shannon entropy(Shannon, 1948)를 계산하고, 이를 균일 분포의 최대 엔트로피로 나누어 [0, 1] 범위로 정규화하는 것이다. 결국 정규화된 공간 엔트로피가 1에 가까울수록 활성화가 균일하게 분산된 것이고, 값이 낮을수록 특정 영역에 집중되어 있음을 의미하게 된다.

그리고 히트맵 상위 활성화 영역과 예측 바운딩 박스의 IoU로, 모델의 주목 영역이 실제 탐지 영역과 얼마나 일치하는지를 나타내는 활성화 BBox 정합도를 분석 지표로 정의하였다.

4. 실험 결과

4.1 전체 탐지 결과와 FP/FN 유형별 분포

학습된 YOLOv8s를 테스트셋 652장에 적용한 결과를 요약하면 TP(182건), FP(133건), FN(363건), TN(452장), Precision(0.578), Recall(0.334), 그리고 F1 Score(0.423)로 나타났다. 여기서 Precision은 모델이 탐지한 포트홀 중 약 58%만이 실제 포트홀이고, 42%는 오탐임을 의미한다. 그리고 Recall은 실제 포트홀 545개 중 33%만 탐지되고 67%가 미탐되었음을 의미한다. 이는 현장에서 포트홀 탐지 모델을 적용할 때 confidence threshold 0.25에서 상당한 오탐과 미탐을 수반함을 보여준다. Fig. 1은 133건의 오탐과 363건의 미탐에 대한 유형별 분포를 보여준다.

Fig. 1.

Error type distribution

스키드마크 오탐(FP-SKID) 47건은 전체 FP 133건의 35.3%로 가장 빈번한 단일 오탐 유형이었다. FP-OTHER(61건, 기타 미분류)를 제외한 분류 가능 FP 72건 기준으로는 65.3%에 해당한다. 스키드마크 오탐의 평균 confidence(0.52)는 FP-OTHER(0.42)보다 높게 나타났고, 이는 모델이 스키드마크와 포트홀을 혼동하고 있음을 보여준다. 노면 얼룩(FP-STAIN)은 confidence 중앙값이 0.60으로 분류 가능 유형 중 높았고, 도로 보수 패치 오탐(FP-PATCH) 중 일부는 confidence가 0.75~0.83으로 매우 높게 나타났다. 이들은 건수는 적지만 모델이 매우 높은 확신으로 포트홀로 오탐하는 사례로, threshold 조정만으로 제거가 어렵다. 반면 그림자 오탐(FP-SHADOW)은 confidence 중앙값이 0.35로 가장 낮아, threshold 조정을 할 경우 제거가 가능할 것으로 확인되었다.

미탐의 경우는 대부분(87.3%)이 소형 포트홀(FN-SMALL)에 기인하였다. 본 데이터셋의 원본 해상도(3,680 × 2,760)가 모델 입력 해상도(640 × 640)로 축소될 때 약 5.7배의 축소가 발생하여, 상대적 크기가 작은 포트홀은 학습 해상도에서는 극소형 객체가 된다. 이는 CNN 기반 1-stage detector의 소형 객체 탐지 한계와 직결되며, 고해상도 입력 또는 다중 스케일 추론(multi-scale inference) 전략의 필요성을 시사한다.

4.2 CAM 기반 주목 영역 분석

4.1에 언급한 바와 같이 미탐의 대부분은 소형 포트홀에 대한 것으로, CAM 기반 주목 영역 분석은 정탐과 오탐에 대해서만 고려하였다. 정탐 2건과 오탐 2건, 총 4건의 사례에 대해 원본･Grad-CAM･Eigen-CAM 히트맵을 Fig. 2에 나타냈다. 히트맵은 국소 패턴의 가시성을 위해 neck P3 레이어를 사용하였다.

Fig. 2.

CAM heatmaps for TP and FP cases. (a) TP(G0011504), (b) TP(G0011771), (c) FP(G0010149), (d) FP(G0011953)

정탐 사례에서 Grad-CAM 히트맵은 포트홀의 내부 영역과 경계부에 활성화가 집중되는 패턴을 보였다. 특히 도로면과 포트홀 간의 색상과 텍스처 경계에서 높은 활성화가 관찰되어, 모델이 포트홀 판단 시 주변 도로면과의 대비를 핵심 특징으로 활용하고 있음을 확인할 수 있었다. 반면 오탐 사례에서도 Grad-CAM 활성화가 유사한 강도와 집중도로 나타났으며, 스키드마크에서 선형의 어두운 영역, 도로 패치의 색상 경계 등 포트홀과 시각적으로 유사한 저수준 특징에 모델이 동일하게 반응하고 있음을 확인하였다. 즉 히트맵의 시각적 패턴만으로 정탐과 오탐을 구분하기 어려우며, 이는 정량 분석을 통해 재확인이 필요하다.

Eigen-CAM 히트맵에서는 TP와 FP 모두에서 Grad-CAM에 비해 활성화가 도로면 전반에 더 넓게 분포하는 경향을 보였다. 이는 Eigen-CAM이 gradient 기반의 클래스 특이적 가중치 없이 특징 맵의 주성분을 추출함에 따라 탐지 대상뿐 아니라 도로면의 전반적 텍스처 구조를 함께 포착하기 때문이다. 두 기법의 보완적 해석 근거는 2.2절에 정리한 바와 같다.

다음으로 Fig. 3과 같이 오탐 유형별 CAM 패턴을 확인하였다. 오탐의 유형 분류에서 육안 점검은 예측 bbox 내부뿐 아니라 bbox 주변의 전체 도로 장면 맥락을 함께 고려하였으나 확대한 이미지는 CAM 활성화의 국소 패턴을 드러내기 위해 bbox 인근으로 좁게 잘라내어 오탐 유형이 자명하지 않을 수 있다. 스키드마크 오탐 시 Grad-CAM 히트맵은 타이어 자국의 선형 어두운 영역을 따라 활성화가 분포하는 패턴을 보였다. 이는 포트홀의 어두운 텍스처와 유사한 저수준 특징에 모델이 의존하고 있음을 시사한다. Eigen-CAM에서도 스키드마크 영역에 활성화가 나타났으나, 스키드마크 자체보다는 도로면의 전반적 텍스처 변화를 포착하였다. 두 기법 모두 모델이 스키드마크의 어두운 색상이라는 저수준 특징에 반응하고 있으며, 선형이나 불규칙과 같은 형태적 차이는 판단에 반영하지 않음을 확인할 수 있었다.

Fig. 3.

CAM heatmap comparison across FP type code. (a) FP-OTHER, (b) FP-SKID, (c) FP-PATCH, (d) FP-STAIN, (e) FP-SHADOW

도로 보수 패치 오탐에서 Grad-CAM 활성화는 패치와 주변 도로면의 색상 경계에 집중되었다. 보수된 아스팔트는 기존 도로면과 색상 및 텍스처가 달라 이 경계를 포트홀의 경계로 인식하는 것으로 해석된다. Eigen-CAM에서는 패치 경계뿐 아니라 패치 내부와 주변 도로면에 걸쳐 넓은 활성화가 관찰되어, 모델이 패치 영역의 텍스처 차이를 전반적으로 인식하고 있음을 보여준다. Grad-CAM이 경계에 집중하고 Eigen-CAM이 영역 전체를 포착한다는 차이는, 모델의 판단이 경계부의 색상 대비라는 저수준 특징에 의한 것이고, 모델이 포트홀의 형태적 특징보다는 색상 대비에 과도하게 의존하는 학습 편향을 가지고 있음을 보여준다.

노면 얼룩(FP-STAIN)과 그림자(FP-SHADOW) 오탐에서도 Grad-CAM은 어두운 영역의 경계나 텍스처 변화를 따라 활성화가 분포하여, 앞선 유형들과 마찬가지로 모델이 어두운 색상과 대비의 저수준 특징에 반응함을 보여준다. 반면 분류되지 않은 기타 오탐(FP-OTHER)은 특정한 시각적 공통 패턴 없이 다양한 노면 영역에 활성화가 분산되어 나타났다.

4.3 정탐과 오탐의 정량적 CAM 비교

CAM 정량 분석은 이미지 단위(이미지당 히트맵 1장)로 수행되어, 의미 있는 활성화가 추출된 정탐 103장･오탐 75장을 대상으로 하였다. 이는 이미지 단위의 표본으로 4.1절의 bbox 단위 집계와 차이가 있다. 4.2절에서 히트맵을 위해 neck P3 레이어를 사용했으나 정량 분석은 전역 분포 비교를 위해 SPPF 레이어를 사용하였다. CAM 히트맵의 활성화 집중도를 위한 공간 엔트로피 분석과 활성화 BBox 정합도를 정량적 지표로 정의하고 Table 4와 같이 비교하였다.

그 결과 Grad-CAM의 공간 엔트로피는 Eigen-CAM보다 낮게 나타났다. 이는 Grad-CAM이 gradient 가중치를 통해 특정 영역을 선택적으로 강조하므로 더 집중된 활성화 패턴을 보이는 반면, Eigen-CAM은 PCA 기반으로 특징 맵의 전반적 분산 구조를 포착하여 활성화가 상대적으로 균일하게 분포하기 때문이다. 두 기법 모두에서 TP와 FP 간 엔트로피 차이는 미미하여, SPPF 레이어에서 TP와 FP의 전역 활성화 분포 패턴 자체는 유사함을 알 수 있다.

활성화 BBox 정합도에서는 Grad-CAM이 Eigen-CAM보다 일관되게 높은 값을 보였다. 이는 Grad-CAM이 탐지 대상 영역과 더 높은 공간적 정합성을 가지고 있음을 정량적으로 보여준다.

두 기법 모두 TP와 FP 간 차이의 유의성을 분산 동질성을 가정하지 않는 Welch’s t-검정으로 검증한 결과, 공간 엔트로피는 Grad-CAM(t = 0.085, p = 0.932)･Eigen-CAM(t = -0.754, p = 0.452), 활성화 BBox 정합도는 Grad-CAM(t = 1.065, p = 0.288)･Eigen-CAM(t = 1.020, p = 0.310)으로 모든 비교에서 유의수준 0.05에서 유의미한 차이가 없었다(표본 n_TP = 103, n_FP = 75). 비모수 Mann-Whitney U 검정으로도 동일한 결론이 확인되었다.

또한 Eigen-CAM의 BBox 정합도가 0.001 수준으로 매우 낮은 것은, Eigen-CAM이 클래스 비특이적 PCA 활성화로 노면 전반의 텍스처 분산을 포착하는 반면 BBox는 특정 객체 영역만 한정하기 때문에 본질적으로 예상되는 결과이다. 따라서 이 절댓값은 모델 성능의 평가가 아니라, Grad-CAM(0.0015~0.0020) 대비 Eigen-CAM이 객체 영역에 덜 국한된다는 해석 특성을 정량화한 지표이다.

두 정량적 지표의 결과를 종합하면, 모델이 정탐과 오탐 모두에서 유사한 수준의 활성화 패턴을 보이며, 오탐 시에도 정탐과 동일한 수준의 확신으로 잘못된 영역을 주목하고 있는 것을 알 수 있었다.

본 연구의 Grad-CAM 분석 결과는 YOLOv8s 포트홀 탐지 모델의 판단이 주로 저수준 시각 특징에 의존하고 있음을 보여준다. 포트홀의 핵심 정의는 도로 포장면의 국부적 파손으로 형성된 구멍으로, 깊이감과 불규칙한 3D 형태가 본질적 특성이다. 그러나 2D RGB 이미지에서 이 깊이감은 간접적으로만 표현되며, 모델은 이 간접적 2D 단서에 의존하여 판단한다. 따라서 스키드마크, 도로 패치, 맨홀 등도 동일한 2D 단서(어두운 색상, 뚜렷한 경계)를 공유한다는 점에서 문제가 될 수 있다.

이러한 해석은 Grad-CAM과 Eigen-CAM 두 기법의 정량 비교에서 TP와 FP의 공간 엔트로피 및 BBox 정합도에 유의미한 차이가 없다는 결과와 일관된다. 특히 Grad-CAM이 Eigen-CAM보다 집중된 활성화를 보이면서도 정합도가 더 높다는 결과는, gradient 기반 해석이 탐지 판단 영역을 더 직접적으로 반영함을 보여준다. 그러나 두 기법 모두에서 TP와 FP 간 차이가 없다는 사실은, 모델의 관점에서 정탐과 오탐이 동일한 특징 공간에서 구분되지 않음을 의미하며, 현재 모델이 포트홀만의 특징을 학습하지 못하고 일반적 도로면 이상 탐지기로 작동하고 있음을 시사한다.

4.4 베이스라인 강건성 분석

본 모델의 mAP@0.5(0.498)가 낮다는 점에서, 관찰된 오탐 패턴이 포트홀 탐지의 본질적 특성인지 아니면 베이스라인 학습･해상도 조건의 영향인지 확인할 필요가 있다. 이를 위해 재학습 없이 두 가지 강화 조건—(i) 동일 YOLOv8s를 고해상도(1280)로 추론, (ii) 동일 벤치마크에서 D1 테스트셋 최고 성능을 보인 RT-DETR-R50(mAP@0.5=0.570)—에서 동일한 오탐 유형 분류를 재수행하였다.

세 조건 모두에서 스키드마크 오탐(FP-SKID)이 분류 가능 FP 중 가장 빈번한 유형으로 유지되었으며, 그 비중은 베이스라인을 강화할수록 오히려 증가(65.3 → (i) 66.2 → (ii) 77.0%)하는 경향을 보였다. FP-SKID의 평균 confidence는 모델･해상도와 무관하게 0.52~0.53으로 일정하였다. 특히 RT-DETR-R50은 Recall이 YOLOv8s 대비 약 44% 높음에도 오탐 건수가 더 많고 Precision은 더 낮아, 오탐의 지배적 원인이 미흡한 베이스라인의 산물이 아니라, 저수준 시각 특징(어두운 색･경계)을 공유하는 객체에 대한 구조적 혼동임을 보여준다. 한편 고해상도 추론과 강화 모델 모두에서 소형 포트홀 미탐(FN-SMALL)이 감소(317 → (i) 257 → (ii) 248)하고 Recall이 향상되어, 미탐은 해상도･소형 객체 한계에 기인한다는 3.1절의 해석을 뒷받침한다. 즉 오탐(구조적)과 미탐(해상도)은 서로 다른 층위의 문제이며, 본 연구의 XAI 결론(저수준 특징 의존)은 더 강한 탐지기에서도 유지되는 베이스라인에 독립적인 발견이라 볼 수 있다.

5. 결 론

본 연구는 Grad-CAM과 Eigen-CAM을 YOLOv8s 포트홀 탐지 모델에 적용하여, 오탐과 미탐의 원인을 체계적으로 분석하였다.

스키드마크 오탐이 전체 FP의 35.3%(47/133)로 가장 빈번한 실질적 오탐 원인이며, 모델은 타이어 자국의 어두운 선형 패턴을 포트홀의 어두운 텍스처와 혼동하는 것으로 확인되었다. 노면 얼룩 오탐은 confidence 중앙값이 0.60로 가장 높았고 일부 도로 보수 패치 오탐은 confidence가 0.75 이상으로 나타나, 건수는 적지만 threshold 조정만으로 제거하기 어려운 고신뢰 오탐으로 확인되었다. 이는 포트홀과 저수준 특징을 공유하는 객체를 별도 음성 클래스로 다루는 학습 전략의 필요성을 시사한다. 미탐의 87.3%는 소형 포트홀에 의한 것으로, CAM 분석에서는 다루지 않았다. 이는 고해상도 이미지의 축소에 따른 구조적 한계에 기인하므로, 다중 스케일 추론이 필요할 것으로 판단되었다.

Grad-CAM과 Eigen-CAM 두 기법의 정량 분석에서 TP와 FP의 공간 엔트로피 및 BBox 정합도에서 유의미한 차이가 발견되지 않았다(모든 비교 p > 0.05). 이는 모델이 포트홀 특이적 의미론적 특징이 아닌 저수준 시각 특징에 의존하여 판단하고 있음을 보여주며, 다양한 유형의 오탐이 발생하는 근본 원인임을 확인할 수 있었다. 또한 Grad-CAM은 탐지 판단 영역에 집중하고 Eigen-CAM은 전반적 특징 구조를 포착하여, 두 기법이 상호 보완적으로 모델의 판단 과정을 다각도로 해석할 수 있음을 확인하였다.

본 연구의 베이스라인 mAP@0.5(0.498)는 하이퍼파라미터를 최적화하지 않은 기본 설정 결과로 일반적 포트홀 탐지 연구의 최고 성능 모델 대비 낮다. 그러나 본 연구의 목적은 성능 향상이 아니라 오탐･미탐 원인의 체계적 분석이며, 베이스라인 강건성 분석에서 mAP 0.570의 RT-DETR 및 고해상도 추론에서도 동일한 오탐 유형 구조가 유지됨을 확인할 수 있었다. 또한 본 연구는 단일 데이터셋을 대상으로 하며, FP-OTHER(45.9%)의 비율이 높아 분류 체계의 추가 세분화가 후속 과제로 남는다.

이러한 결과를 통해 포트홀 탐지 모델의 실용적 신뢰성 향상을 위한 오탐 샘플 추가 학습, 다중 클래스 학습, 다중 스케일 추론 등의 개선 전략이 필수적임을 확인할 수 있었다.