1. 서 론
교량 바닥판은 차량 하중을 직접 지지하는 대표적인 구조 부재로서 반복적인 교통하중과 염화물 침투, 동결융해와 같은 열화 조건에 지속적으로 노출된다. 이러한 반복 하중 및 열화 조건은 바닥판의 열화 진행을 가속시키며, 다른 교량 부재에 비해 상대적으로 빠른 성능 저하를 유발하는 것으로 보고되고 있다(Gucunski et al., 2017). 최근 교량의 공용연수 증가로 인해 노후 교량의 비율이 확대되고 있으며, 내부 열화에 기인한 교량 손상 및 붕괴 사례 또한 보고되고 있다(CERIK, 2023). 특히 교량 바닥판의 내부 열화는 외부에서 직접 확인하기 어려워 손상이 상당 수준 진행된 이후에야 발견되는 경우가 많으며, 이는 구조 안전성 저하와 유지관리 비용 증가의 주요 원인으로 작용한다.
교량 바닥판의 상태 평가는 일반적으로 외관 조사를 기반으로 수행되고 있으나, 외관 조사만으로는 콘크리트 내부에서 발생하는 층분리, 공극, 사질화와 같은 열화 손상을 신뢰성 있게 탐지하는 데 한계가 있다. 이에 따라 내부 손상 탐지가 가능한 비파괴검사(Non-Destructive Testing, NDT) 기법이 교량 유지관리 분야에서 활용되고 있다(Coleman and Schindler, 2025; Jung et al., 2020). 대표적인 비파괴검사 기법으로는 Ground Penetrating Radar(GPR), Phased Array Ultrasonic Testing(PAUT), Impact-Echo(IE) 등이 있으며, 각 기법은 서로 다른 파동 물리 기반 특성을 이용하여 내부 결함을 탐지한다.
그러나 단일 비파괴검사 기법은 매질의 물리적 특성, 결함의 깊이 및 형상, 신호 감쇠 특성 등에 따라 탐지 민감도가 상이하게 나타난다. Yehia 등(2007)은 단일 비파괴검사 기법만으로 다양한 열화 유형을 안정적으로 평가하는 데 한계가 있음을 보고하였으며, 결함 유형 및 조건에 따라 기법별 탐지 성능 차이가 발생할 수 있음을 제시하였다. 따라서 교량 바닥판 내부 열화를 보다 신뢰성 있게 평가하기 위해서는 서로 다른 물리적 특성을 가지는 다종 비파괴검사 기법의 통합 활용이 요구된다.
한편, 다종 비파괴검사 기법을 적용할 경우 각 기법에서 획득되는 신호 특성은 서로 상이한 형태로 나타나며, 데이터 해석 과정 또한 복잡해지는 특성이 있다. 특히 대규모 데이터셋에서는 인력 기반의 수동 해석에 현실적인 제약이 존재하므로, 데이터 기반 자동 해석 기법의 필요성이 증가하고 있다. 최근에는 머신러닝 및 딥러닝 기반의 해석 기법이 비파괴검사 데이터 분석에 적용되고 있으며, 다종 데이터를 통합적으로 활용하기 위한 멀티모달 융합 접근 또한 활발히 연구되고 있다.
이에 본 연구에서는 GPR, PAUT, IE 데이터를 통합한 AI 기반 멀티모달 융합 모델을 활용하여 교량 바닥판 내부 열화의 깊이 분류를 수행하였다. 데이터 융합 방법론으로는 의사결정 수준(decision-level) 융합을 적용하였으며, hard voting, soft voting, weighted voting 기법을 각각 적용하여 모델의 분류 성능을 평가하였다. 이를 통해 다종 비파괴검사 기반 분류 모델의 예측 결과 통합이 열화 깊이 분류 성능 향상에 미치는 영향을 분석하고자 하였다.
2. 본 론
본 연구에서는 교량 바닥판 내부 열화에 대한 정량적 분류 모델 개발을 위하여 내부 열화를 모사한 콘크리트 시험체를 제작하고 비파괴검사 데이터를 구축하였다. 시험체는 열화 유형 및 깊이에 따른 실제 열화 정보(ground truth)를 명확히 확보할 수 있도록 설계하였으며, 이를 기반으로 GPR, PAUT, IE 기법을 적용하여 다종 비파괴검사 데이터를 획득하였다. 또한 시험체 제작, 데이터 전처리, 열화 깊이 기반 라벨링 및 단일 모달 기반 분류 모델 구성은 기존 연구(Kim et al., 2026)에서 제안된 방법을 기반으로 수행하였다.
획득된 비파괴검사 데이터는 기법별 신호 특성에 적합한 전처리 과정을 적용하여 데이터세트로 구성하였으며, 이후 단일 모달 기반 분류 모델과 멀티모달 융합 기반 분류 모델에 적용하여 교량 바닥판 내부 열화 깊이 분류를 수행하였다. 또한 각 비파괴검사 기법의 예측 결과를 기반으로 의사결정 수준 융합을 적용하였으며, hard voting, soft voting 및 weighted voting 기법을 활용하여 최종 분류 성능을 평가하였다. Fig. 1은 본 연구에서 적용한 데이터 구축 및 멀티모달 융합 기반 열화 깊이 분류 과정의 전체 개요를 나타낸다.
2.1 시험체 제작
본 연구에서는 실제 교량 바닥판의 구조적 특성을 반영하기 위하여 총 3개의 시험체를 제작하였다. 각 시험체는 콘크리트 슬래브와 포장층으로 구성되었으며, 콘크리트 슬래브의 배합은 한국도로공사에서 제시한 고속도로 교량 바닥판 배합 기준을 참고하여 결정하였다(KEC, 2011).
시험체 내부 열화는 층분리(delamination)와 사질화(disintegration)를 대상으로 모사하였다. 층분리는 콘크리트와 상이한 물성 및 음향 임피던스 특성을 가지는 아크릴 판을 매입하여 구현하였으며, 사질화는 잔골재 및 굵은 골재를 활용하여 내부 재료 분리 상태를 모사하였다(Jeong et al., 2024; Wu et al., 2024). 이를 통해 실제 교량 바닥판에서 발생하는 대표적인 내부 열화 조건을 반영하고자 하였다. Fig. 2는 시험체 내부에 배치된 열화 모사 위치와 깊이 조건을 나타낸다. 열화는 시험체 내부의 서로 다른 깊이 조건에 배치하였으며, 이를 통해 열화 깊이에 따른 비파괴검사 신호 특성 변화를 분석할 수 있도록 구성하였다.
시험체 상부에는 콘크리트 포장을 시공하였으며, 포장층 두께는 80mm, 콘크리트 슬래브 두께는 250mm로 제작하였다. 따라서 시험체의 총 두께는 330mm로 구성하였다.
2.2 비파괴검사 기법 적용
본 연구에서는 교량 바닥판 내부 열화 평가를 위하여 GPR, PAUT, IE 기법을 적용하였다. GPR 계측에는 Proceq사의 GP8100 장비를 사용하였으며, PAUT 계측에는 ACS사의 A1040 MIRA 장비, IE 계측에는 Proceq사의 PI8000 장비를 사용하였다. 각 비파괴검사 기법은 시험체 표면을 대상으로 수행하였으며, 내부 열화에 따른 신호 데이터를 획득하였다. 획득된 비파괴검사 데이터는 신호 내 노이즈를 저감하고 데이터 품질을 향상시키기 위하여 기법별 특성을 고려한 전처리 과정을 수행하였다. GPR 데이터에는 배경 제거(background removal)와 Time Gain Control(TGC)을 적용하여 심부 영역에서의 신호 감쇠를 보정하고 반사 신호의 가시성을 향상시켰다(Dinh et al., 2019; Jol, 2008). 전처리된 GPR 데이터는 측정 위치에 따른 신호 변화를 시간-공간(time-space) 도메인에서 표현한 B-scan 형태로 구성하였다. PAUT 데이터에는 20-80kHz 대역의 대역통과 필터(Band-pass filtering)와 표면파 제거 과정을 적용한 후, 내부 결함의 위치 및 형상을 영상화하기 위하여 Total Focusing Method(TFM)를 적용하였다(Holmes et al., 2005). 이를 통해 초음파 신호 데이터를 공간-공간(x-z) 도메인의 B-scan 영상 형태로 재구성하였다. IE 데이터에는 0.5-20kHz 대역의 대역통과 필터를 적용하여 불필요한 주파수 성분을 제거한 후, 시간-주파수 특성을 분석하기 위하여 Short-Time Fourier Transform(STFT)을 적용하였다(Allen and Rabiner, 1977). STFT는 window length 3.5ms와 hop size 0.08ms 조건으로 수행하였으며, 이후 변환된 시간-주파수 응답을 기반으로 스펙트로그램 형태의 데이터를 구성하였다. 최종적으로 GPR 및 PAUT 데이터는 B-scan 영상 형태로, IE 데이터는 스펙트로그램 영상 형태로 구성하여 분류 모델의 입력 데이터로 사용하였다. Fig. 3은 각 비파괴검사 기법별 입력 데이터의 대표 예시를 나타낸다.
2.3 데이터세트 구축
열화 깊이 기반 분류를 수행하기 위하여 Fig. 4와 같이 열화 깊이에 따른 라벨링 기준을 설정하였다. 본 연구에서는 교량 바닥판 내부 열화의 위치 및 깊이를 기준으로 총 4개의 클래스를 정의하였으며, 건전 상태를 Class 0으로 설정하고, 열화 깊이에 따라 Class 1부터 Class 3까지 단계적으로 구분하였다. Class 1은 상부 피복 두께 이내에서 발생한 열화를 의미하며, Class 2는 상부 피복 이후부터 슬래브 두께의 1/2 깊이 이내에 존재하는 열화를 나타낸다. 또한 Class 3은 슬래브 두께의 1/2 깊이를 초과하는 심부 열화를 의미하도록 정의하였다. 이와 같은 깊이 기반 라벨링 기준은 한국도로공사의 ｢고속도로 교량 보수보강 매뉴얼｣과 국토안전관리원의 ｢시설물의 안전 및 유지관리 세부지침｣에서 제시하는 열화 깊이에 따른 보수 및 보강 범위와 안전등급 평가 기준을 참고하여 설정하였다(KALIS, 2024; KEC, 2023). 이를 통해 실제 교량 유지관리 체계와 연계 가능한 열화 분류 기준을 반영하고자 하였다. 상기 기준을 기반으로 구축한 전체 데이터세트는 Table 1과 같이 총 2,045개로 구성하였으며, 이를 훈련용(training), 검증용(validation), 시험용 (test) 데이터세트로 각각 6:2:2 비율로 분할하여 모델 학습 및 성능 평가에 활용하였다.
Table 1.
Dataset distribution by class and modality
| Class | GPR | PAUT | IE |
| Class 0 | 1,057 | 1,057 | 1,057 |
| Class 1 | 344 | 344 | 344 |
| Class 2 | 353 | 353 | 353 |
| Class 3 | 291 | 291 | 291 |
| Total | 2,045 | 2,045 | 2,045 |
2.4 딥러닝 모델 구성
본 연구에서는 교량 바닥판 내부 열화 깊이 분류를 위하여 단일 모달 기반 분류 모델과 의사결정 수준 융합 모델을 구성하였다. 의사결정 수준 융합 모델은 각 단일 모달 분류 모델의 예측 결과를 활용하여 최종 분류를 수행하는 구조로 구성하였다. 각 단일 모달 분류 모델은 GPR, PAUT, IE 데이터를 각각 독립적인 입력으로 활용하였으며, 특징 추출기(backbone)로 ResNet-50 기반 네트워크를 적용하였다(He et al., 2016). ResNet-50은 이미지 기반 분류 문제에서 우수한 성능이 보고된 대표적인 합성곱 신경망 구조이며, GPR B-scan 영상 분류를 대상으로 다양한 딥러닝 모델의 성능을 비교한 선행연구에서도 가장 높은 분류 성능을 나타낸 바 있다(Dikmen, 2022). 따라서 본 연구에서는 네트워크 구조에 따른 영향을 최소화하고 비파괴검사 기법 간 성능 비교 및 의사결정 수준 융합 효과를 분석하기 위하여 모든 단일 모달 분류 모델에 동일한 ResNet-50 기반 네트워크를 적용하였다. 또한 기존 ImageNet-22k 데이터세트로 사전학습된(pretrained) ResNet-50 가중치를 적용하여 전이학습 기반의 분류 모델 학습을 수행하였다. Fig. 5는 본 연구에서 적용한 단일 모달 기반 딥러닝 분류 모델의 전체 구조를 나타낸다. 분류기(classifier) 구조 및 학습 파라미터는 Grid Search 기반 하이퍼파라미터 최적화를 통해 설정하였다. 다양한 하이퍼파라미터 조합에 대한 반복 학습을 수행하였으며, 가장 우수한 분류 성능을 나타내는 모델을 최종 분류 모델로 선정하였다.
의사결정 수준 융합 모델은 상기 과정을 통해 선정된 각 단일 모달별 최적 분류 모델의 예측 결과를 입력으로 활용하여 최종 열화 깊이 분류를 수행하였다. 융합 방법으로는 hard voting, soft voting 및 weighted voting의 세 가지 방식을 적용하였다(Kittler et al., 1998; Zhou, 2012). Fig. 6은 본 연구에서 적용한 의사결정 수준 융합 기반 딥러닝 모델의 개념도를 나타낸다. Hard voting은 각 단일 분류 모델의 최종 예측 클래스를 기반으로 다수결 방식의 분류를 수행하는 방법이다. Soft voting은 각 모델에서 출력된 클래스별 예측 확률의 평균값을 기반으로 최종 클래스를 결정하도록 구성하였다. 또한 Weighted Voting은 각 단일 모달 분류 모델의 전체 분류 정확도(Accuracy)를 기반으로 가중치를 부여하여 최종 예측 결과를 산정하였다. 이때 클래스별 성능을 개별적으로 반영하지 않았으며, 각 모델의 전반적인 분류 성능을 대표하는 Accuracy를 가중치 산정 기준으로 사용하였다. 이에 따라 상대적으로 높은 정확도를 나타내는 모델의 예측 결과가 최종 분류에 더 크게 반영되도록 구성하였다.
3. 결 과
단일 모달 기반 열화 깊이 분류 모델의 성능 평가 결과는 Table 2 및 Fig. 7과 같다. Grid search 기반 하이퍼파라미터 최적화 결과, GPR 기반 모델은 dropout 0.3, batch size 8, learning rate 0.0005 조건에서 가장 우수한 성능을 나타냈으며, IE 기반 모델은 dropout 0.0, batch size 8, learning rate 0.001 조건에서 최적 성능을 보였다. 또한 PAUT 기반 모델은 dropout 0.0, batch size 16, learning rate 0.001 조건에서 가장 우수한 성능을 나타냈다. GPR 기반 분류 모델은 정확도 83.37%, macro precision 0.8177, macro recall 0.8024, macro F1-score 0.8078로 나타나 단일 모달 모델 중 가장 우수한 분류 성능을 보였다. PAUT 기반 분류 모델은 정확도 77.51%, macro precision 0.7511, macro recall 0.6875, macro F1-score 0.7093으로 나타났다. 또한 IE 기반 분류 모델은 정확도 81.91%, macro precision 0.7953, macro recall 0.7824, macro F1-score 0.7872로 나타났다. Fig. 7의 혼동행렬(confusion matrix) 분석 결과, GPR 기반 모델은 대부분의 클래스에서 비교적 안정적인 분류 성능을 나타냈으며, 특히 Class 0 및 Class 3에서 높은 분류 정확도를 보였다. 반면 PAUT 기반 모델은 Class 0에 대해서는 높은 분류 성능을 나타냈으나, Class 3에서 상대적으로 높은 오분류 경향이 확인되었다. 이는 PAUT가 초음파 반사 신호를 기반으로 내부 결함을 평가하는 특성상, 층분리와 같이 명확한 경계면을 갖는 결함에 비해 불균질한 내부 구조를 가지는 사질화 결함의 깊이 및 범위를 구분하는 데 한계가 있기 때문으로 판단된다. 특히 본 연구의 Class 3 데이터에는 사질화 결함 데이터가 다수 포함되어 있어 이러한 특성이 분류 성능에 영향을 미친 것으로 판단된다(Kim et al., 2026). IE 기반 모델은 전반적으로 균형적인 분류 성능을 보였으나, 일부 Class 0 데이터를 Class 2 및 Class 3으로 오분류하는 경향이 나타났다. Table 3의 클래스별 성능지표 분석 결과, GPR 기반 모델은 Class 3에서 F1-score 0.8148로 가장 높은 성능을 나타냈으며, PAUT 기반 모델은 동일 클래스에서 F1-score 0.5957로 상대적으로 낮은 성능을 보였다. 또한 IE 기반 모델은 모든 클래스에서 비교적 균형적인 F1-score 분포를 나타냈다. 전반적으로 단일 모달 기반 분류 모델의 성능은 비파괴검사 기법별 신호 특성 및 내부 열화에 대한 민감도 차이에 따라 상이하게 나타나는 것으로 확인되었다.
Table 2.
Single-modal classification performance
| Method | Accuracy (%) | Macro Precision |
Macro Recall | Macro F1-score |
| GPR | 83.37 | 0.8177 | 0.8024 | 0.8078 |
| PAUT | 77.51 | 0.7511 | 0.6875 | 0.7093 |
| IE | 81.91 | 0.7953 | 0.7824 | 0.7872 |
Table 3.
Class-wise classification performance of single-modal models
Table 4는 의사결정 수준 융합 모델의 전체 분류 성능지표를 비교한 결과이며, Table 5는 클래스별 분류 성능을 나타낸다. 또한 Fig. 8은 각 융합 방식에 대한 혼동행렬 결과를 나타낸다.
Table 4.
Decision-level classification performance
| Method | Accuracy (%) | Macro Precision |
Macro Recall | Macro F1-score |
| Hard voting | 88.26 | 0.9300 | 0.8290 | 0.8693 |
| Soft voting | 90.46 | 0.9346 | 0.8594 | 0.8907 |
| Weighted voting | 90.22 | 0.9251 | 0.8567 | 0.8855 |
Table 5.
Class-wise performance of decision-level fusion models
의사결정 수준 융합 기반 열화 깊이 분류 모델의 성능 평가 결과, hard voting 방식은 정확도 88.26%, macro precision 0.9300, macro recall 0.8290, macro F1-score 0.8693으로 나타났다. Soft voting 방식은 정확도 90.46%, macro precision 0.9346, macro recall 0.8594, macro F1-score 0.8907로 나타나 가장 우수한 분류 성능을 보였다. 또한 weighted voting 방식은 정확도 90.22%, macro precision 0.9251, macro recall 0.8567, macro F1-score 0.8855로 나타나 soft voting과 유사한 수준의 분류 성능을 나타냈다.
Fig. 8의 혼동행렬 분석 결과, soft voting 및 weighted voting 방식은 hard voting 방식 대비 전반적인 오분류 감소 경향을 나타냈다. 특히 Class 1 및 Class 2에서 비교적 높은 분류 정확도를 유지하였으며, 일부 심부 열화(Class 3)에 대한 분류 성능 또한 향상되는 경향이 확인되었다. 반면 hard voting 방식은 Class 2 및 Class 3 데이터를 건전부(Class 0)로 오분류하는 사례가 상대적으로 다소 높게 나타났다. Table 5의 클래스별 분류 성능 분석 결과, soft voting 방식은 대부분의 클래스에서 높은 recall 및 F1-score를 나타냈으며, 특히 Class 2과 Class 3에서 가장 우수한 분류 성능을 보였다. weighted voting 방식 또한 전반적으로 안정적인 분류 성능을 나타냈으나, 일부 클래스에서는 soft voting 방식 대비 다소 낮은 recall 값을 보였다. 전반적으로 멀티모달 융합 기반 분류 모델은 단일 모달 기반 분류 모델 대비 높은 분류 성능을 나타냈다. 특히 macro recall의 경우, 단일 모달 모델 중 가장 낮은 성능을 보인 PAUT 기반 모델의 macro recall 0.6875 대비 약 0.14~0.17 향상된 결과를 나타내어, 의사결정 수준 융합 적용 시 분류 안정성이 향상되는 경향을 확인할 수 있었다.
의사결정 수준 융합 방식 중에서는 soft voting 방식이 가장 우수한 분류 성능을 나타냈으며, weighted voting 방식 또한 유사한 수준의 성능을 보였다. 반면 hard voting 방식은 상대적으로 낮은 분류 성능을 나타냈다. 이는 단일 모달 모델의 최종 예측 클래스만을 활용하는 hard voting 방식보다, 클래스별 예측 확률 정보를 활용하는 soft voting 및 weighted voting 방식이 보다 안정적인 분류 결과를 도출할 수 있기 때문으로 판단된다.
4. 결 론
본 연구에서는 GPR, PAUT, IE 비파괴검사 데이터를 활용한 단일 모달 기반 열화 깊이 분류 모델을 구축하고, 각 모델의 예측 클래스 및 예측 확률을 기반으로 의사결정 수준 융합을 적용하여 최종 열화 깊이 분류를 수행하였다. 분석 결과, 의사결정 수준 융합 기반 분류 모델은 단일 모달 기반 분류 모델 대비 향상된 분류 성능을 나타냈으며, 특히 soft voting 방식이 가장 우수한 성능을 보였다. 본 연구를 통해 다음과 같은 결론을 도출하였다.
첫째, 단일 모달 기반 분류 모델만을 활용하는 경우보다, 각 단일 모달 분류 모델의 예측 결과를 통합한 의사결정 수준 융합 모델을 적용할 경우 더욱 우수한 열화 깊이 분류 성능을 확보할 수 있음을 확인하였다. 이는 서로 다른 비파괴검사 기법 기반 분류 모델의 예측 결과를 통합할 경우 분류 안정성을 향상시킬 수 있음을 의미한다.
둘째, 의사결정 수준 융합 방식인 hard voting, soft voting 및 weighted voting 방식을 비교한 결과, 클래스별 예측 확률값을 직접 활용하는 soft voting 방식이 가장 높은 분류 성능을 나타냈다. weighted voting 방식 또한 유사한 수준의 성능을 나타냈으나, 단일 모달 모델 간 성능 차이가 크지 않은 경우에는 가중치 적용에 따른 성능 향상 효과가 제한적으로 나타났다. 반면 단순 예측 클래스 결과를 기반으로 하는 hard voting 방식은 상대적으로 낮은 분류 성능을 보였다.
셋째, 열화 깊이별 분류 성능을 분석한 결과, 단일 모달 기반 분류 모델에서 상대적으로 낮은 성능을 보였던 클래스에서 융합 모델 적용 시 성능 향상 효과가 크게 나타났다. 특히 심부 열화(Class 3)의 경우 단일 모달 기반 분류 모델에서는 오분류가 다수 발생하였으나, 멀티모달 융합 모델 적용 이후 이러한 오분류가 감소하는 경향을 확인하였다. 이를 통해 다종 비파괴검사 데이터의 통합이 심부 열화와 같은 탐지 난이도가 높은 손상 조건에서 효과적으로 활용될 수 있음을 확인하였다.
따라서 비파괴검사 데이터를 활용한 교량 바닥판 내부 열화 깊이 분류에서는 단일 모달 기반 접근보다 데이터 융합 기법을 적용한 멀티모달 기반 접근이 보다 효과적인 분류 성능을 제공할 수 있음을 확인하였다.
한편, IE 데이터의 시간-주파수 특성 표현을 위하여 STFT 기반 스펙트로그램을 활용하였으나, 향후 연구에서는 동기압착변환(Synchrosqueezing Transform, SST)과 같은 고해상도 시간-주파수 분석 기법의 적용 가능성을 검토할 필요가 있다. 이러한 기법은 주파수 에너지 집중도를 향상시키고 클래스 간 특징 차이를 보다 명확하게 표현할 수 있어, 열화 깊이에 따른 미세한 주파수 특성 변화를 효과적으로 반영함으로써 분류 성능 향상에 기여할 것으로 기대된다. 아울러, 본 연구는 통제된 시험체 환경에서 구축한 데이터를 기반으로 수행되었으므로, 실제 공용 중인 교량에서 발생할 수 있는 계측 환경 변화, 재료 이질성 및 외부 노이즈의 영향을 충분히 반영하는 데에는 한계가 있다. 향후 연구에서는 실제 교량 현장에서 획득한 비파괴검사 데이터를 활용하여 제안 모델의 현장 적용성을 검증하고, 도메인 적응(domain adaptation) 및 일반화 성능 향상 기법을 적용하여 다양한 현장 조건과 이상치(anomaly)에 대한 모델의 강건성(robustness)을 확보할 필요가 있다.
