1. 서 론
2. 딥러닝 모델 기반 3차원 천연골재 이미지 분할
2.1 Unet 모델
2.2 학습 데이터 생성
2.3 분할 이미지 3차원 적층
2.4 형태학적 분할법
3. Unet-VGG16 모델 학습 결과
4. 결 론
1. 서 론
순환골재는 폐콘크리트를 골재로 사용하기 위해 분쇄한 건설자재이다(Bai et al., 2020; Xiao et al., 2005). 순환골재와 같은 콘크리트의 구조적인 성능은 골재와 시멘트풀 간 계면(interfacial trans-ition zone, ITZ)의 특성에 크게 영향을 받는다(Chung et al., 2021; Kim et al., 2019a). 따라서 콘크리트의 거동을 이해하고 재료의 물성을 정량화하기 위해서는 콘크리트의 미세구조를 확인하여 골재의 분포 및 ITZ 특성을 분석할 필요가 있다. 콘크리트의 미세구조 분석 기법 중 마이크로-CT (micro computed tomography) 이미지 분석(Han et al., 2023; Kim et al., 2019b)은 재료를 손상시키지 않고 미세구조를 확인할 수 있어 보편적으로 활용 가능한 분석 기법이다. 특히 마이크로-CT는 미세구조의 3차원 이미지를 확인할 수 있어, 콘크리트와 같은 이방성 재료의 공간적 분포를 조사하는데 효과적이다(Kim et al., 2020; 2022).
마이크로-CT 이미지는 회색조(grayscale)값으로 나타난다. 회색조 값은 일반적으로 특정 상(phase)의 밀도에 비례(Bai et al.., 2003)하기 때문에 이미지의 회색조 값을 구별하여 서로 다른 상을 구분할 수 있으며, 이러한 이미지 분할 방법을 임계값 결정법(Sharma, 2014)이라 한다. 각 상을 특정할 수 있는 회색조 임계값을 설정하고 이를 기준으로 이미지에서 서로 다른 상의 영역을 구분할 수 있다. 임계값 결정법은 가장 간단한 이미지 분할 방법이며 밀도차이가 확연한 상을 구분하기에는 매우 효과적이지만, 시멘트풀과 골재는 밀도가 비슷하여 유사한 회색조 분포를 가지기 때문에(Werner and Lange, 1999) 임계값을 사용하여 구분하기 매우 어렵다. 그 외에도 경계 감지(Marr and Hildreth, 1980) 및 이미지 질감 분석 방법(Meyer, 2001)이 이미지 분할에 주로 사용되고 있지만, 시멘트풀과 골재의 분할 과정에서 몇 가지 단점을 가진다. 경계 감지 방법은 추출된 경계 픽셀이 종종 불연속적으로 나타나 골재의 입자를 정확하게 탐지하지 못하기 때문에 특정 구간에서 수동적인 개입을 필요(Cha et al., 2017; Liu and Yeoh, 2021)로 한다. 이미지 질감 분석 방법은 인접한 픽셀간의 회색조 값 변화율을 바탕으로 골재를 분할하기 때문에 노이즈에 취약하다. 또한 골재를 분할하는 과정에서 실제 골재보다 작은 크기로 영역이 구분되므로 영역의 크기를 조절하는 과정에서 수동적인 개입을 필요로 한다.
딥러닝 기술이 발달함에 따라 딥러닝 기반 의미론적 분할(semantic segmentation)이 널리 사용되고 있다. 딥러닝 기반 의미론적 분할은 이미지의 각 픽셀의 객체를 분류하기 때문에 수동적인 개입을 최소로 한다(He et al., 2016; Huang et al., 2017; Simonyan and Zisserman, 2014). 최근 골재 분할 연구에서도 딥러닝을 활용한 논문이 많이 발표되고 있다. 다양한 딥러닝 기반 분할 모델을 사용하여 콘크리트 현미경 이미지에서 골재 분할 성능을 비교하는 연구(Hu et al., 2022; Ullah et al., 2024)와 콘크리트 주사전자현미경(scanning electron microscope, SEM) 이미지에서 Unet을 활용해 골재를 분할하는 연구(Bangaru et al., 2022)가 수행되었다. 선행연구 고찰을 통해 확인한 골재 분할 연구는 2차원 콘크리트 이미지에서 골재의 분할 정확도를 높이는 데에 편중되어 있다. 본 연구에서는 폐콘크리트인 순환골재 내부에 존재하는 천연골재를 딥러닝을 활용하여 분할하고, 이를 적층하여 3차원 천연골재 이미지를 얻는 방법을 제안하였다. 분할된 2차원 골재 이미지를 적층하여 연속적인 3차원 이미지를 얻기 위해 x, y, z 축 방향으로 분할한 결과를 취합하였다. 천연골재 영역 분할에는 TensorFlow(Abadi et al., 2015)를 기반으로한 Unet-VGG16 (Ronneberger et al., 2015) 모델이 사용되었으며, 학습된 모델의 성능은 정확도(accuracy; Chen et al., 2021), 정밀도(precision; Yasnoff et al., 1977), 재현율(recall; Goutte and Gaussier, 2005) 및 정밀도와 재현율의 조화평균인 F1 score(Chicco and Jurman, 2020)를 활용하여 검증하였다.
2. 딥러닝 모델 기반 3차원 천연골재 이미지 분할
2.1 Unet 모델
Unet 모델은 FCN(fully convolutional neural network; Long et al., 2015) 구조를 기반으로 이미지 영역 분할의 성능을 향상시키기 위해 제안된 모델이다. FCN 구조는 down-sampling 과정을 거치는 인코더와 up-sampling 과정을 거치는 디코더로 구성된다. 인코더는 convolution layer를 기반으로 입력이미지로부터 특징 맵(feature map)을 추출하는 down- sampling 역할을 수행하게 된다. 디코더는 transposed convolution layer를 바탕으로 인코더와 정반대의 일을 수행하여, 추출된 특징 맵을 up-sampling을 통해 결과 이미지로 변환시키는 일을 한다. 이러한 인코더와 디코더가 U자 형태로 대칭구조를 형성하는 모델을 Unet이라 한다. 본 연구에서는 VGG(Visual Geometry Group)에서 개발한 VGG16 모델을 기반으로 제작된 Unet-VGG16 모델을 사용하였다(Fig. 1). Unet-VGG16 모델의 학습은 입력이미지로 순환골재의 마이크로-CT 이미지를 넣었을 때 출력 결과로 골재의 영역이 분할된 분할 라벨(segmentation label)이 나오도록 진행하였다.
Fig. 1.
Block diagram of Unet-VGG16 architecture (*Note: Terminologies are consistent with those from TensorFlow (Abadi et al., 2015))
2.2 학습 데이터 생성
2.2.1 순환골재 마이크로-CT 촬영
본 연구에서는 국내에서 생산되는 순환골재를 사용하였다. 순환골재는 세척 후 마이크로-CT로 촬영하여 미세구조 이미지를 확인하였다. 마이크로-CT 촬영은 포항가속기연구소(Pohang Accelerator Laboratory, PAL)에서 0.65µm3 복셀(voxel) 크기의 해상도로 수행되었다. 순환골재를 분쇄 및 절단하여 크기가 약 1mm인 시편들을 가공 후 하나씩 반복하여 촬영하였다(Fig. 2).
2.2.2 순환골재 내 천연골재 영역 분할
딥러닝 모델 학습을 위한 데이터 생산을 위해 서로 다른 80개의 고해상도 순환골재 마이크로-CT 이미지가 사용되었다(예: Fig. 3a). 각 마이크로-CT 이미지는 2560 × 2560픽셀로 이루어 졌다. 마이크로-CT 이미지로부터 천연골재와 시멘트풀의 경계면을 정확히 분할하기 위해 MATLAB(The MathWorks Inc., 2023)을 사용하여 수작업으로 천연골재 영역을 분할하였다(예: Fig. 5b). 80개의 마이크로-CT 이미지와 분할 라벨은 회전, 반전, 자르기와 같은 데이터 증강(data augmentation)을 통해 1280개의 데이터로 변환되었다(예: Fig. 4). 학습에는 1280 × 1280픽셀 이미지가 사용되었다. 1280개의 학습 데이터 중 1120개는 훈련 데이터(training data)로 사용했으며, 160개를 검증 데이터(validation data)로 사용했다.
2.3 분할 이미지 3차원 적층
딥러닝 모델을 통해 분할된 3차원 천연골재 이미지를 얻기 위해서는 2차원 단면 이미지에 대해 영역분할을 수행한 뒤 3차원으로 적층해야 한다. 하지만, 2차원 단면 이미지가 천연골재 입자의 가장자리를 관통하는 경우 천연 잔골재의 형상이 너무 작게 나타날 수 있다(Fig. 5). 이 경우 천연골재임에도 이미지에서 형상이 너무 작기 때문에 딥러닝 모델이 시멘트풀로 인식할 수 있다. 천연골재의 가장자리를 시멘트풀로 잘못 분할한 단면 이미지들을 3차원으로 적층할 경우, 천연골재의 가장자리 부분이 절단된 형태로 나타나게 된다. 또한, 딥러닝 모델에는 마이크로-CT 단면 이미지의 면외 방향으로 연속적인 정보를 제공하지 않기 때문에 분할 결과를 3차원으로 적층하는 과정에서 천연골재의 형상이 불연속적으로 나타날 수 있다.
이러한 문제를 해결하기 위해 본 연구에서는 다음과 같은 절차(Fig. 6)로 3차원 골재 이미지를 생성하였다; 1) 3차원 CT 이미지를 서로 다른 세 축 방향(X, Y, Z 축)에 대해 단면이미지 생성하고(Fig. 7), 2) 각 축 방향 단면 이미지에 대해 딥러닝 모델을 사용하여 천연 잔골재 영역 분할한다. 3) 2차원 천연골재 분할 결과를 3차원으로 중첩하며, 4) 중첩한 분할 결과에서 2개 이상의 축에서 천연골재로 분할된 복셀만을 천연골재로 선택한다. 5) 분할된 삼차원 천연골재 이미지에서 너무 적은 군집의 천연잔골재 복셀을 제거하고, 천연잔골재 복셀 내부 빈 공간을 채워(hole filling) 연속적인 골재 형상을 확인한다.
2.4 형태학적 분할법
본 논문에서는 딥러닝 모델의 분할성능을 분석하기 위해 형태학적 분할법(morphological segmentation; Yang and Buenfeld, 2001)으로 골재를 분할한 결과와 Unet으로 골재를 분할한 결과를 비교하였다. 형태학적 분할법은 이미지의 경계, 질감 등의 형태학적 특성을 활용하여 영역을 분할하는 방법을 말한다. 이 장에서는 형태학적 분할법으로 골재를 분할하는 과정을 소개하고자 한다.
콘크리트에 존재하는 공극들은 고체 상(시멘트풀, 천연골재)과 밀도 차이가 크기 때문에 마이크로-CT 이미지에서 다른 회색조 값을 가진다. 하지만 시멘트풀과 천연골재의 회색조 분포는 유사하기 때문에 회색조 값으로 골재의 입자를 분할하기 어렵다(Fig. 8). 따라서 천연골재의 영역 분할은 이미지의 형태학적 특성에 기반을 두어야 한다. Fig. 8에서 볼 수 있듯이 천연골재의 입자와 시멘트풀 매트릭스의 질감은 상당히 다르게 나타난다. 골재 입자에서는 인접한 픽셀 간 회색조 값의 변화가 완만하게 나타나지만, 시멘트풀 매트릭스에서는 급격하고 빈번하게 나타난다. 이러한 콘크리트 마이크로-CT 이미지의 형태학적 특성을 활용하면 천연골재의 영역을 분할할 수 있다.
Fig. 9에 천연골재의 형태학적 분할법 흐름도를 나타내었다. 형태학적 분할 절차는 다음과 같다; 1) 회색조 이미지를 픽셀들 간의 회색조 변화율 이미지(gradient image)로 변환한다. 이 과정에서 천연골재 입자의 가장자리를 감지할 수 있다. 2) 회색조 변화율 이미지에 대해 임계값을 설정하여 이진화 시킨다(binary image). 3) 이진화된 이미지를 축소(erosion) 후 팽창(dilate) 시킨다. 이 과정을 통해 이진화된 이미지에서 연결되어 있던 천연골재와 시멘트풀 영역이 분할된다. 4) 그 후 축소(erosion)를 한 번 더 진행하여 상대적으로 크기가 작은 시멘트풀 영역을 제거한다. 5) 이진화 이미지의 빈 공간을 채워서(hole filling) 천연골재 내부에 존재하는 빈 공간을 없앤다.
형태학적 분할 방법에서 주요한 사항은 이진화된 이미지에서 시멘트풀의 잔여 픽셀을 제거하고 천연골재만 남기는 것이다. 해당 과정에서 이미지의 팽창과 축소가 반복적으로 수행되어야 한다. 또한 콘크리트 이미지마다 필요로 하는 팽창과 축소의 정도가 다르기 때문에 골재의 부피비를 고려하여 값이 조정되어야 한다.
3. Unet-VGG16 모델 학습 결과
순환골재에서 분할된 천연골재의 3차원 이미지를 얻는 각 과정의 결과를 Fig. 10에 나타내었다. Fig. 10a는 한 축 방향에 대해서 천연골재를 분할한 결과이며, Fig. 10c는 세 축 방향에 대해서 천연골재를 분할한 결과를 중첩하여 나타낸 이미지다. Fig. 10c에서 픽셀이 밝게 나타날수록 많은 축 방향에서 천연골재로 분할되었음을 의미한다. Fig. 10d는 2개 이상의 축에서 천연골재로 분할된 영역만을 남긴 뒤, 후처리를 진행한 결과이다.
Fig. 10a에 나타난 것과 같이 한 축 방향에 대해서 분할된 결과에는 시멘트풀 영역 중 천연골재로 분할된 픽셀을 확인할 수 있다. 하지만, Fig. 10c를 보면 Fig. 10a에서 골재로 분할된 시멘트풀 영역들이 어둡게 나타나기 때문에 최종적으로 Fig. 10d에서 시멘트풀로 분할되는 것을 볼 수 있다. 분할된 천연골재의 3차원 이미지를 Fig. 11에 나타내었다. 천연골재의 형상이 연속적인 형태로 나타나는 것을 확인할 수 있다.
Unet-VGG16 모델과 형태학적 분할법을 사용해 분할한 천연골재 미세구조의 2D 단면의 예를 Fig. 12에 나타내었다. Fig. 11d를 보면, 형태학적 분할법을 사용해 분할한 천연골재 이미지의 경우 일부 천연골재가 정상적으로 분할되지 않았으며 시멘트풀 영역에서도 일부 복셀이 천연골재로 분할된 것을 볼 수 있다. Unet-VGG16 모델과 형태학적 분할법의 천연골재 분할 성능을 평가하여 Table 1에 나타내었다.
Table 1.
Evaluation of segmentation performance
| Method | Score | |||
| Accuracy | Precision | Recall | F1 score | |
| Unet-VGG16 | 0.89 | 0.81 | 0.90 | 0.86 |
| morphology | 0.52 | 0.54 | 0.58 | 0.56 |
성능 평가 지표로는 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 score를 사용하였다. 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 score는 실제 클래스(본 논문의 경우 시멘트풀과 천연골재)와 예측된 클래스의 매치(Table 2)를 이용하여 성능을 평가하는 지표들이다. 성능평가 지표들은 다음과 같이 표현된다.
각 성능 지표들은 0에서 1사이 값을 지니며, 모델의 분할 성능이 우수할수록 높은 값을 나타낸다. Unet-VGG16 모델을 사용한 분할결과가 형태학적 분할법에 비해 전체적으로 높은 성능지표를 나타내고 있는 것을 확인하였다.
4. 결 론
본 연구에서는 Unet-VGG16 모델을 활용하여 순환골재에서 천연골재를 자동으로 분할하여 3차원 천연골재 이미지를 확인하였다. 학습에 필요한 데이터를 생성하기 위하여 복셀 크기가 0.65µm3인 마이크로-CT 이미지를 얻었으며 수작업으로 학습에 사용할 천연골재 영역 이미지를 생산하였다. 3차원으로 적층 시 연속적인 천연골재 형상을 얻기 위해서 X, Y, Z 세 축방향으로 분할 작업을 수행한 뒤 이를 3차원으로 다시 취합하였다. 취합된 결과에서 두 개 이상의 축 방향에서 천연골재로 분할된 복셀만을 남김으로써, 제안한 방법이 분할된 2차원 이미지를 적층하는 과정에서 골재의 형상이 불연속적으로 나타날 수 있는 문제를 해결할 수 있음을 확인하였다.
Unet-VGG16 모델의 천연골재 분할성능을 분석하기 위해 형태학적 분할법과 동일한 순환골재 이미지에 대해 분할을 실시하여 결과를 비교하였다. 성능의 평가는 정확도, 정밀도, 재현율, F1 score를 사용하여 수행하였다. 그 결과, 이미지 영역 분할에 널리 사용되는 방법인 형태학적 방법보다 높은 성능지표 결과를 확인할 수 있었다.
본 연구는 회색조 이미지에서 분할이 어려운 골재와 시멘트풀을 분할하고, 3차원 골재 이미지를 얻는 것을 목표로 하였다. Unet-VGG16모델을 활용한 골재 영역 분할의 성능이 90% 이하로 나타났지만, 이는 후속 연구를 통해 Unet-VGG16모델보다 발전된 분할 모델들을 적용함으로써 개선할 수 있을 것으로 판단된다. 3차원 이미지의 상 분리는 재료의 미세구조 분석뿐만 아니라 가상시편 제작을 통한 재료의 거동 분석에도 활용할 수 있다. 본 연구결과가 후속 연구에서 회색조 이미지 상에서 분할이 어려운 골재의 효율적이고 신뢰성 있는 3차원 상 분할 도구로 활용되어, 콘크리트 재료의 가상 시뮬레이션 연구에 유용하게 활용될 것으로 기대된다.
