1. 서 론

건축 및 토목 구조물은 국민 삶과 산업생산에 기반이 되는 시설물로서 사고발생 시 대규모 인명피해가 발생할 수 있으며, 기능중단으로 인해 경제활동에 큰 영향을 미칠 수 있다. 피해 예방을 위해 정부는 제도적으로 주요 시설물에 대한 정기적인 안전점검 및 진단을 수행하여 이상징후를 사전에 발견･조치하도록 하고 있으며, 구조물 건전도 모니터링(SHM : Structural Health Monitering) 기술 등 안전관리를 위한 기술이 개발･보급되고 있다.

SHM 시스템은 구조물 거동에 대한 센싱데이터를 분석하여 안전상태를 평가하는 기술로서 시설물 응답측정을 위한 센싱기술과 함께 이상징후를 자율진단하는 기술이 중요하다. 현재 실무적으로는 개별 센싱데이터에 대한 관리한계를 설정하여, 초과시 경고하는 기술이 주로 사용된다. 관리한계치 설정으로 센싱항목별 이상유무를 즉시 파악할 수 있는 장점이 있으나, SHM 시스템이 전역적 거동(Globar Behavior)에 대한 안전상태를 자율적으로 판단하기 어렵다.

구조물의 전역적 거동 평가와 관련하여 초고층 및 대공간 건물의 풍진동 계측 데이터와 설계 시점의 구조동특성 및 풍동실험결과를 비교하는 연구가 수행되었다(Kim et al., 2009; Kim et al., 2011). 전역적 거동의 평가를 통해 설계시 의도한 구조물 거동과 계측 결과를 비교하여 구조적 안전성을 검토할 수 있으나, 이상징후 발견시 손상상태에 대한 진단이 별도로 필요하다.

구조물 손상위치 및 손상레벨을 분석하기 위해 FE model updating 기법이 개발되었으며, 이를 이용한 철근콘크리트 구조물의 손상탐지가 연구가 수행되었다(Yu and Chung, 2012; Yu et al., 2009). FE model updating 기법은 FRF(Frequency Response Function) 등 구조해석 및 계측을 통해 추출한 구조특성 데이터가 일치하도록 해석모델을 수정함으로써 손상부위와 손상정도를 추정하는 방법이다. 그러나 FE model updating을 위해서는 SHM 시스템 내에 해석모듈과 최적화 알고리즘이 탑재되어야 하며, 계산 과정에 많은 시간과 리소스가 요구된다.

이러한 문제점을 개선하기 위해 인공신경망(Artificial Neural Network)을 활용한 구조물 손상탐지에 대한 연구가 시도되었다(Kim, 2012). 구조해석 시뮬레이션으로 구조물의 손상위치 및 손상정도에 따른 구조물의 응답 및 동특성 데이터를 생성하고, 이를 인공지능 학습데이터로 구축한다. 이를 이용하여 인공신경망을 학습하고, 학습된 인공신경망에 실제 구조물에서 계측된 데이터를 입력하여 손상위치 및 손상정도를 판별할 수 있다. 인공신경망에 의한 구조물 손상탐지는 학습된 인공지능을 이용함으로써 해석모델 및 최적화 알고리즘에 기반한 기존 FE model updating 손상탐지에 비해 신속한 평가가 가능하다. 그러나 인공신경망 학습에서는 입력 및 출력데이터 간의 상관관계를 반영하지 못하므로 3차원 공간상에 존재하는 구조물 절점간 응답의 상관성을 고려하지 못하여 예측의 정확성을 높이기 어려운 단점이 있다.

따라서, 본 연구에서는 이미지 인식 딥러닝 기법을 활용하여, 공간상에 분포하는 구조물 절점간의 응답 상관성을 고려할 수 있는 구조물 변위형상 추정용 인공지능 학습법을 개발하였다. 그리고 구조실험을 통해 개발기술에 대한 성능평가를 실시하였다.

2. 구조물 변위형상 및 변위값 추정 인공지능

2.1 Image-to-Image 변위형상 학습기법

이미지 인식, 분류, 생성 등을 인공지능으로 처리하기 위해 CNN(Convolution Neural Network) 기반의 인공지능 학습기법이 개발되었다. 그리고 시각데이터를 기반으로 한 CNN 기법들이 활발히 연구되고 있다. 그중에서 손글씨 문서의 인식을 위한 Gradient-based LeNet 네트워크가 개발되었으며, 다양한 숫자 이미지 손글씨 분류에 대한 테스트가 이루어졌다(LeCun et al., 1998). 노이즈 등에 의해 손글씨가 불완전한 상태임에도 정확한 분류가 이루어질 수 있는 것으로 나타났다.

U-net은 CNN 기반의 이미지내의 각 객체를 인식하고 분류할 수 있는 Semantic Segmentation에 효과적인 학습기법이다(Ronneberger et al., 2015). Regression 결과를 출력할 수 있도록 U-net을 수정함으로써 Image-to-Image Regression(I2IR)이 가능한 인공지능을 작성할 수 있다.

I2IR 인공지능에 저해상도 및 고해상도 숫자 이미지를 학습시킨 뒤, 흐릿한 숫자이미지를 학습된 인공지능에 입력하여 고해상도의 숫자이미지를 생성할 수 있다. 본 연구에서는 Fig. 1과 같이 U-net 기반의 I2IR 학습법을 응용하여 구조물의 부분적인 변위형상 이미지로 전체 구조물의 변위형상을 추정할 수 있는 인공지능 학습기법을 고안하였다.

Fig. 1.

Displacement estimating framework of a structure using an image-recognition AI network

먼저 외력, 지지조건 등을 변경하면서 대상 구조물에 대한 다수의 구조해석을 실시하고, 전체 절점에 대한 변위 데이터 set을 작성한다. 작성된 절점별 변위데이터 set과 절점 좌표를 이용하여 부분 절점변위 이미지와 전체 절점 이미지를 생성하고, 학습데이터의 Input과 Output을 작성한다. 절점변위 이미지는 변위가 발생하는 평면에 대해 2D로 작성되며, 데이터 set k에 대한 X-Z 평면의 경우 절점 i 변위좌표 xizik는 식 (1) 및 Fig. 2와 같다.

여기서, xoi,zoi는 절점 i의 초기 좌표, δxi,δzi는 절점 i의 변위값이며, 대상평면은 변위 발생의 방향에 따라 Y-Z 평면, X-Y 평면 및 임의의 평면으로 확장이 가능하다.

Fig. 2.

Training images for Image-to-Image AI network

생성된 이미지 Set으로 U-net 기반의 인공지능 네트워크에 대한 학습을 수행한다. 센서 등으로 계측된 실제 건물의 부분 절점 변위를 이용하여 Input 이미지를 생성하고 학습된 인공지능 네트워크에 입력하면 전체 구조물의 형상이 추정된다. 그리고 실제 변위값은 Reference Length의 Pixel거리를 기준으로 산정한다.

2.2 위치특징 결합 변위상관 학습기법

구조물은 3차원 공간상에 위치하며, 외력 등 하중조건과 구조형식에 따라 절점 간 변위발생의 상관도가 발생한다. Fig. 3의 구조물에 X 방향 하중에 의한 변위가 발생할 경우 하중이 직접 작용하는 동일한 X-Z 평면내의 프레임 절점은 강한 변위 상관성을 나타내게 되며, Y축 방향으로 연결된 각 프레임 간의 절점은 변위 상관성이 낮아진다.

Fig. 3.

Correlation of nodal displacements in a structure according to external loading conditions

이미지 인식 인공지능에서 사용되는 합성곱 계층은 Filter 행렬을 이용하여 픽셀값에 대한 합성곱을 수행함으로써 인접 픽셀간의 상관성을 인공지능 학습에 반영하도록 한다. 따라서, 3차원 공간상에 분포한 구조물 절점의 변위값을 상관도가 반영된 2차원 행렬로 변환한 뒤 인공지능 네트워크의 합성곱 계층에 입력함으로써 인접 절점간 변위의 상관성을 고려하여 효과적인 인공지능 학습을 유도할 수 있다.

먼저, 구조해석 시뮬레이션을 통해 변위 데이터 set을 작성한다. 그리고 Fig. 4와 같이 X-Z 평면을 대상으로 변위의 상관성이 높은 프레임 절점군을 구분한 뒤 식 (2)와 같이 fi 프레임 절점의 변위를 2차원 행렬로 작성한다.

여기서, Dxfik 는 변위 set k 중에서 프레임 fi에 대한 X방향 변위 행렬이며, δx(i,j)는 X-Z 평면상에서 변위 set k 중에서 프레임 fi에 대한 X방향 i와 Z방향 j절점의 변위값이다. 이 때 프레임 내에서 고려하지 않은 절점이 있거나, 절점 자체가 없는 경우에는 매칭되는 행렬값에 0을 할당한다.

Fig. 4.

Displacement and coordinate definition of a structure for constructing AI training data

식 (2)의 변위 행렬을 이용하여 각 프레임 변위행렬이 연결된 변위 행렬 Layer를 식 (3)과 같이 작성한다. 이때, 서로 이격된 프레임간의 약한 변위 상관성을 반영하기 위해 각 프레임 변위 행렬간에 {0}행렬을 삽입한다. {0}행렬의 행의 개수는 Z방향 절점수와 동일하게 설정한다. 열 개수는 합성곱 filter의 크기를 기준으로 강한 상관성을 고려할 경우 filter 크기보다 작게 설정하고, 약한 상관성을 고려할 경우에는 filter 크기보다 크게 설정한다.

여기서, k=1~n 변위 set, fi=1~m 프레임을 나타낸다. {0}행렬의 크기를 조절하여 filter의 크기보다 적게 할 경우 합성곱을 통해 프레임간 변위의 강한 상관성이 고려되며, 크게 할 경우에는 프레임간 변위값에 대한 합성곱이 이루어지지 않아 약한 상관성이 고려되거나 상관성이 고려되지 않게 된다.

변위값의 상관성과 함께 절점 간의 상대적인 거리를 인공지능학습에 반영하기 위하여 절점의 위치좌표를 이용한 위치특징 행렬 Layer를 식 (4) 및 식 (5)와 같이 작성한다.

여기서, Cx 및 Cz는 고려하는 대상의 절점좌표이며, xi 및 zj는 각각 X방향과 Y방향의 좌표값이다. 이때, 한 프레임 상에서 변위값 추정을 고려하지 않는 절점이나, 절점이 없는 경우에는 매칭되는 행렬값에는 0을 대입한다.

식 (3)의 변위 Layer와 식 (4) 및 식 (5)의 위치특징 Layer를 결합하여 다차원의 학습데이터 행렬을 작성한다. X-Z 평면에 대한 학습데이터 Layer의 크기는 (X방향 절점수)×(Z방향 절점수)×(변위 Layer 1개 + 위치특징 Layer 2개)로 결정된다.

X-Z 평면에 대한 학습 데이터 Layer 작성과정은 Y-Z평면, X-Y 평면 등 3차원 공간상에 정의하는 평면으로 확장될 수 있으며, 각 평면상의 Layer를 추가하여 학습데이터의 Layer 차원이 무한히 증가될 수 있다.

식 (3), 식 (4) 및 식 (5)에 의한 학습데이터 Layer를 Output 데이터로 사용하고, Output 데이터 중에서 일부 절점을 선택한 뒤 이외의 절점은 0으로 치환하여 학습 Input 데이터를 작성한다.

위치특징 결합 변위상관 학습기법의 학습데이터는 일반적인 이미지 픽셀 행렬보다 크기가 적으므로 데이터 손실을 최소화하기 위해 기존 인공지능 네트워크에서 Pulling 계층을 제거하였다. 수정 U-net 네트워크에 Fig. 5와 같이 학습 Input 및 Output 데이터를 입력하여 학습을 수행하고, 실제 대상건물에서 계측된 일부 변위 데이터를 학습된 인공지능 네트워크에 입력하면 전체 절점에 대한 변위값이 추정된다.

Fig. 5.

AI training data considering nodal coordinate characteristics and displacement correlation

3. 목업구조물 대상 변위예측 및 측정결과 비교

3.1 실험계획 및 수행

개발기술에 대한 실무 적용성을 확인하고, 성능목표의 만족여부를 검증하기 위하여 목업구조물 실험을 수행하였다. 실험을 위해 제작한 목업구조물의 제원은 Table 1과 같으며, 실험체 세팅은 Fig. 6과 같다. 대상구조물에 대한 무선원격 경사계를 이용한 로컬 경사 계측 및 로컬 변위 산정하고, 인공지능을 이용한 전체 변위값 및 변위형상 추정하였다. 그리고 3D 스캔을 이용한 전체 변위 측정을 실시하고, 인공지능 예측값과 비교하였다.

Fig. 6.

Test setting of the mockup structure

대상 목업구조물에 대한 Pushover 해석결과의 항복변위 및 최대변위를 기준으로 변위 Step을 분할하여 매 Step별 하중, 경사 및 변위를 계측하고, 3D 스캔을 실시하였다. 최상부 횡변위를 기준으로 Step 1~10은 +7mm 증가, Step 11~18은 +20mm 씩 변위를 증가하도록 실험체를 가력하였으며, 최대 215.22 mm까지 가력하였다. 그리고 1, 5, 10, 15 및 18 Step에 대해 대상구조물 3D 스캔을 실시하였다.

3.2 계측결과 및 3D 스캔 결과

실험 시 가력하중-변위 계측을 수행하였으며, 이 값과 경사계값으로 환산된 변위데이터와 비교하였다. 변위계 값과 경사-변위 환산값의 비교 결과는 Fig. 7과 같으며, 변위계 계측값 대비 경사-변위 환산값의 평균오차율는 3.0% 수준으로 인공지능을 이용한 변위 예측에 입력하기 위한 데이터로 적정한 것으로 나타났다.

Fig. 7.

Comparison of slope-displacement conversion results with measured displacements

3D 스캔을 이용한 건축물 변위 측정법의 성능을 평가하고, 인공지능 변위 예측결과와 비교하기 위하여 Step 5, 10, 15, 18에 대한 3D 스캔을 실시하였다. Point Cloud Processing과 Transform을 통해 변위 측정 기준을 일치시킨 뒤 실험체에 설치된 마커 위치를 기준으로 변위 좌표를 측정하였다.

3.3 인공지능 변위 추정

대상 목업구조물에 대하여 인공지능으로 예측된 전체 변위형상 및 변위값과 3D 스캔 변위측정값을 비교하여 인공지능 변위예측의 적정성을 평가하였다. 먼저 학습된 인공지능에 로컬 경사-변위 환산값을 입력하여 절점별 변위를 출력하였다.

대상 목업구조물은 X-Z 평면상에서 변위가 발생하는 2차원 구조물이므로 ETABS 구조해석 프로그램으로 2D 구조해석 모델링에 대한 Pushover 해석을 실시하였다. 해석 시 부재의 비선형 거동을 반영하기 위해 기둥 및 보 단부에 집중힌지를 모델링하였다. 해석결과에서 구한 변위 δx와 절점좌표(xi,zj)를 이용하여 인공지능 학습데이터를 작성하였다. Fig. 7에서 대상 목업구조물에서 변위를 계측할 절점에 해당하는 2개 변위(절점38 및 42)와 전체 24개 변위 해석값을 각각 입력데이터 set과 출력데이터 set으로 작성하였다.

3.3.1 Image-to-Image(I2IR) 변위형상 학습

총 2824 변위값 set과 절점좌표를 이용하여 인공지능 학습을 위한 이미지를 생성하였다. 전체 이미지 중에서 70%는 Training에 사용되었으며, 나머지 30%는 Validation 및 Test에 사용되었다. I2IR 변위형상학습을 위한 인공지능은 입력층-Encoder-Bridge-Decoder-출력층으로 구성하고, 이미지 입력 및 출력이 가능하도록 하였다. Grey 이미지를 사용하여 채널 크기는 1이며, 3×3 filter를 이용하여 합성곱을 실시하였다. 활성화 함수로는 ReLU를 사용하였으며, 인공지능 학습조건은 Table 2와 같다.

계측된 각 Step별 경사-변위 데이터를 입력 이미지 데이터로 변환하고 학습된 인공지능에 입력하여 전체 절점의 변위 이미지를 생성하였다. Fig. 9와 같이 생성된 전체 절점의 변위이미지에서 절점의 픽셀좌표를 추출하고 초기 픽셀좌표와 비교하여 변위를 측정하였다. 이를 위해 변위 이미지의 색농도 데이터에서 로컬 피크로부터 절점별 픽셀좌표를 추출하였다.

I2IR 학습으로 예측된 변위데이터를 Fig. 8의 3D 스캔데이터와 비교하면 오차율은 Fig. 10과 같다. 3D 스캔 변위 측정값 대비 I2IR 인공지능 예측 변위값의 평균 오차율은 5.6%(최대 14.7%)로 나타났다. 오차율은 3D 스캔 측정 변위값 대비 변위오차값의 절대값 비율이다. 오차발생의 뚜렷한 경향은 나타나지 않았으나, 대체로 목업구조물 하부의 절점에서 더 많은 오차가 발생하는 경향을 나타내었다.

Fig. 8.

Displacement meausurement using 3D scan

Fig. 9.

Estimating Displacement using Image-to-Image AI Training Method

Fig. 10.

Comparison of displacements predicted with Image-to-Image AI with measured using 3D scan

3.3.2 위치특징 결합 변위상관 학습

Image-to-Image 학습과 동일한 총 2824 변위값 set과 절점좌표를 이용하여 인공지능 학습을 위한 학습 행렬 Layer를 생성하였다. 대상 목업구조물은 X-Z 평면상에 2D로 구성되어 있으므로, 해석결과에서 구한 변위 δx로 X-Z 평면에 대한 변위 행렬 Layer를 작성하고, 절점좌표(xi,zj)를 이용하여 X방향 및 Z방향에 대한 위치특징 좌표 Layer를 작성하여 학습 행렬 Layer를 구성하였다.

인공지능 학습 시 변위 및 절점좌표 데이터 Layer의 해상도가 낮으므로 학습정보손실을 최소화하도록 Max pooling을 제거하여 U-Net Layer를 수정하였다. 또한 학습의 정확도 향상을 위해 커리큘럼 학습을 실시하였다. 활성화 함수로는 leakyReLu를 사용하였으며, 인공지능 학습조건은 Table 3과 같다.

계측된 각 Step별 경사-변위 데이터를 입력 변위행렬로 변환하고 학습된 인공지능에 입력하여 전체 절점의 변위 데이터를 예측하였다. Fig. 11과 같이 추정된 변위데이터를 3D 스캔데이터와 비교하였으며, 오차율은 Fig. 12와 같이 나타났다. 3D 스캔 변위 측정값 대비 변위상관 학습 인공지능의 변위예측값의 평균 오차율은 5.9%(최대 14.5%)로 나타났다. I2IR 학습 인공지능 예측결과와 유사하게 목업구조물 하부의 절점에서 더 많은 오차가 발생하는 경향을 나타내었다.

Fig. 11.

Estimating Displacement using AI considering coordinate characteristics and displacement correlations

Fig. 12.

Comparison of displacements predicted with displacement correlation training AI with measured using 3D scan

I2IR 변위형상 학습과 위치특징 결합 변위상관 학습의 인공지능 변위예측 오차율은 5.6%~5.9% 수준이며, 오차는 평균 1.2mm~5.8mm 수준이다. 대상 목업구조물이 비선형 거동을 나타내는 상태에서도 신뢰성 있는 예측결과를 도출하는 것으로 나타났다.

4. 결 론

본 연구에서는 구조물의 일부 변위값으로 전체 구조물의 변위형상 및 변위값을 예측할 수 있는 인공지능 학습기법을 개발하고, 실험을 통해 개발기술의 성능을 평가하였다. 기존의 인공지능을 이용한 기계학습은 공간의 상관성을 고려하지 못하기 때문에 3차원 공간상에 위치하는 구조물의 변위를 학습하기에 한계가 있다. 이러한 점을 개선하여 3차원 공간상의 변위형상과 절점 위치좌표의 특징을 학습에 반영할 수 있는 Image- to-Image(I2IR) 변위형상 학습과 위치특징이 결합된 변위상관 학습법을 제시하였다.

개발된 인공지능 학습법의 성능평가를 위해 목업구조물 실험을 실시하고, 3D 스캔으로 측정된 변위값과 인공지능으로 예측된 결과를 비교하였다. 비교결과를 보면 인공지능 예측결과가 3D 스캔 측정결과와 비교하여 5.6%~5.9%의 오차율을 나타내므로 변위관리를 통한 구조물 상태평가를 위해 적정한 성능을 나타내는 것으로 사료된다.

향후 연구에서는 변위상관의 특징을 보다 정확히 확인할 수 있는 3D 구조물 실험을 통해 인공지능 학습을 고도화하여 정확도를 향상할 예정이며, 변위를 발생시키는 요인과 구조물의 종류를 확대하여 범용적으로 활용할 수 있는 인공지능 학습기법을 개발할 계획이다.