1. 서 론

구조물은 다양한 외부의 요소로부터 반복적인 하중을 받게 되고, 이로 인해 구조물에는 크고 작은 변위가 발생하게 된다. 구조물의 변위는 구조물을 구성하고 있는 부재에 손상을 미치게 되고, 심각할 경우 붕괴가 발생할 수 있기 때문에 구조물의 변위를 측정하는 모니터링 시스템은 상시 필요 하다고 할 수 있다. 또한 구조물의 발생한 손상을 탐지하고 지표화하기 위해서는 얻어진 변위데이터를 이용해 구조물의 동특성을 측정하는 기술이 필요하다(Catbas and Aktan, 2002).

일반적으로 구조물의 변위계측은 linear variable differential transformer(LVDT)와 같은 접촉식센서나 laser displacement sensor(LDS)와 같은 비접촉식센서를 이용한다. LVDT 로부터 얻은 변위데이터는 정확도가 높지만, 실제 구조물의 변위가 많이 발생하는 구조물의 단부나 보의 중앙부분에는 설치하기 어렵다는 단점이 있다. LDS는 과거와 달리 센서의 성능향상으로 인해 높은 데이터의 신뢰도를 보장하고 쉬운 설치가 가능하지만, 데이터를 얻을 수 있는 유효거리가 약 20~40cm로 짧아 실제 구조물에 적용하기는 어렵다. 즉, 실제 구조물에 적용되기 어려운 기존 변위센서의 한계를 극복 하기 위해 새로운 방식으로 구조물의 변위를 측정하는 센서에 관한 연구가 필요하다고 할 수 있다.

최근 기존 비접촉식변위센서의 한계를 극복하고자, 영상 데이터를 활용해 구조물의 변위를 측정하는 영상기반 변위센서에 관한 연구가 활발히 진행중에 있다(Lee and Shinozuka, 2006; Olaszek, 1999). 영상기반 변위센서는 구조물에 쉽게 설치가 가능하며, 구조물의 부재레벨에서부터 시스템레벨까지 다양하게 변위를 측정할 수 있는 장점이 있다. Ji(2010)는 영상에서 추출된 변위데이터와 LVDT로 얻어진 변위데이터의 비교를 통해 영상기반 변위센서의 신뢰도를 검증하였고, Park 등(2010)은 고층건물에 적용가능한 영상기반 변위계측방법을 제시하여 데이터의 신뢰도를 검증하였지만, 동적인 하중이 작용하였을 때는 검증하지 못하였다. Choi 등(2011)은 동적 변위가 계측가능한 영상기반 변위센서에 관한 연구를 진행 하였는데, 실험실에서 shake table을 이용해 구조물의 변위를 LVDT와 카메라를 통해 측정하였다. Kim과 Kim(2011, 2012)은 다리의 변위를 LVDT와 영상기반 변위센서로 측정 후 비교하였고, 변위로부터 다리의 고유진동수를 추출하여 영상기반 변위센서를 이용하여 동특성측정이 가능함을 보였다.

기존 영상기반 변위센서를 이용한 연구들은 구조물에 마커 (marker)를 부착하여 변위데이터를 추출하는 방식을 이용 하였다(Lee et al., 2014). 영상기반 변위센서에서 마커는 구조물의 특징점을 인위적으로 부여하여 구조물의 좌표변화를 쉽게 추출하는 역할과 그 크기로부터 픽셀좌표를 물리좌표로 바꾸는 scaling factor의 역할을 한다. 마커를 사용하면 쉽게 구조물의 변위데이터를 추출할 수 있지만, 시간이 경과함에 따라 마커가 탈락할 수 있으며 마커가 부착된 부분의 변위데이터만 얻을 수 있는 단점이 있다. 이러한 문제점을 해결하기 위해 구조물에 마커를 부착하는 대신, 구조물의 볼트구멍과 같은 특징점으로부터 변위데이터를 추출한 후, 그 변위데이터의 신뢰도를 검증하는 연구(Feng et al., 2015; Feng et al., 2015; Fukuda et al., 2013)가 진행 되었지만, 토목구조물에 한정되어 있고 특징점의 면적과 같은 geometry를 모른다면 적용이 불가능하다는 단점이 있다. 또한 인공마커를 사용하지 않고, 구조물의 자연적인 마커를 사용하는 것은 영상기반 변위센서의 사용성을 높일 수 있으나, scaling factor를 계산하는데 있어서 특징점의 위치에 따른 scaling factor의 오차를 고려하지 않았다.

따라서 본 연구에서는 마커없이 사용가능한 비마커 영상기반 변위계측 시스템(NVDMS)을 구축하고, 이를 통해 얻어진 변위데이터를 이용하여 구조물의 동특성을 측정하고자 한다. 제안한 방식으로 얻은 변위데이터의 신뢰도를 검증하기 위해, 원형마커가 부착된 마커판과 카메라의 거리와 각도를 변수로 하여 계산된 scaling factor map을 이용하여 마커의 추정지름과 실제값을 비교하였다. 또한 3층 축소모형의 자유진동실험에서 LDS와 제안한 방식의 변위데이터와 구조물의 동특성을 비교 분석하였다.

2. 비마커 영상기반 변위계측 시스템(NVDMS)

비마커 영상기반 변위계측 시스템은 구조물의 영상을 촬영 하기 위한 하나의 카메라와 렌즈, 그리고 얻어진 영상데이터로 부터 변위데이터를 추출하기 위한 컴퓨터와 MATLAB으로 구성되어 있다. Fig. 1은 일반적인 영상기반 변위계측 시스템의 데이터를 얻는 과정을 표현한 것이다. 실제 아날로그 이미지는 디지털카메라의 픽셀사이즈와 프레임에 따라 디지털 이미지로 저장된다. 저장된 디지털이미지에서 연산속도를 줄이기 위해 마커를 포함한 관심영역(region of interest, ROI)를 선택하게 되며, 디지털이미지를 gray scale로 변환 후 threshold값을 이용해 영상을 이진화하면 마커의 픽셀좌표를 정확하게 추출할 수 있다. 이후 마커의 지름으로부터 계산된 scaling factor값을 추출된 픽셀좌표에 곱하여 실제좌표로 변환한다. 위의 과정을 저장된 모든 디지털이미지에서 수행하여 마커의 실제좌표의 차이를 통해 구조물의 시간의 따른 변위 데이터를 취득할 수 있다.

Figure 1

Displacement data acquisition procedure of vision-based displacement measurement system

본 연구에서 제안하는 비마커 영상기반 변위계측 시스템은 기존 원형마커를 찾는 알고리즘을 이용하여 구조물의 볼트구멍과 같은 특징점으로부터 픽셀좌표를 추출한다. 그리고 scaling factor를 마커의 geometry로 계산하는 것이 아닌 카메라와 구조물과의 거리 및 각도, 그리고 카메라 픽셀크기로부터 계산되는 scaling factor map을 통해 얻어지는데 차이가 있다.

2.1 Scaling factor map

Scaling factor를 통해 픽셀좌표를 실제 물리좌표로 변환 하여 구조물의 변위데이터를 얻을 수 있다. Fig. 2는 구조물의 평면(surface plane)과 디지털카메라로 촬영된 평면(image plane)사이의 거리, 각도, 그리고 초점거리에 따른 관계를 표현한 것이고, scaling factor는 다음과 같이 두 가지 방법으로 계산될 수 있다.

${\mathit{\text{SF}}}_1=\frac{{\mathit{\text{X}}}_1-{\mathit{\text{X}}}_2}{{\mathit{\text{x}}}_1-x_2}=\frac{{\mathit{\text{D}}}_1}{{\mathit{\text{d}}}_1}$      (1)

${\mathit{\text{SF}}}_2=\frac{{\mathit{\text{Z}}}_1}{fcos\mathit{\text{θ}}}\mathit{\text{R}}$      (2)

여기서, D₁은 surface plane에서의 목표물의 실제 크기이며, d₁은 image plane에서의 목표물의 픽셀 크기이다. Z₁은 카메라와 목표물과의 거리이며, f는 카메라의 초점거리, θ는 surface plane과 image plane사이의 각도, R은 카메라 센서의 픽셀사이즈이다.

Figure 2

Relationship between the surface plane and image plane

위의 SF₁과 SF₂는 이론적으로 같아야 하지만, 예비실험 결과 image plane의 중심에 위치한 목표물에서는 두 값이 차이가 거의 없었지만, image plane의 중심에서 멀어질수록 오차가 크게 발생하였다. 즉, image plane의 중심에서 멀어지면, surface plane의 중심에서도 멀어지게 되므로, 카메라와 목표물과의 거리Z₁의 값이 달라진다. 따라서 image plane의 중심에서 u,v방향으로 각각 하나의 pixel이 움직였을 때의 수정된 카메라와 목표물과의 거리${\mathit{\text{Z}}}_1^{\text{'}}$을 다음과 같이 계산하였고, 이를 통해 목표물의 영상내의 위치를 고려한 scaling factor map을 작성하여 본 연구에서 제안하는 비마커 영상기반 변위계측 시스템에서 마커를 없앨 수 있었다.

$\mathit{\text{A}}(cx\pm i,cy\pm j)=\sqrt{{[i\times {\mathit{\text{SF}}}_2]}^2+{[j\times {\mathit{\text{SF}}}_2]}^2}$      (3)

${\mathit{\text{Z}}}_1^{\text{'}}(cx\pm i,cy\pm j)=\sqrt{{\mathit{\text{Z}}}_1^2+{\mathit{\text{A}}}^2-2{\mathit{\text{Z}}}_1\mathit{\text{Acosθ}}}$      (4)

여기서, A는 image plane의 중심에서 (±i,±j)떨어진 픽셀의 surface plane에서 중심과 떨어진 실제 거리이며, cx와 cy는 각각 image plane에서 중앙부의 픽셀좌표이다. ${\mathit{\text{Z}}}_1^{\text{'}}$은 surface plane에서 중심과 떨어진 거리를 고려한 수정된 카메라와 목표물과의 거리이며, 이를 식 (2)에 대입하여 image plane에서 픽셀좌표에 따른 scaling factor map을 얻을 수 있다.

2.2 마커판 실험을 통한 제안 시스템 검증

Scaling factor map을 이용한 비마커 변위계측 시스템의 검증을 위해, 지름이 5cm인 마커를 가로세로로 붙이고 Z축 방향으로 5cm떨어지도록 마커 2개를 붙여 SF₁과 SF₂의 값을 비교하는 마커판 실험을 진행하였다. 마커판 실험은 Fig. 3과 같이 카메라와 삼각대, 마커판으로 구성되어 있으며, 카메라와 마커판의 거리를 930~3720mm까지 930mm씩 증가시키면서 실험하였으며, 각 거리에 대해 카메라와 마커판의 각도를 0~60°까지 10°씩 증가시키면서 실험을 진행하였다.

Figure 3

Marker plate test using commercial camera

SF₁은 실제 마커의 지름을 통해 얻어지는 값이기 때문에 reference data로 활용할 수 있고, SF₂는 제안하는 scaling factor map을 통해 얻어지는 값이기 때문에 두 값을 비교하여 거리와 각도에 따른 오차율을 분석하였다. Fig. 4는 카메라와 마커판과의 거리, 각도, 초점거리에 따른 scaling factor map을 표현한 것이다.

Figure 4

Scaling factor map according to the distance, angle, and focal length

얻어진 scaling factor map을 통해 마커의 위치에 따른 scaling factor값(SF₂)과 마커의 크기로부터 얻은 과의 차이를 Z₁=930mm, f=45mm, θ=0°일 때 분석한 결과는 Fig. 5와 같다. 최대 오차율은 0.34%로 제안한 방식으로 마커의 크기를 축방향에 상관없이 정밀하게 측정가능하다는 것을 확인하였다.

Figure 5

Existing and proposed scaling factor difference

Figure 6

Proposed scaling factor error according to the distance and angle between camera and marker plate

거리와 각도에 따른 오차율을 분석한 결과는 Fig. 6과 같다. 거리의 증가에 의한 오차는 두드러지지 않았으나, 각도의 증가에 따른 오차율은 눈에 띄게 증가하는 것을 알 수 있다. 이는 각도가 증가할수록 마커의 형상이 타원으로 변하여 마커의 중심을 정확히 찾아내지 못하기 때문이라고 생각된다.

마커판 실험결과, scaling factor map을 통해 image plane상에서 목표물의 위치에 따른 scaling factor가 실제 값과 유사함을 확인하였고, 카메라와 목표물과의 각도가 40°이상이면 오차율이 4%이상 이므로, 축소모형 실험에서 위의 결과를 고려하여 오차율을 줄여서 실험을 진행하였다.

3. 축소모형의 자유진동 실험을 통한 동특성 측정

3.1 3층 규모 축소모형 실험

제안한 NVDMS을 이용하여 구조물의 동특성을 추정하기 위해, 3층 규모의 철골축소모형 실험의 자유진동 실험을 실시 하였다. 축소모형의 세부사항은 Fig. 7와 Table 1에 정리 하였다. 단축방향으로 자유진동 실험을 하기 위해, 단축의 브레이싱은 제거하였고, 장축방향으로의 변형을 방지하기 위해 장축방향으로 브레이싱을 설치하였다. 또한, 각 층에 2.0kg의 질량판을 설치하였다.

기존 방식과 비교하기 위해 축소모형의 우측에 각 층마다 원형마커를 부착하였으며, laser displacement sensor (LDS)를 각 층마다 설치하여 reference data로 사용하였다. 제안한 NVDMS은

Figure 7

Three-stories scale model

Table 1

Detail information of the scale model

Member	Material	Section size(mm)
Column	SS400	5×5
Girder		4×6
Brace		4×6
Slab	Acrylic	5t

Figure 8

Free vibration test

축소모형의 특징점이라 할 수 있는 볼트구멍을 통해 변위데이터를 추출하였다(Fig. 8). 카메라는 Nikon D5500을 사용하였으며, 축소모형과 실험체 사이의 거리는 1200mm, 초점거리는 60mm, 각도는 4°로 세팅하여 실험을 진행하였다.

3.2 변위데이터의 신뢰도 분석

Fig. 9는 자유진동 실험을 통해 얻은 각 층의 변위데이터를 각 방식별로 나타낸 것이다. NVDMS를 통해 얻은 데이터는 저층부에서 약간 튀는 현상이 발생하였으나, 변위데이터의 전체적인 경향은 다른 두 방식으로 얻은 데이터와 유사한 것을 알 수 있다. 얻어진 변위데이터의 신뢰도를 분석하기 위해, 각 변위데이터를 층별로 root mean square(RMS)값을 계산 하였으며, reference data인 LDS와 비교하여 오차율을 분석하였다. 기존 VDMS의 경우 LDS와 최대 2.8%의 오차율을 보였고, 제안한 NVDMS는 최대 3.6%의 오차율을 보였다. 두 방식 모두 1층 변위데이터에서 오차가 최대로 발생하였는데, 이는 외부 조건에 의한 영향으로 판단된다.

Figure 9

Comparison on the displacement data in accordance with story and measuring methods

Table 2

Detail information of the scale model

Story	Material(error)
	LDS	VDMS	NVDMS
Resolution	2~5μm	0.049~0.051mm	0.049~0.051mm
1	0.3908	0.4021(2.8%)	0.4054(3.6%)
2	0.8492	0.8597(1.2%)	0.8625(1.6%)
3	1.1954	1.2154(1.6%)	1.2130(1.5%)

변위데이터의 신뢰도 분석 결과로부터 제안한 NVDMS를 이용해 구조물의 특징점으로부터 마커없이 신뢰도 높은 변위 데이터의 취득이 가능함을 보였다. 저층부에서 데이터가 튀는 현상은 특징점의 움직임을 추출하는 알고리즘의 개선이 이루어 진다면 더 신뢰도 높은 변위데이터를 얻을 수 있을 것 이라고 사료된다.

Figure 10

FFT analysis of 1st story displacement data

Figure 11

Comparison on the first mode shape of scale model

4. 결 론

본 연구에서는 마커없이 카메라의 영상으로부터 변위를 측정할 수 있는 비마커 영상기반 변위계측 시스템(NVDMS)을 개발하였다. 목표대상물과 카메라와의 수평거리, 카메라의 초점거리, 카메라센서의 pixel 크기로부터 영상중심점에서의 scaling factor값이 계산되고, 계산된 scaling factor값을 이용하여 영상의 수직/수평 pixel변화에 따른 scaling factor map을 얻을 수 있다. 카메라의 거리와 각도에 따른 scaling factor map의 정확성을 분석하기 위해, 마커가 부착된 판의 거리와 각도에 따라 마커의 지름으로부터 얻어지는 scaling factor값과 비교분석을 실시하였다. 또한 3층 축소모형의 자유진동실험에서 LDS와 제안한 시스템으로부터 얻어진 변위데이터를 비교하였다. 연구결과를 정리하면 다음과 같다.

(1)마커판 실험결과, 마커의 지름으로부터 얻어진 scaling factor과 제안한 방식으로 얻어지는 scaling factor 값의 차이는 거리에 따라선 최대 2%의 오차가 발생 하였으며, 각도에 따라서는 최대 6%의 오차가 발생 하였다. 제안한 NVDMS의 오차를 줄이기 위해선 거리보다는 각도를 최대 30°이내에서 측정하는 것이 필요하다.

(2)축소모형 실험 결과, 제안한 NVDMS와 LDS의 RMS 값의 차이는 1.5~3.6%, 기존 VDMS는 1.6~2.8%로 분석되었다. 제안한 NVDMS가 VDMS와 비교하였을 때, 상대적으로 오차가 다소 컸지만, LDS와 비교시 신뢰도 높은 변위데이터를 얻을 수 있음을 입증하였다,

(3)축소모형의 변위데이터를 이용하여 동특성을 분석한 결과, 축소모형의 1차 고유진동수는 LDS는 3.67Hz, NVDSM와 VDMS는 동일하게 3.59Hz로 분석되었다. 즉, 제안한 NVDSM를 통해 변위데이터 뿐만아니라 구조물의 동적거동을 정밀하게 측정하는데 문제가 없다고 생각된다.

본 연구에서 제안한 NVDMS는 기존의 방식과는 다르게 마커없이 구조물의 변위를 계측할 수 있고, 고유진동수를 정확하게 측정할 수 있으므로, 구조물의 모니터링 분야에서 상용카메라를 이용한 영상기반 변위계측의 적용성을 높일 수 있을 것이다.