Regular Paper

Korean Journal of Optics and Photonics. February 2020. 26-30
https://doi.org/10.3807/KJOP.2020.31.1.026


ABSTRACT


MAIN

  • I. 서 론

  • II. 시차의 원인과 3차원 공간에서의 수학적인 해석

  • III. 입사동과 출사동을 고려한 일반화된 시차해석 방정식

  • IV. 구글 ART 로봇 카메라의 분석 및 탐구 - 구조설계

  • V. 결 론

I. 서 론

이미지 센서의 픽셀한계를 극복하기 위한 로봇 카메라 기술은 현재 우주나 예술분야를 비롯하여 다양한 분야에서 그 활용도가 높아지고 있다. 로봇 카메라 기술은 전장에서 적군을 감시하기 위한 고해상도 실시간 영상 촬영에도 활용될 수 있고 무인드론에 탑재되어 스파이 활동에도 활용될 수 있다. 로봇 카메라라 함은 단일 카메라에 구동 메커니즘이 탑재되어 3축 방향의 이동이나 자유로운 회전이 가능한 카메라 시스템을 말하거나 수십 수백 개의 카메라와 짐벌 및 이동수단이 하나의 시스템으로 구성되는 카메라를 말한다. 예를 들면, 미항공우주국(NASA)의 화성탐사 로봇 “큐리오시티 로버”에 탑재된 로봇 카메라를 들 수 있다[1],[2]. 큐리오시티에 탑재된 로봇 카메라는 화성의 가혹한 환경 하에서 작동해야 하기 때문에 저해상도의 이미지 센서로 되어있지만 카메라의 자유로운 회전에 의해 기가픽셀 급의 화성 전경파노라마 사진을 지구로 전송할 수 있다. 또, 영국의 BAE 시스템스 사는 미방위사업청(DARPA)의 프로젝트를 받아 ARGUS-IS라는 1.8기가픽셀의 로봇 카메라를 개발하였다[3],[4]. 이 카메라는 멀티구경렌즈와 수백 개의 센서 어레이 및 6축 영상안정화 짐벌마운팅 시스템으로 구성되어 있고 무인드론에 탑재되어 20,000피트 상공에서 직경 7킬로미터의 전 영역을 15센티미터 분해능으로 실시간 관찰할 수 있다. 예술분야에 사용되고 있는 로봇 카메라로는 대표적으로 구글의 ART 카메라를 들 수 있다[5]. 2012년 4월에 소개된 구글의 ART 로봇 카메라는 메트로폴리탄미술관, 모마(뉴욕현대미술관), 오르세미술관, 대만국립고궁박물원 등 전 세계 200여 미술관 및 박물관의 소장품을 기가픽셀 급으로 촬영하여 고해상도로 디지털 컨텐츠화하였다. 우리나라에도 구글의 로봇 카메라가 들어와서 제주도의 자연풍광이나 유명 예술품들을 촬영한 바 있기도 하다.

본 논문에서는 로봇 카메라를 이해하고 제작하기 위해서는 로봇 카메라의 회전이나 공간 이동에 의해 발생하는 인접 이미지 간의 영상 왜곡에 대한 이해가 우선적으로 진행되어야하기 때문에 영상 왜곡에 관한 수학적인 해석을 진행하고자 한다. 수학적인 해석은 렌즈 시스템과 연결되어 일반화되고 결국 로봇 카메라에서 일어나는 영상의 왜곡인 parallax에 대한 해석 방정식이 얻어진다. 이를 통해 parallax의 원인에 대한 고찰이 이루어지고 parallax의 보정 및 관리방안이 수립될 수 있다. 또 나아가 이를 통해 로봇 카메라의 “구조설계”[6],[7],[8]가 가능하게 되고 한 예로서 기존 구글의 ART 카메라에 대한 분석과 이해의 확장 및 다채로운 ART 로봇 카메라에 대한 탐구가 가능하게 된다.

II. 시차의 원인과 3차원 공간에서의 수학적인 해석

앞서 서술한 바와 같이, 로봇 카메라를 이해하고 설계하기 위해서는 로봇 카메라의 움직임에 의해 발생되는 parallax 오차에 대한 이해가 우선 필요하다[9]. Parallax 오차에 대한 도식화된 이해는 그림 1에 주어진다. 그림 1에서 보듯이 피사체 상의 A점과 B점의 깊이 차이(zA-zB)와 XY 평면에서의 위치 차이(xA-xB 혹은 yA-yB)에 의해 상면 상에서 PAPB¯PA'PB'¯의 위치 및 길이의 편차가 발생한다. 문제는 요소 영상들을 합성하기 위해 PAPB¯PA'PB'¯의 상호 회전이나 위치이동으로 1:1로 겹쳐지지 않는 배율오차가 발생한다는 것이다. 더 큰 문제는 피사체가 A점과 B점만 존재하는 것이 아니고 깊이와 위치가 다른 무수히 많은 점들이 존재할 수 있다는 것이다. 통상, parallax 오차는 두 점 A와 B를 활용하여 식 (1)과 같이 정의적으로 주어진다.

$$\mathrm{Parallax}\;\mathrm{Error}=\left|\overline{P_AP_B}-\overline{P_A'P_B'}\right|$$ (1)
http://static.apub.kr/journalsite/sites/kjop/2020-031-01/N0140310105/images/kjop_31_01_05_F1.jpg
Fig. 1.

Parallax error.

그림 1의 parallax 오차에 대한 정의를 바탕으로 parallax 오차에 대한 수학적인 해석을 진행한다. 그림 2에서 보듯이 원점을 입사동의 중심점으로 잡음으로써 A점과 B점의 위치를 각각 (hx, hy, L), (gx, gy, L+D)로 표현하고 원점에서 A점까지 떨어진 거리를 L, A점과 B점 간의 깊이 차이를 D로 표현하였다. 그러면 벡터적인 해석을 통해 다음 식 (2), (3)과 같이 벡터 A의 단위방향벡터(unit direction vector)인 벡터 a^을 얻을 수 있다.

$$\overrightarrow A=A\widehat a=\sqrt{h_x^2+h_y^2+L^2}\widehat a$$ (2)
$$\widehat a=\frac{h_x}A\widehat i+\frac{h_y}A\widehat j+\frac LA\widehat k$$ (3)
http://static.apub.kr/journalsite/sites/kjop/2020-031-01/N0140310105/images/kjop_31_01_05_F2.jpg
Fig. 2.

Mathematical formulation for parallax error.

그림 2에서 벡터 A의 연장에 의해 입사동의 중심점에서 이미지 센서까지 이르는 벡터 A'는 입사동의 중심점에서 이미지 센서까지 떨어진 거리인 Rk^ 벡터로 A' 벡터를 스칼라 투영함으로써 찾을 수 있다. 같은 식으로 B' 벡터도 얻을 수 있다. 그러면 이미지 센서 상의 위치 PA점과 PB점 간의 거리(PAPB¯)인 C'이 얻어진다.

$$\overrightarrow{A'}=h_x\frac RL\widehat i+h_y\frac RL\widehat j+R\widehat k$$ (4)
$$\overrightarrow{B'}=g_x\frac R{L+D}\widehat i+g_y\frac R{L+D}\widehat j+R\widehat k$$ (5)
$$C'=R\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}$$ (6)

입사동의 이동(mx, my, mz)에 대한 수학적인 해석도 같은 방식으로 취해질 수 있는데, 그림 2에서 보듯이 벡터 A', B'에 대응되는 벡터인 Am'Bm'가 결과적으로 식 (7)과 (8)로 주어지게 된다. 그러면 PA'점과 PB'점 간의 거리(PA'PB'¯)인 Cm'도 이어서 구해질 수 있다.

$$\overrightarrow{A_m'}=(h_x+m_x)\frac R{L+m_z}\widehat i+(h_y+m_y)\frac R{L+m_z}\widehat j+R\widehat k$$ (7)
$$\overrightarrow{B_m'}=(g_x+m_x)\frac R{L+m_z+D}\widehat i+(g_y+m_y)\frac R{L+m_z+D}\widehat j+R\widehat k$$ (8)
$$C_m'=R\sqrt{\left(\frac{h_x+m_x}{L+m_z}-\frac{g_x+m_x}{L+m_z+D}\right)^2+\left(\frac{h_y+m_y}{L+m_z}-\frac{g_y+m_y}{L+m_z+D}\right)^2}$$ (9)

III. 입사동과 출사동을 고려한 일반화된 시차해석 방정식

Parallax 오차에 대한 수학적인 해석은 렌즈 시스템과 연결되어야 하기 때문에, 렌즈 시스템을 일반화시킬 수 있는 입사동과 출사동을 도입한다. 그림 3에서 보듯이 입사동과 출사동 간에는 각배율이 존재하고 이 각배율은 라그랑주 불변량에 의해서 입사동의 직경(Den)과 출사동의 직경(Dex) 비로서 식 (10)과 같이 다시 표현될 수 있다. 그러면 그림 2의 벡터 A'는 각배율을 고려하게 되면 식 (11)과 같이 바뀌게 되고 B' 벡터도 역시 같은 식으로 식 (12)와 같이 바뀌게 된다. 이어서 이미지 센서 상의 위치 PA점과 PB점 간의 거리(PAPB¯)인 C''이 식 (13)과 같이 얻어진다.

$$\frac{\beta_A'}{\beta_A}=\frac{\beta_B'}{\beta_B}=\frac{D_{En}}{D_{Ex}}$$ (10)
$$\overrightarrow{A''}=h_x\frac{R'}L\left(\frac{D_{En}}{D_{Ex}}\right)\widehat i+h_y\frac{R'}L\left(\frac{D_{En}}{D_{Ex}}\right)\widehat j+R'\widehat k$$ (11)
$$\overrightarrow{B''}=g_x\frac{R'}{L+D}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat i+g_y\frac{R'}{L+D}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat j+R'\widehat k$$ (12)
$$C''=R'\left(\frac{D_{En}}{D_{Ex}}\right)\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}$$ (13)
http://static.apub.kr/journalsite/sites/kjop/2020-031-01/N0140310105/images/kjop_31_01_05_F3.jpg
Fig. 3.

Generalized analytical equation of parallax error (%) considering the entrance pupil and the exit pupil.

같은 식으로, 입사동의 이동에 대해서도 동일한 과정을 거쳐 벡터 Am''Bm''이 얻어지게 되고 결국 PA'점과 PB'점 간의 거리(PA'PB'¯)인 Cm''도 구해진다.

$$\overrightarrow{A_m''}=(h_x+m_x)\frac{R'}{L+m_z}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat i+(h_y+m_y)\frac{R'}{L+m_z}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat j+R'\widehat k$$ (14)
$$\overrightarrow{B_m''}=(g_x+m_x)\frac{R'}{L+m_z+D}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat i+(g_y+m_y)\frac{R'}{L+m_z+D}\left(\frac{D_{En}}{D_{Ex}}\right)\widehat j+R'\widehat k$$ (15)
$$C_m''=R'\left(\frac{D_{En}}{D_{Ex}}\right)\times\sqrt{\left(\frac{h_x+m_x}{L+m_z}-\frac{g_x+m_x}{L+m_z+D}\right)^2+\left(\frac{h_y+m_y}{L+m_z}-\frac{g_y+m_y}{L+m_z+D}\right)^2}$$ (16)

식 (1)로부터 parallax의 정의에 의해 결국 식 (13)과 식 (16)의 차이가 parallax 오차에 대한 최종 표현식이 되는데, 렌즈 시스템의 개별적인 속성인 입사동과 출사동의 직경을 포함하고 있기 때문에 렌즈 시스템의 개별적인 속성에 의존하지 않는 퍼센트 parallax 오차를 도입하고자 한다. 그러면 훨씬 더 유용한 표현식이 얻어지게 되고 절대값이 아닌 상대적인 비 값으로 parallax 오차 값이 치환되기 때문에 parallax 오차를 가늠하기도 훨씬 쉬워진다. 식 (17), (18), (19)에 퍼센트 parallax 오차에 대한 최종 표현식이 주어진다.

$$\mathrm{Parallax}\;\mathrm{Error}\;(\%)=\left|\frac{C''-C_m''}{C''}\right|\times100=\left|\frac{P_1-P_2}{P_1}\right|\times100$$ (17)
$$P_1=\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}$$ (18)
$$P_2=\sqrt{\left(\frac{h_x+m_x}{L+m_z}-\frac{g_x+m_x}{L+m_z+D}\right)^2+\left(\frac{h_y+m_y}{L+m_z}-\frac{g_y+m_y}{L+m_z+D}\right)^2}$$ (19)

IV. 구글 ART 로봇 카메라의 분석 및 탐구 - 구조설계

로봇 카메라에서 흔히 일어날 수 있는 parallax 오차(%)에 대한 해석 방정식을 구하였고 이로부터 로봇 카메라의 구조설계가 가능하게 된다. 본 논문에서는 이의 활용에 대한 한 예로서 기존 구글의 ART 로봇 카메라에 대한 분석과 이해의 확장을 시도한다. 구글의 ART 카메라는 유명작가, 유명 박물관의 유화 페인팅을 기가픽셀 급의 고해상도로 디지털 이미지화하는 작업을 주로 진행하였는데, 유화 페인팅에 대해서는 물감의 두께에 의한 약간의 높낮이가 있을 수가 있지만 작품 촬영거리 L에 비해서 깊이 D가 매우 작기 때문에 D0로 둘 수 있다. 또 구글 로봇 카메라는 수평과 수직방향으로 회전하는 2축 회전식이기 때문에 인접 이미지 간에 수평방향으로는 mxmz가 발생하고 수직방향으로는 mymz가 동시적으로 발생한다. 두 점 A와 B 간의 거리를 hx-gx=sxhy-gy=sy로 두고 sx2+sy2=s로 두면, parallax 오차 P는 식 (20)을 정리하여 식 (21)로 간단하게 표현된다.

$$P = \frac{P _{1} -P _{2}} {P _{1}} = \frac{\frac{s} {L} - \sqrt {\left ( \frac{h _{x} +m _{x}} {L+m _{z}} - \frac{g _{x} +m _{x}} {L+m _{z}} \right ) ^{2} + \left ( \frac{h _{y} +m _{y}} {L+m _{z}} - \frac{g _{y} +m _{y}} {L+m _{z}} \right ) ^{2}}} {\frac{s} {L}}$$ (20)
$$P=1-\left(1+\frac{m_z}L\right)^{-1}$$ (21)

그러므로 로봇 카메라로 합성 전의 개별 사질들을 촘촘하게 찍어 나간다면 로봇 카메라의 회전량은 작품거리 L에 비해서 매우 작게 유지할 수 있기 때문에 식 (21)에 의해서 parallax 오차 P는 거의 0으로 수렴될 수 있을 것이다. 하지만 회전량이 충분히 커서 입사동의 이동량 mzL과 비교하여 무시할 수 없을 때는 식 (21)에 의한 parallax 오차의 영향을 고려할 수밖에 없을 것이다. 그런데 그림 4와 같이 구글과 다른 방식으로 멀티구경을 갖는 어레이 형식의 카메라[10],[11]로 ART 카메라를 대체한다면 mz를 거의 0으로 만들 수 있기 때문에 식 (22)와 같이 parallax 오차는 0이 된다. 어레이 카메라는 여러 대를 써야 하는 단점은 있지만 유화 페인팅과 같은 작품을 찍을 때 parallax 오차에서 자유롭고 또 한 번에 여러 요소 이미지들을 촬영할 수 있는 장점이 있다.

$$P=\frac{\frac sL-\sqrt{\left(\frac{h_x+m_x}L-\frac{g_x+m_x}L\right)^2+\left(\frac{h_y+m_y}L-\frac{g_y+m_y}L\right)^2}}{\frac sL}=0$$ (22)
http://static.apub.kr/journalsite/sites/kjop/2020-031-01/N0140310105/images/kjop_31_01_05_F4.jpg
Fig. 4.

Array camera system.

특수한 상황으로서 입사동점을 회전축으로 하여 수백, 수천 장의 사진을 촬영하여 합성하는 로봇 카메라는 mx, my, mz가 0이 된다. 이 경우 식 (23)과 같이 parallax 오차도 0이 되기 때문에 피사체들의 다양한 깊이에 의해 나타나는 제각각의 parallax 오차들이 매우 효과적으로 제거된다. 화성탐사 로봇인 “큐리오시티”에 장착된 로봇 카메라도 입사동점을 회전축으로 활용하고 있다고 보이고 이로 말미암아 화성 전경 파노라마를 매우 정밀하게 촬영할 수 있을 것으로 판단된다.

$$P=\frac{\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}-\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}}{\sqrt{\left(\frac{h_x}L-\frac{g_x}{L+D}\right)^2+\left(\frac{h_y}L-\frac{g_y}{L+D}\right)^2}}$$ (23)

V. 결 론

본 논문에서는 parallax 오차가 일어나는 근본적인 원인으로부터 parallax 오차에 대한 정의를 도출하였고 이로부터 3차원 공간에서 parallax 오차에 대한 수학적인 해석을 진행하였다. 이 수학적인 해석은 입사동과 출사동을 도입함에 의해 일반화된 렌즈 시스템으로 확장하였고 또 나아가 개별 렌즈 시스템의 특성에 영향을 받지 않는 parallax 오차를 표현하기 위해 퍼센트 parallax의 개념을 도입하였다. 결과적으로 다루기 쉽고 일반화된 parallax 오차에 대한 표현식이 얻어졌고, 이를 활용해서 로봇 카메라의 구조설계에 활용할 수 있었다. 우선 구글의 ART 로봇 카메라에 적용하여 보았고 결과적으로 ART 카메라에 대한 다양한 이해와 어레이 방식의 새로운 카메라에 대한 아이디어도 탐구해 볼 수 있었다. 또 나아가 화성탐사 로봇인 큐리오시티에 장착된 로봇 카메라도 함께 다루어 볼 수 있는 기회가 되었다. 앞으로 이 유용한 parallax 표현식으로부터 어레이 방식의 스마트폰 카메라의 구조설계에 대해서도 적용해 볼 계획이고 다채로운 로봇 카메라에 대해서도 적용해 볼 계획이다.

Acknowledgements

본 논문은 2019년도 한남대학교 교비학술연구비로 이루어졌으며, 이에 감사드립니다.

References

1

E. Howell, NASA's New Mars 2020 Car May Look Like the Curiosity Rover, But It's No Twin (Space.com, Jan. 3 2020), https://www.space.com/nasa-mars-2020-rover-no-curiosity-twin.html.

2

M. W. Powell, R. A. Rossi, and K. Shams, "A scalable image processing framework for gigapixel Mars and other celestial body images," in Proc. IEEE Aerospace Conference (MT, USA, Mar. 2010).

10.1109/AERO.2010.5446706PMC3195246
3

B. B. Leininger, J. Edwards, J. Antoniades, D. Chester, D. Haas, E. Liu, M. Stevens, C. Gershfield, M. Braun, J. D. Targove, S. Wein, P. Brewer, D. G. Madden, and K. H. Shafique, "Autonomous real-time ground ubiquitous surveillance - imaging system (ARGUS-IS)," Proc. SPIE 6981, 69810H (2008).

10.1117/12.784724
4

S. J. Noh, Y. C. Choi, H. J. Moon, H. K. Kang, and C. S. Rim, "The study for gigapixel image utilizing robot panoramic head and image stitching technique," in Proc. Conference on Lasers and Electro-Optics Pacific Rim (Busan, Korea, Aug. 2015).

10.1109/CLEOPR.2015.7376004PMC4734963
5

B. Katz, Lin-Manuel Miranda Teams Up With Google to Digitize Puerto Rico's Art (Smithsonian Magazine, Nov. 11 2019), https://www.smithsonianmag.com/smart-news/lin-manuel- miranda-teams-google-digitize-puerto-ricos-artworks-180973525/.

6

H. J. Moon and C. S. Rim, "Designing the optical structure of a multiscale gigapixel camera," Korean J. Opt. Photon. 27, 25-31 (2016).

10.3807/KJOP.2016.27.1.025
7

C. S. Rim, "Optical structural design using Gaussian optics for multiscale gigapixel camera," Korean J. Opt. Photon. 24, 311-317 (2013).

10.3807/KJOP.2013.24.6.311
8

C. S. Rim, "The design of telecentric lenses and fly-eye lenses by utilizing formula," Korean J. Opt. Photon. 24, 9-16 (2013).

10.3807/KJOP.2013.24.1.009
9

W. J. Smith, Modern Optical Engineering: The Design of Optical Systems, 3rd ed. (McGraw-Hill, NY, USA, 2000).

10

E. J. Tremblay, D. L. Marks, D. J. Brady, and J. E. Ford, "Design and scaling of monocentric multiscale imagers," Appl. Opt. 51, 4691-4702 (2012).

10.1364/AO.51.00469122781244
11

D. J. Brady and N. Hagen, "Multiscale lens design," Opt. Express 17, 10659-10674 (2009).

10.1364/OE.17.01065919550462
페이지 상단으로 이동하기