Korean Journal of Optics and Photonics. June 2019. 106-113
https://doi.org/10.3807/KJOP.2019.30.3.106


ABSTRACT


MAIN

  • I. 서 론

  • II. 기본영상의 재배열

  • III. 재배열과 깊이 표현영역

  • IV. 불연속성의 개선

  •   4.1. 각변위 불연속성 개선

  •   4.2. 횡변위 불연속성 개선

  • V. 결상면 위치에 따른 불연속성의 비교 실험

  • VI. 결 론

I. 서 론

최근 3차원 디스플레이 기술은 영화, 전시, 광고 등 다양한 분야에서 활용되고 있고, 상용화의 적용범위가 점차 증가하고 있다. 일반적으로 3차원 디스플레이 기술은 안경식과 무안경식으로 나눠진다. 안경식은 3차원 디스플레이 기술로 상용화된 방식이지만, 안경을 써야 하는 불편함과 하나의 시점만 제공되는 한계, 눈의 피로감 누적 등의 단점이 있다. 반면에, 무안경식은 안경과 같은 별도의 장치 없이 3차원 영상의 구현이 가능한 기술로서 렌티큘러 렌즈 방식과 패럴랙스 배리어 방식, 집적영상 방식 등이 있다[1-3]. 그중, 집적영상은 1908년 Lippmann에 의해 제안된 방법으로 획득단계에서 렌즈어레이를 이용하여 대상 물체의 다시점 2차원 기본영상을 획득하고, 재생단계에서 획득한 기본영상을 합성하여 연속적인 3차원 영상을 구현한다[4]. 그러나 집적영상에서는 획득 및 재생 결상계의 대칭성 때문에 대상 물체의 깊이 표현영역이 반대가 되는 깊이역전이 발생한다. 즉, 기본영상의 획득과 재생 시 물체를 관찰하는 시점이 서로 반대이기 때문에 물체의 오목한 깊이 표현영역과 볼록한 깊이 표현영역이 서로 반대로 보이는 깊이역전이 나타난다[5].

이러한 문제를 해결하기 위해 기본영상 재배열을 비롯하여 다양한 연구가 진행되어 왔다. PGR (parallel group rendering)방법은 기본영상을 픽셀 단위로 나누어 시점영상 정보에 따라 배열하는 방식으로 디스플레이와 렌즈어레이 사이의 거리가 초점거리인 초점모드(focused mode)로 재생된다[6]. 이와 달리, VVR (viewpoint vector rendering)방법은 시점영상을 복수의 픽셀 단위로 재배열하여 실상모드(real mode)와 허상모드(virtual mode)의 선택적인 재생이 가능하다[7]. PGR방법과 VVR방법은 획득단계와 재생단계에서 시점영상 방향이 일치하도록 기본영상을 재배열하여 관측자가 대상 물체와 동일한 깊이 표현영역을 느끼도록 한다. 그러나 이 방법들은 2차원의 기본영상 정보가 시점영상으로 재분할되므로 2차원 시점영상들 사이에 불연속성이 나타난다[8]. 이러한 불연속성을 개선하기 위해 다양한 방법이 제안되고 있다. SMV (super multi-view)는 시점의 개수를 증가시켜 동공보다 작은 간격으로 시점을 배치하여 관측자의 단안에 2개 이상의 시점영상을 제공한다[9-12]. 이는 시점의 개수를 증가시켜 불연속성을 감소시킬 수 있다. 그러나 시점의 개수를 증가시키는 방법은 해상도의 감소라는 단점을 수반하고 있다. 또 다른 방식인 동공 추적은 시점 개수의 변화 없이 관측자의 동공을 추적하여 시점영상을 변환한다. 이 방법은 적은 시점의 개수로 높은 해상도를 유지할 수 있으나 관측자의 수가 증가하는 경우 관측자의 위치를 정확하게 파악하기 힘든 기술적 한계가 있다[13].

이러한 문제의 해결을 위하여 획득단계에서 수렴광축 배열을 활용할 수 있다. 집적영상에서 수렴광축 배열을 활용한 경우는 커브형 렌즈어레이를 이용한 것인데 수렴광축으로 기본영상을 획득하고, 커브형 디스플레이로 재생함으로써 시야각과 깊이감을 개선하는 연구이다[14,15]. 본 논문에서는 수렴광축 배열을 기본영상 재배열과 결합하여 해상도 저하 없이 불연속성을 개선하는 방법을 연구하였다. 이 방법은 획득단계에서 카메라의 광축을 수렴시켜 실상모드와 허상모드를 동시에 구현하고, 광축의 수렴지점을 기준으로 물체를 표현함으로써 불연속성이 최소화된 영상을 재생한다. 재배열법과 기본영상, 깊이 표현영역 사이의 관계를 분석하고 제안된 방법의 유효성을 실험적으로 검증하였다.

II. 기본영상의 재배열

기본영상 재배열은 그림 1과 같이 특정 방향에서 바라본 물체정보를 재생단계에서 깊이역전 없이 동일한 방향으로 재생할 수 있도록 기본영상 정보를 분할하여 재배열하는 방법이다. 이때, 렌즈어레이를 통해 획득한 기본영상은 각각의 시점영상이 되며, 식 (1)과 같이 각각의 크기가 M × N인 행렬 Aij로 나타낼 수 있다.

$$A_{ij}=\;\begin{bmatrix}a_{11ij}&\cdots&a_{1Nij}\\\vdots&\ddots&\vdots\\a_{M1ij}&\cdots&a_{MNij}\end{bmatrix}$$ (1)

이때, 전체 기본영상 배열 수를 I×J라 하면, 전체 기본영상은 식 (2)와 같이 개별 시점에 대한 기본영상의 배열 수가 I×J이고, 각각 기본영상의 크기가 M×N인 부분행렬로 표현할 수 있다.

$$A=\begin{bmatrix}\begin{bmatrix}a_{1111}&\cdots&a_{1N11}\\\vdots&\ddots&\vdots\\a_{M111}&\cdots&a_{MN11}\end{bmatrix}&\cdots&\begin{bmatrix}a_{111J}&\cdots&\;a_{1N1J}\\\vdots&\ddots&\vdots\\a_{M11J}&\cdots&a_{MN1J}\end{bmatrix}\\\vdots&\ddots&\vdots\\\begin{bmatrix}a_{11I1}&\cdots&a_{1N\;I1}\\\vdots&\ddots&\vdots\\a_{M1I1}&\cdots&a_{MNI1}\end{bmatrix}&\cdots&\begin{bmatrix}a_{11IJ}&\cdots&a_{1N\;IJ}\\\vdots&\ddots&\vdots\\a_{M1IJ}&\cdots&a_{MNIJ}\end{bmatrix}\end{bmatrix}=\begin{bmatrix}A_{11}&\cdots&\;A_{1J}\\\vdots&\ddots&\vdots\\\;A_{I1}&\cdots&A_{IJ}\end{bmatrix}$$ (2)

기본영상 재배열은 서로 다른 시점의 기본영상을 재조합하여 재생하는 방법으로 재생영상의 왜곡 없이 도립상과 정립상, 실상, 허상 변환뿐만 아니라 재생 물체의 깊이 변환도 가능하다. 식 (2)와 같이 시점별 기본영상의 크기가 M×N이고 기본영상의 배열이 I×J인 A를 각 기본영상의 크기가 I×J,배열이 M×N인 기본영상 B'로 재배열하는 경우 기본영상의 재배열 방법은 다음과 같다. 먼저, 재배열 기본영상이 되는 부분영상 B'mn을 다음 식 (3)과 같이 정의할 수 있다.

$$B'_{mn}=\;\begin{bmatrix}b'_{11mn}&\cdots&b'_{1Jmn}\\\vdots&\ddots&\vdots\\b'_{I1mn}&\cdots&b'_{IJmn}\end{bmatrix}$$ (3)

이때, M×N의 크기를 갖는 시점별 기본영상 Aij에서 영상픽셀 성분 amnij는 재배열 기본영상에서 I×J의 크기를 갖는 각 기본영상 B'mn의 영상픽셀 성분 b'ijmn=amnij로 대응된다. 여기서 영상픽셀 성분 b'ijmn은 아래 식 (4)와 같이 재배열된 기본영상 B'의 성분을 나타낸다.

$$B'=\begin{bmatrix}B'_{11}&\cdots&B'_{1N}\\\vdots&\ddots&\vdots\\B'_{M1}&\cdots&B'_{MN}\end{bmatrix}=\begin{bmatrix}\begin{bmatrix}a_{1111}&\cdots&a_{111J}\\\vdots&\ddots&\vdots\\a_{11I1}&\cdots&a_{11IJ}\end{bmatrix}&\cdots&\begin{bmatrix}a_{1N11}&\cdots&a_{1N1J}\\\vdots&\ddots&\vdots\\a_{1NI1}&\cdots&a_{1NIJ}\end{bmatrix}\\\vdots&\ddots&\vdots\\\begin{bmatrix}a_{M111}&\cdots&a_{M11J}\\\vdots&\ddots&\vdots\\a_{M1I1}&\cdots&a_{M1IJ}\end{bmatrix}&\cdots&\begin{bmatrix}a_{MN11}&\cdots&a_{MN1J}\\\vdots&\ddots&\vdots\\a_{MNI1}&\cdots&a_{MNIJ}\end{bmatrix}\end{bmatrix}$$ (4)

이때, 실상모드로 구현하기 위해 식 (4)와 같이 재배열된 기본영상 B'의 개별 기본영상 B'mn을 180도 회전하는 bmnij=aI-i+1J-j+1mn 관계식을 사용하면 최종적으로 그림 1과 같이 재배열된 기본영상 B를 획득할 수 있다.

$$B=\begin{bmatrix}B_{11}&\cdots&B_{1N}\\\vdots&\ddots&\vdots\\B_{M1}&\cdots&B_{MN}\end{bmatrix}=\begin{bmatrix}\begin{bmatrix}a_{11IJ}&\cdots&a_{11I1}\\\vdots&\ddots&\vdots\\a_{111J}&\cdots&a_{1111}\end{bmatrix}&\cdots&\begin{bmatrix}a_{1NIJ}&\cdots&a_{1NI1}\\\vdots&\ddots&\vdots\\a_{1N1J}&\cdots&a_{1N11}\end{bmatrix}\\\vdots&\ddots&\vdots\\\begin{bmatrix}a_{M1IJ}&\cdots&a_{M1I1}\\\vdots&\ddots&\vdots\\a_{M11J}&\cdots&a_{M111}\end{bmatrix}&\cdots&\begin{bmatrix}a_{MNIJ}&\cdots&a_{MNI1}\\\vdots&\ddots&\vdots\\a_{MN1J}&\cdots&a_{MN11}\end{bmatrix}\end{bmatrix}$$ (5)

그 결과, 획득한 기본영상 A의 시점 방향이 재배열 기본영상 B의 재생 방향과 일치하여 깊이역전 문제가 해결된 3차원 영상을 획득할 수 있다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F1.jpg
Fig. 1.

Elemental image remapping for depth conversion.

III. 재배열과 깊이 표현영역

PGR방법은 그림 2와 같이 기본영상을 개별 픽셀 단위로 분할하여 재배열하는 방법으로 초점모드(focused mode)로 구현된다. 이러한 초점모드는 디스플레이의 해상도를 최대로 활용한 시점영상 재생이 가능하다. VVR방법은 기본영상을 재배열함에 있어 재배열되는 분할영상의 위치가 PGR과 동일하나 분할영상이 시점정보를 담은 픽셀들의 집합이 되므로 그 위치에서 분할영상의 도립상과 정립상을 선택할 수 있다. 이 조건에 따라 재생 시에 실상모드와 허상모드에 대한 선택적 재생이 가능한 장점이 있다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F2.jpg
Fig. 2.

Perspectives generated by remapping of elemental images.

PGR방법과 VVR방법을 이용하여 기본영상을 재배열하면, 기본영상이 획득되는 방향과 재생되는 방향이 일치함에 따라 깊이역전 문제가 해결된다. 이때, 렌즈어레이를 통해 획득한 물체의 깊이 표현영역은 기본영상 내에서 물체의 위치 차이로 나타나고, 재생단계에서 물체의 깊이 표현영역에 영향을 준다. 즉, 3차원 재생 물체의 깊이 표현영역 변화는 렌즈어레이의 배열 특성에 영향을 받는다.

이때, 광축 배열 조건은 물체의 깊이 표현영역에 영향을 주는 중요한 요소이다. 깊이 표현영역에 연관된 광축의 조건은 그림 3과 같이 평행광축과 수렴광축으로 나누어 고려할 수 있다. 여기서 물체정보가 양안시차에 미치는 영향에 따라 시차의 종류를 나눌 수 있다. 디스플레이와 같은 면에 형성되는 물체정보를 영의 시차(zero parallax)라고 하고, 영의 시차를 기준으로 렌즈어레이 앞에 형성되는 양안시차를 음의 시차(negative parallax), 뒤에 형성되는 양안시차를 양의 시차(positive parallax)로 정의한다. 시차는 관측자의 위치와 디스플레이 및 재생되는 물체 사이의 거리에 의해 결정되며, 음의 시차가 작용하여 재생되는 깊이 표현영역은 실상모드이고 양의 시차가 작용하여 재생되는 깊이 표현영역은 허상모드이다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F3.jpg
Fig. 3.

Relations between the reconstruction mode and parallax according to the pick-up method.

평행광축 조건인 그림 3(a)의 경우, 카메라가 왼쪽에서 오른쪽으로 이동할 때 원과 세모의 물체정보는 오른쪽에서 왼쪽으로 이동한다. 즉, 카메라의 위치 이동 방향과 반대 방향으로 물체정보가 획득되므로 기본영상의 물체정보는 원과 세모 모두 음의 시차만을 가지게 된다. 그 결과, 실상모드와 허상모드 중 하나만 선택적으로 재생이 가능하다. 이때, 물체가 재생되는 위치는 카메라로부터 물체까지의 거리에 의해 결정된다. 반면에, 수렴광축 조건인 그림 3(b)의 경우, 광축이 수렴하는 지점을 기준으로 앞에 있는 원의 물체정보는 음의 시차를 가진다. 그러나 뒤에 있는 세모의 물체는 카메라가 왼쪽에서 오른쪽으로 이동할 때 역시 왼쪽에서 오른쪽으로 이동한다. 즉, 카메라의 위치 이동방향과 동일한 방향으로 물체정보가 획득되므로 세모 물체정보는 양의 시차를 가지게 된다. 그 결과, 실상모드와 허상모드의 동시 재생이 가능하다. 이때, 물체의 결상면 위치는 수렴지점의 위치에 따라 결정되기 때문에 카메라로부터 물체거리를 변화시키지 않고 결상면의 위치 설정이 가능하다.

광축이 수렴하는 조건은 결상면의 위치를 자유롭게 조절할 수 있으며, 영의 시차로 작용하는 깊이 표현영역을 구현할 수 있기에 결상면의 위치를 조절하는 불연속성 개선에 효율적이다. 이를 통해, 실상모드와 허상모드의 경계부에 물체 결상면을 구현할 수 있고, 물체거리에 따른 물체정보의 변화 없이 수렴지점의 위치에 따라 원하는 결상면에 재생물체의 구현이 가능하다.

IV. 불연속성의 개선

4.1. 각변위 불연속성 개선

깊이역전을 해소하기 위해 재배열된 기본영상을 이용하여 물체에 대한 3차원 영상을 재생하면 물체에 대한 정보가 끊겨 보이는 불연속성 문제가 발생한다. 그림 4는 재배열 기본영상에 의한 재생단계를 확대한 모식도이다. 이때, 단일렌즈의 시야각은 기본영상에 포함된 가장자리 시점정보가 결상되는 방향 사이의 각도를 의미하며, 식 (6)과 같이 표현된다.

$$\theta=2\tan^{-1}\left\{\frac{P_L}{2f}\right\}$$ (6)

여기서 PL은 기본영상의 크기, f는 기본렌즈의 초점거리이다. 그리고 시점의 개수가 m이라고 하면, 이웃한 시점영상 사이의 각도 차이는 식 (7)과 같이 표현된다.

$$\theta'=\frac2{m-1}\tan^{-1}\left\{\frac{P_L}{2f}\right\}$$ (7)

재배열 집적영상의 해상도는 기본영상을 시점의 개수만큼 분할한 것으로 나타낼 수 있으므로, 해상도 RR = Ro/m이고 시점의 개수가 증가할수록 해상도가 감소하게 된다. 여기서 Ro는 디스플레이의 해상도이다. 그러나 해상도를 높이기 위해 시점의 개수를 감소시키면, 이웃한 시점 사이의 간격이 커져서 재생영상의 불연속성이 크게 나타난다.

이때, 재배열 기본영상에서 재생영상에 대한 전체 시점의 개수는 기본영상에서 시점별 기본영상의 분할 크기와 동일하기 때문에 불연속성은 기본영상에서 시점별 기본영상의 분할 크기에 영향을 받는다. 불연속성은 개별 시점영상 사이의 각도에 비례하므로 동일한 조건에서 재배열 기본영상에서 시점의 수를 증가시켜 개별 시점영상 사이의 각도를 줄이면 불연속성은 감소하게 된다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F4.jpg
Fig. 4.

Viewing angle of a single lens in a lens array with remapped elemental images.

4.2. 횡변위 불연속성 개선

재생영상의 불연속성을 크게 만드는 또 하나의 요소는 재생상의 위치이동이다. 위치 이동에 대한 불연속성은 재생되는 결상면의 위치에 비례한다. 그림 5는 위치 이동에 따른 불연속성을 나타낸 것이다. 재배열 기본영상을 이용하여 d1d2의 위치에 물체를 재생시킬 때, 재생영상의 집적된 물체거리 d가 증가하면, 결상 위치에 따른 시점 차이 q가 증가한다. q가 증가하면 운동시차가 증가하여 불연속성도 증가하게 된다. 그 결과, 불연속성은 이웃한 시점영상 간의 차이와 함께 집적된 물체 위치인 결상면에 영향을 받게 되므로 불연속성 정도 Q는 식 (8)과 같이 나타낼 수 있다.

$$Q=\frac{2d}{m-1}\tan^{-1}\left(\frac{P_L}{2f}\right)$$ (8)

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F5.jpg
Fig. 5.

Lateral quantization with respect to the depth distance.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F6.jpg
Fig. 6.

Pick-up process with 5 × 5 camera array by using (a) converging and (b) parallel optical axes.

V. 결상면 위치에 따른 불연속성의 비교 실험

물체가 구현되는 결상면의 위치와 불연속성과의 관계를 확인하고, 불연속성 문제가 최소화되는 조건을 확인하기 위한 실험을 수행하였다. 획득단계에서 광축의 수렴조건과 평행조건을 설정하기 위해 CGII (computer generated integral imaging)를 사용하였고, 획득방법은 그림 6과 같다. 이때, 광축의 수렴조건은 재생물체에 대한 결상면의 위치를 결정하는 중요한 요소이다. 수렴광축의 경우 수렴지점이 물체의 중앙에 있어 재생단계에서 수렴지점을 기준으로 재생영상의 결상면이 렌즈어레이에 근접할수록 불연속성은 최소화된다. 반면에, 평행광축의 경우 수렴지점이 무한대에 위치하므로 물체가 재생되는 결상면의 위치 차이는 수렴광축보다 커져서 불연속성이 커진다. 물체의 깊이 표현에 연관되는 기본영상의 물체 위치정보는 물체와 카메라의 상대적 위치에 의해 결정된다. 따라서 광축 조건을 제외한 물체와 카메라 사이의 상대적 위치는 수렴광축과 평행광축에서 동일하게 설정하였다.

물체는 밑면의 한 변이 70 cm, 높이가 100 cm인 정사각뿔 모형을 사용하였다. 그리고 수렴광축과 평행광축 획득에 사용한 카메라 배열은 5 × 5이고, 카메라 광각은 40도, 카메라 간의 간격 dcp는 15 cm, 카메라에서부터 물체중심까지의 거리인 물체거리 d는 100 cm로 하였다. 이때, 수렴광축에서 광축의 수렴지점은 물체의 중심에 위치한다.

수렴광축과 평행광축을 사용하여 획득한 기본영상은 그림 7과 같이 배열 수 5 × 5, 시점별 기본영상의 해상도 300 × 300이다. 수렴광축을 이용하여 획득한 기본영상의 물체정보는 수렴지점의 위치로 인해 각 시점별 기본영상의 중앙을 기준으로 그림 7(a)와 같이 분포한다. 이때, 물체정보는 앞면이 음의 시차이며, 뒷면이 양의 시차로 작용한다. 그 결과, 이웃한 기본영상 간의 물체정보 위치 차이가 최소화된다. 반면에, 평행광축에 의한 기본영상은 그림 7(b)와 같고 각 카메라의 위치에 따라 광축이 이동하게 되므로 이웃한 기본영상에 담긴 물체정보의 위치 차이가 크게 나타난다. 이때, 기본영상의 위치에 따른 물체정보는 모두 음의 시차로 작용한다. 그 결과, 이웃한 기본영상 간의 물체정보 위치 차이가 수렴광축의 경우보다 크게 되어 불연속성이 커진다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F7.jpg
Fig. 7.

5 × 5 elemental images obtained by using (a) converging and (b) parallel pick-up.

수렴광축과 평행광축을 이용해 획득한 기본영상은 재배열 과정을 통해 그림 8과 같이 50 × 50의 재배열 기본영상으로 변환되었다. 그림 8(a)는 수렴광축을 이용하여 획득한 기본영상의 재배열 기본영상이며, 시점별로 나뉘어진 물체정보가 밀집한 형태로 재배열된다. 반면에, 그림 8(b)는 평행광축을 이용하여 획득한 기본영상의 재배열 기본영상으로 시점별로 나뉘어진 물체정보가 상대적으로 분산된 형태로 나타난다. 뿐만 아니라, 재배열 기본영상 내에서 시점별 기본영상은 방향별 시점의 영상 정보가 선명하게 구별된 형태로 나타난다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F8.jpg
Fig. 8.

50 × 50 remapped elemental images from (a) converging and (b) parallel pick-up.

재배열 기본영상을 이용하여 재생영상의 결과를 확인하기 위한 실험구성은 그림 9와 같다. 재배열 기본영상을 재생하기 위해 초점거리가 3.00 mm이고, 크기가 1.00 mm × 1.00 mm인 렌즈로 구성된 렌즈어레이를 사용하였다. 그리고 디스플레이는 해상도가 2960 × 1440이고 픽셀의 크기가 522 ppi인 AMOLED 디스플레이를 사용하였다. 이때 디스플레이와 렌즈어레이 사이의 거리는 0.01 mm 분해능의 z축 스테이지를 사용하여 조절하였다. 또한 렌즈어레이로부터 관측 카메라까지의 거리는 50 cm이다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F9.jpg
Fig. 9.

Experimental setup.

재생단계의 카메라 C-2,0, C0,0, C2,0의 위치에 해당하는 시점영상은 그림 10과 같고, 수직적으로 배열하여 비교하였다. 우선, 사각뿔 물체의 정보에서 돌출된 꼭짓점의 물체정보를 OA라고 하고, 사각뿔 물체 바닥의 임의의 한 꼭짓점을 OB라고 하였다. 관측 위치가 왼쪽에서 오른쪽으로 변할 때 OA는 오른쪽에서 왼쪽으로 이동하지만, OB는 왼쪽에서 오른쪽으로 이동한다. 즉, OA는 음의 시차로 작용하여 실상모드에서 재생되고 있고, OB는 양의 시차로 작용하여 허상모드에서 재생되고 있는 것을 볼 수 있다. 실험 결과를 통해 수렴광축을 이용하여 재배열된 기본영상을 재생할 경우 수렴지점을 기준으로 깊이영역이 확장되어 실상모드와 허상모드가 동시에 재생됨을 확인할 수 있다. 또한 관측자에게 가까운 OA의 시차가 OB의 시차보다 크게 발생함으로 인해 물체의 깊이 표현이 실제 3차원의 원근에 따라 재생되고 있는 것을 확인할 수 있다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F10.jpg
Fig. 10.

Depth range extension with remapped elemental images of a converging optical axis.

기본영상 재배열에 의한 불연속성 정도를 확인하기 위해, 수렴광축과 평행광축 각각에 의한 기본영상을 획득하고 재생한 영상 결과가 그림 11이다. 그림 11(a)와 11(b)는 각각 수렴광축과 평행광축을 이용하여 획득한 재배열 기본영상에 대한 C-1,0, C0,0, C1,0 위치에서의 시점영상 결과이다. 여기서 시점영상의 개수는 5개, 기본영상의 크기는 1.00 mm × 1.00 mm, 렌즈의 초점거리는 3.00 mm이다. 이웃한 재생물체 사이의 차이는 관측자 위치에 따른 불연속성 범위를 의미하며 결상면의 위치에 따라 결정된다. 결상면의 위치는 수렴광축에서 물체정보 OA를 기준으로 C-1,0부터 C1,0까지 측정된 불연속성 범위와 평행광축에서 C′-1,0부터 C′1,0까지 측정한 불연속성 범위의 비교를 통해 확인할 수 있다. 수렴광축의 경우 불연속성 q1은 4.5 mm가 발생하였고, 평행광축의 경우 불연속성 q2는 15.0 mm가 발생하였다. 따라서 수렴광축의 불연속성 q1이 평행광축의 불연속성 q2보다 작기 때문에 관측자에게 재생물체가 상대적으로 연속으로 보임을 알 수 있다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F11.jpg
Fig. 11.

Depth plane comparison by measuring quantization of a reconstructed image with (a) converging and (b) parallel optical axes.

그림 12는 수렴광축과 평행광축에 의해 재배열된 기본영상을 이용한 최종 재생영상이다. 5개의 개별 시점에 대한 관측 위치는 수렴광축에 의한 실험결과(그림 12(a))와 평행광축에 의한 실험결과(그림 12(b))가 동일하다. 물체정보는 각 위치에서 수렴광축의 재생영상과 평행광축의 재생영상이 동일하지만, 수렴광축을 이용한 재배열 기본영상을 재생하였을 경우 물체의 결상면 위치가 렌즈어레이에 근접하고 있기 때문에 불연속성이 작아짐을 알 수 있다. 반면에, 평행광축을 이용한 재배열 기본영상은 물체의 결상면 위치가 렌즈어레이에서 멀어지기 때문에 불연속성이 수렴광축에 비해 커짐을 알 수 있다. 뿐만 아니라, 평행광축에 의한 재배열 기본영상은 그림 12(b)의 ±55 mm 위치에서 플리핑 왜곡을 수반하게 된다. 그림 12(b)에서 불연속성 문제로 인해 물체의 가장자리 부분이 완전히 재생되지 못하는 왜곡과 이웃한 시점영상이 개입하는 왜곡이 발생하고 있기 때문이다. 그러나 그림 12(a)에서 수렴광축에 의해 재배열 기본영상을 사용한 재생영상은 위의 두 가지 왜곡이 개선되었음을 확인할 수 있다.

http://static.apub.kr/journalsite/sites/kjop/2019-030-03/N0140300304/images/kjop_30_03_04_F12.jpg
Fig. 12.

Reconstructed images by integrating at five different perspectives with (a) converging and (b) parallel optical axes.

VI. 결 론

본 논문에서는 집적영상에서 기본영상 재배열에 의한 불연속성 문제를 해상도 저하 없이 개선하기 위한 조건을 제안하였다. 획득단계에서 수렴광축을 이용하여 획득한 기본영상을 재배열하여 재생하는 경우, 재생영상의 깊이 표현영역이 확장되어 실상모드와 허상모드에서 동시에 구현됨을 확인하였다. 또한, 기본영상 재배열에 의한 불연속성 정도를 정량적으로 확인하였고, 기본영상 재배열에 의한 불연속성 최소화의 조건을 확인하였다. 이를 위해, 수렴광축과 평행광축 획득 재배열 기본영상 사이의 불연속성 정도를 비교하였다. 동일한 실험 조건하에서 수렴광축에 의한 불연속성 q1은 4.5 mm이고, 평행광축에 의한 불연속성 q2는 15.0 mm이었다. 그 결과, 수렴광축 획득 재배열 기본영상을 사용하면, 해상도 저하 및 깊이정보에 대한 손실 없이 평행광축 획득 재배열 기본영상보다 불연속성이 감소하는 것을 알 수 있다.

감사의 글

이 논문은 2017년도 교육부의 재원으로 한국연구재단 기초연구사업의 지원으로 수행되었습니다. (NRF-2017R1D1A3B03030946).

References

1 

B.-S. Kim, K.-W. Kim, K.-H. Lee, and W.-S. Park, “Optical analysis for the 3D display with a lenticular array,” J. Korean Inst. Electr. Electron. Mater. Eng. 26, 534-538 (2013).

10.4313/JKEM.2013.26.7.534
2 

M. Park and H.-J. Choi, “A three-dimensional transparent display with enhanced transmittance and resolution using an active parallax barrier with see-through areas on an LCD panel,” Curr. Opt. Photon. 1, 95-100 (2017).

10.3807/COPP.2017.1.2.095
3 

M. Martínez-Corral and B. Javidi, “Fundamentals of 3D imaging and displays: a tutorial on integral imaging, light-field, and plenoptic systems,” Adv. Opt. Photon. 10, 512-566 (2018).

10.1364/AOP.10.000512
4 

G. Lippmann, “Integral photography,” C. R. Acad. Sci. 146, 446-451 (1908).

5 

J.-I. Ser and S.-H. Shin, “Depth-Conversion in integral imaging three-dimensional display by means of elemental image recombination,” Korean J. Opt. Photon. 18, 24-30 (2007).

10.3807/HKH.2007.18.1.024
6 

S.-W. Min, J. Kim, and B. Lee, “New characteristic equation of three-dimensional integral imaging system and its applications,” Jpn. J. Appl. Phys. 44, L71-L74 (2005).

10.1143/JJAP.44.L71
7 

J. Yim, Y.-M. Kim, and S.-W. Min, “Real object pickup method for real and virtual modes of integral imaging,” Opt. Eng. 53, 073109 (2014).

10.1117/1.OE.53.7.073109
8 

J. Jung, K. Hong, G. Park, I. Chung, J. Park, and B. Lee, “Reconstruction of three-dimensional occluded object using optical flow and triangular mesh reconstruction in integral imaging,” Opt. Express 18, 26373-26387 (2010).

10.1364/OE.18.02637321164988
9 

Y. Takaki, K. Tanaka, and J. Nakamura, “Super multi-view with lower resolution flat-panel display,” Opt. Express 19, 4129-4139 (2011).

10.1364/OE.19.00412921369242
10 

M. Tanimoto, M. P. Tehrani, T. Fujii, and T. Yendo, “Free-viewpoint TV,” IEEE Signal Process. Mag. 28, 67-76 (2011).

10.1109/MSP.2010.939077
11 

M.-K. Kang, H.-P. Nguyen, D. Kang, S.-G. Park, and S.-K. Kim, “Adaptive viewing distance in super multi-view displays using aperiodic 3-D pixel location and dynamic view indices,” Opt. Express 26, 20661-20679 (2018).

10.1364/OE.26.020661
12 

Y. Takaki, Y. Urano, and H. Nishio, “Motion-parallax smoothness of short-, medieum-, and long-distance 3D image presentation using multi-view display,” Opt. Express 20, 27180-27197 (2012).

10.1364/OE.20.02718023187574
13 

K.-H. Yoon, M.-K. Kang, H. Lee, and S.-K. Kim, “Autostereoscopic 3D display system with dynamic fusion of the viewing zone under eye tracking: principles, setup, and evaluation [Invited],” Appl. Opt. 57, A101-A117 (2018).

10.1364/AO.57.00A10129328135
14 

D. Shin, B. Lee, and E. Kim, “Multidirectional curved integral imaging with large depth by additional use of a large-aperture lens,” Appl. Opt. 45, 7375-7381 (2006).

10.1364/AO.45.00737516983427
15 

J. Jang, D. Shin, and E. Kim, “Improved 3-D image reconstruction using the convolution property of periodic functions in curved integral-imaging,” Opt. Lasers Eng. 54, 14-20 (2014).

10.1016/j.optlaseng.2013.09.011
페이지 상단으로 이동하기