Regular Paper

Korean Journal of Optics and Photonics. June 2020. 134-141
https://doi.org/10.3807/KJOP.2020.31.3.134


ABSTRACT


MAIN

  • I. 서 론

  • II. 디지털 프린지 투사 시스템 높이 측정 원리

  •   2.1. 측정 기본원리

  •   2.2. 물체높이 측정방법

  • III. LCD 감마비선형 에러 개선

  •   3.1. LCD 감마비선형 에러 영향

  •   3.2. 기존 LCD 감마비선형 에러 해결방법

  •   3.3. 개선된 LCD 감마비선형 에러 해결방법

  • IV. 실험 방법 및 결과

  •   4.1. 광도전달함수 측정

  •   4.2. LCD 감마비선형 에러에 의한 영향 분석

  •   4.3. 시스템 실험을 통한 결과분석

  • V. 결 론

I. 서 론

디지털 프린지 투사 기술을 활용한 3차원 광학 비접촉 형태 측정방법은 많은 응용에 활용되고 있으며 이는 위상변이(phase shift) 기술을 사용하고 있다. 측정된 데이터의 정확도는 위상변위와 측정물체에 투사된 디지털 프린지 패턴의 정확도와 밀접한 관계가 있다[1]. 정확한 디지털 프린지 패턴을 측정물체에 투사하고 반사된 빛을 카메라에서 정확히 얻는 것은 시스템 성능에 매우 중요한 요소이다. 3차원 디지털 프린지 투사 광학시스템을 활용할 수 있는 분야 중 하나는 웨이퍼 패키징 분야이다. 크기가 작으며 비용절감, 고용량, 고집적도 기술적 요구에 따라 WLCSP (wafer level chip scale package) 또는 flip chip을 위한 웨이퍼 범프 형성에 대한 기술이 지속적으로 발전하고 있으며 웨이퍼에 범프가 잘 형성되었는지를 검사할 수 있는 기술이 필요하게 되었다. 3차원 디지털 프린지 투사 광학시스템을 이용하면 웨이퍼 범프 높이를 측정하여 웨이퍼 범프 품질을 측정할 수 있다[2], [3]. 범프 크기가 수 µm 내지 수십 µm이므로 범프에 투사되는 디지털 프린지 패턴의 정확도가 범프 높이 측정에 매우 중요한 요소 중에 하나이다. 프린지 패턴 투사모듈로서 아날로그 방식인 Ronchi ruling 방식보다는 LCD 등을 이용한 디지털 방식이 위상이동 오차로부터 자유롭고 정확한 디지털 프린지 패턴을 컴퓨터에서 소프트웨어적으로 조작할 수 있다[4].

측정 위상오차에 영향을 주는 요소는 크게 시스템 요소와 랜덤 요소로 분류할 수 있으며 시스템 요소는 가급적 배제를 할 수 있도록 하여야 한다. 시스템 요소는 LCD 감마비선형(gamma non-linearity), 렌즈왜곡오차(lens distortion error), 비선형캐리어 위상오차(non-linear carrier phase error), 형상교정오차(geometry calibration error) 등이 있으며, 측정물체의 reference surface에 대한 위상정보를 측정물체 위상에서 제거하는 reference phase subtraction 방법으로 측정 위상오차를 줄이는 방법이 있다[5], [6].

그러나 카메라에서는 LCD 감마비선형요소에 의한 왜곡된 디지털 프린지 패턴이 측정물체에 투사되어 반사된 값을 얻게 된다[7]. 이는 측정 위상오차에 크게 영향을 미치기 때문에 물체 측정높이 정확도에 크게 영향을 주므로 LCD 감마비선형 요소를 줄이는 것은 매우 중요하다. 이를 해결하기 위한 방법으로 LCD 투사모듈에 대한 감마광도계 조절(photometric calibration)을 하는 방법[8]이 있으나 공장 출하시 세팅과 컴퓨터 시스템에 영향을 받는다. LCD 투사 빛에 대한 카메라를 포함한 전체적인 시스템에 대한 함수를 구하여 비선형을 보상하는 방법[9]이 있으나 투사모듈, 카메라, 측정환경에 영향을 받는다. 프린지 패턴 영상으로부터 통계적으로 사인파 함수의 CDF (cumulative distribution function)을 구하여 감마비선형을 보상하는 방법[10]이 있으나 계산이 복잡하여 실제 적용하기에 힘들다. 다른 방법으로 디지털 프린지 투사 시스템에서 광도전달함수를 구하여 선형구간만 광도전달함수의 역함수 테이블을 만들어 감마비선형을 보상하는 방법이 있다[1]. 이 방법은 간단하고 실제 물체 측정에 적용하기 쉬우나 선형구간에 대한 광도전달함수의 역함수의 정확도를 개선할 필요가 있으며 선형구간이 작을 경우 투사 빛의 레벨이 제한되는 단점이 있다.

이를 개선하기 위하여 본 논문에서는 개선된 광도전달함수의 역함수를 구하는 방법을 제시하고 실험을 통하여 얻은 광도전달함수를 활용하여 디지털 프린지 패턴 개선에 대하여 기술하였다.

제2장에서는 디지털 프린지 투사 시스템에 대한 원리를 고찰하고, 제3장에서는 LCD 감마비선형 에러 개선에 대한 방법을 설명하고, 제4장에서는 실험을 통하여 개선된 효과를 서술하였다.

II. 디지털 프린지 투사 시스템 높이 측정 원리

디지털 프린지 투사 광학시스템 원리는 그림 1과 같이 디지털 프린지 패턴을 LCD에 형성하고 빛을 투사하여 물체에 디지털 프린지 패턴이 도달할 수 있도록 구성된 부분과 물체에 투사된 디지털 프린지 패턴의 반사 빛을 수집하는 카메라 부분으로 크게 구성되어 있다.

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F1.jpg
Fig. 1.

Basic principle of the digital fringe system for measuring the height of a 3D object.

2.1. 측정 기본원리

컴퓨터로 생성된 디지털 프린지 패턴을 LCD에 투사하고 LCD에 그림 1과 같이 빛을 투사하면 물체 높이에 따라 디지털 프린지 패턴에 위상왜곡이 발생한다. 위상왜곡은 측정물체 높이와 상관관계를 가지는 위상차를 가지며 이를 통하여 측정물체 높이를 구할 수 있다[4], [7], [11].

$$h(x,y)=\frac{p(x,y)}{2\pi\tan\beta}(\varnothing_o(x,y)-\varnothing_r(x,y))=k(x,y)\triangle\varnothing(x,y)$$ (1)

h(x,y)는 측정물체 높이, p(x,y)는 측정물체에 투사된 디지털 프린지 패턴 주기, β는 투사각도(그림 1 참조), k(x,y)p(x,y)2πtanβ으로 p(x,y)β가 상수이므로 상수, o(x,y)는 측정물체 위상, r(x,y)는 reference 위상, (x,y)는 측정물체 위상과 reference 위상의 차이를 나타낸다. 식 (1)에 보듯이 측정물체 높이는 측정물체 위상과 기준점의 위상차, 즉 디지털 프린지 패턴의 왜곡에 비례하여 측정할 수 있음을 알 수 있다. 측정 과정은 푸리에 변환을 이용하는 spatial 방법과 위상이동을 이용하는 temporal 방법으로 분류할 수 있으나 고분해능을 위해서는 위상이동기술을 활용한다[12]. 일반적으로 위상이동기술은 2π/N만큼 균등하게 위상을 이동하면서 N개의 영상을 추출하여 측정물체 높이를 측정한다. N이 크면 클수록 측정오차는 줄어들 수 있지만 측정시간이 많이 증가하므로 보통 3개 또는 4개를 활용하나 계산의 편리성을 위하여 4개를 사용한다. 높이를 측정하는 과정은 디지털 프린지 패턴을 생성하여 측정물체에 투사하면 반사된 디지털 프린지 패턴의 위상을 계산한 결과를 phase unwrapping하여 식 (1)에 의하여 높이를 측정한다. 위상은 0~2π 사이의 반복적인 값을 가지므로 이를 연속적인 값을 가지도록 교정하는 작업을 phase unwrapping이라 한다. 4개의 위상을 이용한 측정물체 높이 측정은 그림 2의 A, B, C, D와 같이 A를 기준으로 0, π/2, π, 3π/2의 위상차를 가지는 4개의 디지털 코사인 프린지 패턴을 사용하여 구할 수 있으며, 그림 2의 디지털 프린지 패턴의 광도는 식 (2)와 같이 표현할 수 있다.

$$I_n(x,y)=R(x,y)(1+M(x,y)\cos(\varnothing(x,y)+\triangle))$$ (2)
http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F2.jpg
Fig. 2.

A, B, C, D are the shifted points of the 4 phase shifting methods.

In(x,y)는 카메라에서 얻은 디지털 프린지 패턴의 광도 함수이고 n은 A, B, C, D를 의미한다. R(x,y)는 바탕광도(background intensity)로 측정물체 표면의 반사도 및 투사 광도에 비례한다. M(x,y)는 디지털 프린지 패턴의 대비(contrast), (x,y)는 프린지 패턴의 위상, 는 그림 2의 A를 기준으로 디지털 프린지 패턴들 사이에 위상차를 의미한다. 그림 2의 A를 기준으로 볼 때 그림 2의 A, B, C, D는 디지털 코사인 프린지 패턴을 측정물체에 투사하여 얻어진 광도와 같으며 식 (3)과 같다.

$$\begin{array}{l}I_A(x,y)=R(x,y)(1+M(x,y)\cos(\varnothing(x,y)))\\I_B(x,y)=R(x,y)\left(1+M(x,y)\cos\left(\varnothing(x,y)+\frac\pi2\right)\right)\\I_C(x,y)=R(x,y)(1+M(x,y)\cos(\varnothing(x,y)+\pi))\\I_D(x,y)=R(x,y)\left(1+M(x,y)\cos\left(\varnothing(x,y)+\frac{3\pi}2\right)\right)\end{array}$$ (3)

식 (3)에서 R(x,y)를 제거하기 위하여 우선 3π/2와 π/2를 빼고, 0와 π를 빼면 식 (4)와 같이 된다. 식 (4)의 두 식을 나누면 R(x,y)M(x,y)가 제거되고 식 (5)와 같이 위상 (x,y)를 구할 수 있다. 최종적으로 식 (1)에 의하여 높이를 측정할 수 있다.

$$\begin{array}{l}I_A(x,y)-I_C(x,y)=2R(x,y)M(x,y)\cos(\varnothing(x,y))\\I_D(x,y)-I_B(x,y)=2R(x,y)M(x,y)\sin(\varnothing(x,y))\end{array}$$ (4)
$$\varnothing(x,y)=\arctan\left(\frac{I_D(x,y)-I_B(x,y)}{I_A(x,y)-I_C(x,y)}\right)$$ (5)

2.2. 물체높이 측정방법

식 (5)에서 얻은 위상을 연속적인 위상으로 phase unwrapping하고, 시스템적인 위상오차를 줄일 수 있는 방법으로 그림 3과 같이 reference subtraction 방법을 사용한다. 측정물체 높이를 측정하기 전에 기준(reference)면에 대하여 식 (3)과 같이 각각 0, π/2, π, 3π/2 변위가 있는 디지털 코사인파 프린지 패턴을 투사하여 얻은 영상 결과를 식 (5)에 의거하여 reference wrapped phase를 추출한다. 이 기준면 위상은 3차원 디지털 프린지 투사 광학시스템에서 초기에 한번만 얻어 측정물체 높이 측정 기준면 위상으로 계속 사용된다. 측정하고자 하는 측정물체에 대한 위상은 reference wrapped phase를 얻는 방법과 동일하게 적용하여 측정물체의 wrapped phase를 얻는다. 그림 3과 같이 측정물체 wrapped phase에서 reference wrapped phase를 빼면 측정물체의 unwrapped phase를 얻을 수 있으며 식 (1)에 의하여 측정물체 높이를 측정할 수 있다. 식 (1)에서 k(x,y) 값은 높이를 알고 있는 표준 반도체시편으로부터 위상을 측정하여 구할 수 있다. Reference subtraction 방법은 LCD 감마비선형 오차를 제외한 나머지 시스템적인 오차를 줄이는데도 효과가 있다.

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F3.jpg
Fig. 3.

Reference subtraction method for unwrapping phases and reducing systematic errors.

III. LCD 감마비선형 에러 개선

3.1. LCD 감마비선형 에러 영향

컴퓨터에서 디지털 프린지 패턴을 생성하여 LCD을 통하여 측정하고자 하는 물체에 빛을 투사할 경우 광도전달함수가 식 (6)과 같이 선형이면 식 (3), (4), (5)를 사용하여 임의의 픽셀 위치에서 위상을 측정하여 식 (1)에 의하여 측정물체 높이를 측정할 수 있다.

$$Y=f(I)=a_1I$$ (6)

Y는 카메라에서 얻은 출력 gray level를 나타내며, I는 컴퓨터에서 입력 gray level를 의미한다. 그러나 LCD 감마비선형 함수가 식 (7)과 같이 비선형일 때 측정물체에 전달되는 함수는 식 (8)과 같이 표현할 수 있다.

$$Y=f(I)=a_0+a_1I+a_2I^2+a_3I^3+\cdots+a_nI^n+\cdots$$ (7)

I는 컴퓨터 입력 함수의 디지털 코사인파 프린지 패턴이므로 식 (8a)과 같이 표현할 수 있으며 이를 푸리에 급수(Fourier series)로 표현하면 식 (8b)와 같다. 식 (8b)는 컴퓨터로 입력된 디지털 코사인파 프린지 패턴이 왜곡됨을 보여준다.

$$Y=a_0+a_1\cos(\varnothing(x,y))+a_2\cos(\varnothing(x,y))^2+a_3\cos(\varnothing(x,y))^3+\cdots+a_n\cos(\varnothing(x,y))^n+\cdots$$ (8a)
$$Y=\sum_{k=0}^\infty A_k\cos(k\varnothing(x,y))+B_k\sin(k\varnothing(x,y))$$ (8b)

왜곡된 디지털 코사인파 프린지 패턴을 측정물체에 투사하면 식 (3)에 식 (8b)을 적용한 것과 같으며 식 (9)와 같이 표현할 수 있다. Mk(x,y), Nk(x,y)는 각각 cos, sin 함수 성분의 디지털 프린지 패턴 대비(contrast)로 Ak, Bk에 각각 M(x,y)를 곱한 값이다.

$$\begin{array}{l}I_A(x,y)=R(x,y)\;\left(1+\sum_{k=0}^\infty M_k(x,y)\cos(k\varnothing(x,y))+\sum_{k=0}^\infty N_k(x,y)\sin(k\varnothing(x,y))\right)\\I_B(x,y)=R(x,y)\;\left(1+\sum_{k=0}^\infty M_k(x,y)\cos\left(k\varnothing(x,y)+\frac\pi2\right)+\sum_{k=0}^\infty N_k(x,y)\sin\left(k\varnothing(x,y)+\frac\pi2\right)\right)\\I_C(x,y)=R(x,y)\;\left(1+\sum_{k=0}^\infty M_k(x,y)\cos(k\varnothing(x,y)+\pi)+\sum_{k=0}^\infty N_k(x,y)\sin(k\varnothing(x,y)+\pi)\right)\\I_D(x,y)=R(x,y)\;\left(1+\sum_{k=0}^\infty M_k(x,y)\cos\left(k\varnothing(x,y)+\frac{3\pi}2\right)+\sum_{k=0}^\infty N_k(x,y)\sin\left(k\varnothing(x,y)+\frac{3\pi}2\right)\right)\end{array}$$ (9)

3차원 디지털 프린지 투사 광학시스템에서 LCD 감마비선형 에러를 반영한 위상함수 (x,y)를 구하기 위하여 식 (4)와 같이 IA(x,y)-IC(x,y)ID(x,y)-IB(x,y)를 계산할 때 식 (9)를 반영하면 식 (10)이 된다. 식 (10)에서 구한 IA(x,y)-IC(x,y)ID(x,y)-IB(x,y)로 나누면 식 (5)와 같이 arctan 함수로 표현되지 않는다. 그러나 위상함수는 식 (5)와 같이 식 (10)의 IA(x,y)-IC(x,y)ID(x,y)-IB(x,y)로 나누어 arctan 값으로 계산한다.

$$\begin{array}{l}I_A(x,y)-I_C(x,y)=2R(x,y)\;\left(\sum_{k=0}^\infty M_k(x,y)\cos(k\varnothing(x,y))+\sum_{k=0}^\infty N_k(x,y)\sin(k\varnothing(x,y))\right)\\I_D(x,y)-I_B(x,y)=2R(x,y)\;\left(\sum_{k=0}^\infty M_k(x,y)\cos(k\varnothing(x,y))-\sum_{k=0}^\infty N_k(x,y)\sin(k\varnothing(x,y))\right)\\\end{array}$$ (10)

이런 LCD 감마비선형으로 인한 에러는 카메라 출력에서 디지털 코사인파 프린지 패턴의 왜곡현상으로 나타나게 되어 위상함수의 에러를 발생시키고 이는 높이 측정에 부정적인 요소가 된다.

3.2. 기존 LCD 감마비선형 에러 해결방법

LCD는 일반적으로 그림 4와 같이 컴퓨터에서 보낸 빛의 강도와 측정물체에 투사된 빛의 강도가 비선형을 이루고 있다. 이러한 현상은 위상오차를 유발시키며 실제 얻은 영상에서 물결무늬의 현상을 발생시킨다[1]. 그림 4에서 보듯이 A, B 사이 이외 구간에서 컴퓨터 입력 gray level을 적용하면 실제 카메라에서 받은 출력 gray level에서의 값은 0 또는 255으로 포화(saturation)되는 것을 알 수 있다. 또한 A, B 사이의 구간이 선형관계를 유지하지 않으면 컴퓨터 입력 gray level에 대한 카메라 출력 gray level이 선형적 매핑이 이루어지지 않기 때문에 카메라에서 받은 출력 디지털 프린지 패턴은 왜곡현상이 발생한다. 이를 해결하기 위해 측정물체에 투사되는 디지털 프린지 패턴이 비선형에서 선형으로 될 수 있도록 컴퓨터에서 디지털 프린지 패턴을 그림 4에서 A, B 사이의 선형구간(linear section)만 선택하여 생성한다. 그림 4의 광도전달함수(intensity transfer function)에서 A, B 사이의 선형 구간의 함수를 식 (6)와 같이 표현할 수 있다. 식 (6)으로부터 식 (11)와 같이 역함수를 구하면, 카메라 출력 gray level에 맞는 컴퓨터 입력 gray level을 계산할 수 있다.

$$I=f^{-1}(Y)$$ (11)

카메라 출력 gray level이 디지털 프린지 패턴을 만들 수 있도록 식 (11)로부터 컴퓨터 입력 gray level을 계산하여 LCD projector에 투사하면 카메라에서 얻은 디지털 프린지 패턴 왜곡을 줄일 수 있다. 식 (11)을 테이블로 만들어 활용하는 방법이 있다[1].

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F4.jpg
Fig. 4.

Intensity transfer function. A and B show the interval of the selected linear section.

3.3. 개선된 LCD 감마비선형 에러 해결방법

3.2장에서 언급한 LCD 감마비선형 에러 해결방법은 간단하고 사용하기 편하지만 그림 4에서 A와 B 사이 구간이 정확한 선형관계를 이루지 못하고 있을 경우 정확한 선형관계 구간을 설정할 수 있도록 A, B 구간을 좁혀야 한다. 이는 컴퓨터 입력 gray level 구간이 좁아지게 되어 컴퓨터로 디지털 프린지 패턴을 생성할 때 변환부호화 에러(quantization error)를 발생시킨다. 또한 A, B 구간이 정확한 선형관계를 이루지 않아 카메라 출력에서 왜곡되지 않은 디지털 프린지 패턴을 얻기가 어렵다. 이를 개선하기 위하여 그림 4에서 A, B 사이 구간의 광도전달함수를 구함에 있어서 식 (6)의 일차다항식에서 식 (7)과 같이 n차 다항식으로 확장하여 광도전달함수에 좀 더 근접한 함수를 구한다.

3차원 디지털 프린지 투사 광학시스템에서 컴퓨터 입력 gray level을 0부터 225까지 빛의 강도를 선형으로 증가시키면서 카메라에서 측정물체 기준면에서 반사된 값을 카메라 출력 gray level로 추출하여 광도전달함수를 구한다. 이 때 기준면의 각 픽셀(pixel)마다 광도전달함수를 구하는 것이 아니라 중심으로부터 일정 영역의 평균값을 구하여 시스템 전체에 대한 광도전달함수를 구한다. 식 (7)의 역함수를 구하기 위하여 실험에서 얻은 카메라 출력 gray level과 컴퓨터 입력 gray level 데이터를 엑셀(Excel)에 저장한다. 엑셀 파일에서 원래 카메라 출력 gray level 대 컴퓨터 입력 gray level 관계를 바꾸어 컴퓨터 입력 gray level 대 카메라 출력 gray level로 만들어 다항식 함수를 구하면 식 (7)에 대한 식 (11)의 역함수를 구할 수 있다. 컴퓨터 프로그램으로 역함수를 사용하여 원하는 카메라 출력 디지털 프린지 패턴을 만들기 위한 컴퓨터 입력 gray level을 계산하여 컴퓨터 입력 디지털 프린지 패턴을 생성하는데 활용한다. 광도전달함수는 3차원 디지털 프린지 투사 광학시스템 초기에 구하여 사용하면 된다.

본 논문에서는 식 (11)을 활용할 때 식 (7)의 다차원 다항식을 이용하여 역함수를 구한 다음 컴퓨터에서 역함수를 이용하여 카메라 출력 gray level에서 원하는 카메라 출력 디지털 프린지 패턴을 얻을 수 있도록 개선된 방법을 제안하였다. 개선된 방법의 효과는 광도전달함수에 근접한 함수를 사용함으로써 LCD 감마비선형에 의한 디지털 프린지 패턴 왜곡 현상을 줄일 수 있고, 그림 4에서 A, B 사이의 구간도 엑셀에서 역함수 다항식의 오차가 인정될 수 있는 범위까지 확장할 수 있어 컴퓨터 입력 디지털 프린지 패턴 생성 시 발생하는 변환부호화 에러도 개선시킬 수 있다.

IV. 실험 방법 및 결과

4.1. 광도전달함수 측정

그림 5(a)와 같은 3차원 디지털 프린지 투사 광학시스템은 컴퓨터에서 원하는 디지털 프린지 패턴을 생성하여 LCD에 디스플레이하고 LCD에 빛을 투사하는 장치와 측정물체에서 반사된 빛을 촬영하는 카메라 부분으로 구성되어 있다. 그림 5(a) 시스템은 그림 1과 같이 카메라 위치가 수직적으로 구성되어 있지 않고 LCD 투사장치와 대칭적으로 구성되어 있어 LCD 투사장치에서 투사된 빛이 대칭적 반사각도로 카메라에서 빛의 강도를 측정한다. LCD의 크기는 1920 × 1080이고, 카메라의 해상도는 2448 × 1224이다. LCD에 컴퓨터 입력 gray level을 0부터 255까지 빛의 광도를 단계별로 증가시키면서 측정물체 기준면에 투사하여 반사된 빛을 카메라에서 얻은 영역의 중심으로부터 400 × 400의 평균을 카메라 출력 gray level로 얻어 그림 5(b)와 같은 광도전달함수를 구하였다. 측정물체는 VSLI Standards Incorporated사의 표준 반도체시편을 활용하였다. 그림 5(b)에서 보듯이 실험을 통하여 얻은 결과는 그림 4와 추세가 같으며 A, B는 LCD 감마비선형에 의한 디지털 프린지 패턴의 영향을 실험하기 위한 선형 구간을 표시하였다. A와 B 사이의 간격을 작게 선정하면 선형성은 좋아지지만 컴퓨터 입력 grayscale 구간이 줄어들어 변환부호화 에러가 늘어나게 된다. 따라서 A와 B의 선정을 광도전달함수의 포화(saturation)점으로 하였다.

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F5.jpg
Fig. 5.

3D digital fringe projection optical system. (a) 3D digital fringe projection optical system configuration. (b) Intensity transfer function obtained from the system. A and B show the interval of the linear section. (c) Inverse function of the intensity transfer function for the interval between A and B in (b) with a 6th-order polynomial.

4.2. LCD 감마비선형 에러에 의한 영향 분석

LCD 감마비선형 에러 영향분석을 위하여 실험을 통하여 얻어진 그림 5(b)의 광도전달함수의 역함수를 활용하여 컴퓨터 생성 사인파에 대한 카메라 출력 gray level를 시뮬레이션하였다. 코사인파와 사인파는 π/2 위상차만 있을 뿐 특성은 같기 때문에 디지털 프린지 패턴으로 사인파를 사용하였다. 표 1에서 다항식의 0차수는 디지털 사인파 프린지 패턴을 컴퓨터 입력 gray level 0부터 255까지 생성하여 광도전달함수에 적용한 값을 카메라 출력 gray level로 구하였다. 다항식 1차는 선형구간(그림 5(b) A와 B 구간)의 역함수를 1차 선형함수로 구한다. 카메라 출력 gray level에서 이상적인 사인파를 얻기 위한 컴퓨터 입력 gray level을 역함수를 통하여 얻는다. 역함수를 통해 얻은 컴퓨터 입력 gray level을 그림 5(b) 광도전달함수를 통하여 카메라 출력 gray level을 얻는다[1]. 다항식 2차부터 6차까지는 선형구간(그림 5(b) A와 B 구간)의 역함수를 그림 5(c)와 같이 엑셀 추세선 기능을 이용하여 다항식 2차부터 6차에 해당하는 함수를 구하였다. 그림 5(c)는 6차 역함수를 보여주고 있으며, 정확도를 위하여 계수는 소수점 15자리를 선택하였다. R 제곱은 엑셀 추세선에서 결정계수(coefficient of determination)을 의미하며 1에 근접할수록 해당 함수를 정확히 표현하는 것이다. 다항식 1차와 같이 역함수를 이용하여 컴퓨터 입력 gray level을 구한 후 광도전달함수를 통하여 카메라 출력 gray level을 구하였다. 다항식 2차부터 6차는 LCD 감마비선형 함수 식 (7)에서 2차부터 6차까지의 비선형을 의미한다. 표 1의 16픽셀, 24픽셀, 32픽셀, 48픽셀은 한 주기 2π에 대한 픽셀수를 나타낸다. 각 픽셀의 차수에 해당하는 값은 컴퓨터로 생성된 사인파와 광도전달함수 역함수를 이용하여 얻은 카메라 출력 사인파의 차이에 대한 표준편차(standard deviation)를 표시한 것으로 LCD 감마비선형에 의한 디지털 사인파 프린지 패턴의 왜곡 정도를 보여준다. 표준편차 0은 완전 일체를 의미하며 값이 클수록 컴퓨터 생성 사인파와 카메라 출력 사인파에 대한 왜곡이 크다는 것을 나타낸다. 그림 6과 표 1에서 보듯이 선형구간을 설정하지 않고 광도전달함수를 적용한 것과 선형 1차 역함수를 구하여 광도전달함수를 적용한 것을 비교하면 약 3배 개선효과가 있음을 알 수 있다. 그러나 식 (7)과 같이 3차 이상 다항식의 역함수를 구하여 광도전달함수에 적용하면 그 효과가 1차에 비해 4배 이상 있음을 알 수 있다. 표 1에서 R 제곱이 0.99 이상인 3차 이상에서는 그 효과가 비슷하게 나타내고 있다. 이는 R 제곱이 0.99 이상이면 LCD 감마비선형 함수에 가깝다고 볼 수 있고, 컴퓨터 입력 gray level이 디지털에 의한 변환부호화 에러가 있을 수 있기 때문으로 볼 수 있다. 그림 6에서 보면 한 주기 안의 픽셀 수에 따른 효과는 큰 차이가 없게 나타나고 있다. 이는 엑셀을 통하여 얻은 광도전달함수의 역함수가 LCD 감마비선형에 의한 광도전달함수 역함수에 근접하기 때문이다. 그림 6과 같이 광도전달함수를 적용한 시뮬레이션을 통하여 LCD 감마비선형 함수에 근접한 역함수를 사용하는 개선된 방법이 선형 테이블을 이용하는 것보다 디지털 프린지 패턴의 왜곡을 줄일 수 있음을 보였다.

Table 1.

Standard deviation of the difference between computer and camera sine wave from the intensity transfer function according to the nth-order polynomial and pixels for one period (2π)

Order/Period 0th 1st 2nd 3rd 4th 5th 6th
16 pixel 75.47 17.70 7.46 3.52 1.93 1.89 2.06
24 pixel 68.42 17.99 8.35 3.26 2.20 1.67 1.89
32 pixel 62.93 17.66 7.97 3.70 2.49 1.71 1.92
48 pixel 57.92 17.66 7.87 3.65 2.48 1.53 1.72
R squared 0.983 0.996 0.998 0.999 0.999
http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F6.jpg
Fig. 6.

Standard deviation of the difference between computer and camera sine wave from the intensity transfer function.

4.3. 시스템 실험을 통한 결과분석

앞서 광도전달함수를 이용하여 시뮬레이션 결과를 그림 5(a)의 3차원 디지털 프린지 투사 광학시스템에 적용하여 3.3장에서 제시한 개선된 LCD 감마비선형 에러 해결방법의 효과를 분석하였다. LCD에 컴퓨터에서 생성된 디지털 사인파 프린지 패턴을 투사하여 측정물체(표준 반도체시편)에 반사된 빛을 카메라에서 얻은 영상은 그림 7(a)와 같으며 그림 7(a)에서 굵은 선은 실험결과를 비교하기 위한 데이터 추출영역을 표시한 것이다. 그림 7(b)는 LCD에 디지털 사인파 프린지 패턴을 적용하여 얻은 카메라 영상에서 그림 7(a)의 굵은 선 영역을 추출한 사인파이다. 추출된 영역은 중간에서 2주기의 10개의 열을 선택하여 평균을 사용하였다. LCD 사인파에서 16픽셀을 사용하였으나 카메라에서 얻은 픽셀은 20이다. 이는 LCD의 크기는 1920 × 1080이고 카메라는 2448 × 1224이기 때문에 카메라에서는 2448 * 16 / 1920 = 20.4로 나타난다. 그림 7(b)의 컴퓨터 사인파는 16픽셀을 20.4픽셀로 반영한 이상적인 사인파이다. 컴퓨터 사인파와 카메라 사인파의 차는 실제 원하는 이상적인 사인파의 왜곡정도를 나타낸다.

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F7.jpg
Fig. 7.

Method for the measurement of the distorted precision between computer and camera sine wave. The experimental data are obtained with the 1st inverse intensity transfer function. (a) Sine wave pattern image obtained from a camera. The bold line is the selected area for the nth polynomial order comparison. (b) Sine wave obtained from a camera and that generated from a computer. The difference shows the distorted precision from the computer-generated sine wave.

그림 7과 같이 4.2장에서 사용한 광도전달함수의 역함수를 사용하여 16픽셀, 24픽셀, 32픽셀, 48픽셀 주기에 대하여 3차원 디지털 프린지 투사 광학시스템에 적용한 결과가 표 2이다. 그림 8은 표 2를 막대그래프로 도식한 것으로 4.1장의 광도전달함수를 가지고 얻은 시뮬레이션 결과와 비슷한 추세를 보이고 있다. 표 2와 그림 8에서 보듯이 역함수를 이용하지 않은 경우보다 선형 테이블(1차 역함수)을 이용하는 것이 2배 정도 개선되었으며 3차 이상 역함수를 이용하면 1차 역함수보다 약 2배 정도 개선됨을 알 수 있다. 따라서 좀 더 정확한 역함수를 구하여 시스템에 적용하는 것이 바람직하다. 시스템 실험을 통하여 얻은 결과는 한 주기의 픽셀 수에 따라 개선되는 효과의 추세는 비슷하나 4.2장 시뮬레이션 결과보다 픽셀 수에 약간 영향을 받는 것을 보여주고 있다. 이는 4.2장은 LCD 감마비선형만 고려하여 시뮬레이션한 결과이고, 시스템 실험결과는 서론에서 언급된 다양한 왜곡 요소가 있기 때문이다. 이러한 요소 중의 하나는 LCD projector에 빛이 투사되면 빛이 강도가 측정물체의 모든 영역에 일정하게(uniformly) 전달되어야 하지만 실제 시스템에서는 중앙은 강하고 바깥은 약간 약한 타원형의 빛의 강도가 측정물체에 반영되는 것이다.

Table 2.

Standard deviation of the difference between computer and camera sine wave obtained from the 3D fringe projection optical system to the nth-order polynomial and pixels for one period (2π). The inverse functions of the intensity transfer function are the same as those in Table 1

Order/Period 0th 1st 2nd 3rd 4th 5th 6th
16 pixel 10.51 5.38 4.22 3.77 3.63 3.79 2.73
24 pixel 16.02 6.44 4.61 4.81 3.99 4.08 3.54
32 pixel 20.46 7.46 3.75 3.88 3.12 3.25 2.63
48 pixel 26.11 9.22 5.36 5.17 4.38 4.46 4.31
http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F8.jpg
Fig. 8.

Standard deviation of the difference between computer sine wave and camera sine wave from the 3D fringe projection optical system.

그림 9는 한 주기 안에서 카메라에서 얻은 사인파와 컴퓨터에서 생성된 이상적인 사인파의 차이를 역함수를 사용하지 않은 것(0차 역함수), 선형테이블 이용(1차 역함수), 6차 역함수에 대하여 보여주고 있다. 그림 9에서 보듯이 6차 역함수는 다른 것에 비하여 차이가 작으며 모든 픽셀에서 다른 것에 비하여 차이 분포가 일정하지만 0차 역함수, 1차 역함수는 차이 분포가 일정 픽셀에 모여 있는 현상을 보여주고 있어 특정 픽셀에서 왜곡현상이 더 나타날 수 있음을 보여주고 있다.

http://static.apub.kr/journalsite/sites/kjop/2020-031-03/N0140310302/images/kjop_31_03_02_F9.jpg
Fig. 9.

Comparison of the distorted sine wave difference for the 0th, 1st and 6th inverse function of the intensity transfer function.

V. 결 론

디지털 프린지 투사 기술을 적용하기 위해서는 디지털 프린지 패턴이 정확하게 측정물체에 투사되어 반사된 영상을 카메라가 얻는 것이 중요하다. 그러나 시스템적인 위상오차와 랜덤한 위상오차가 존재하여 컴퓨터로 정확한 디지털 프린지 패턴을 생성해도 카메라에서 정확한 디지털 프린지 패턴을 얻기는 쉽지 않다. 랜덤요소는 보통 노이즈에 해당하므로 시스템적인 요소를 줄이는 것이 중요하다. 이중 하나인 LCD 감마비선형에 의한 왜곡은 측정 시스템에서 실험적으로 얻은 광도전달함수의 역함수를 컴퓨터에서 디지털 프린지 패턴 생성 시 보정기능으로 사용하면 LCD 감마비선형으로 인한 디지털 프린지 패턴의 왜곡을 줄일 수 있음을 시뮬레이션과 시스템 실험을 통하여 보였다. 실험결과에 의하면 개선된 LCD 감마비선형 에러 해결 방법이 선형테이블 방법보다 2배 정도 개선효과가 있으며 보상기능이 없는 방법보다 4배 이상 개선효과가 있음을 보여주고 있다.

본 논문에서는 광도전달함수의 고차원 역함수를 구하는 방법을 사용하여 개선된 LCD 감마비선형에 의한 디지털 프린지 패턴 왜곡 감소방안을 제시하였다. 이 방법을 LCD를 사용한 디지털 프린지 투사 시스템에 적용하면 LCD 감마비선형에 의한 디지털 프린지 패턴 왜곡 개선에 기여를 할 수 있을 것이다.

Acknowledgements

본 논문 연구에 있어서 많은 의견과 자료를 제공해주신 중앙대학교 이주성 교수께 감사를 드립니다.

References

1
G. H. Notni and G. Nonti, "Digital fringe projection in 3D shape measurement: an error analysis," Proc. SPIE 5144, 372-380 (2003).
10.1117/12.500618
2
Y. Choi, N. Park, and H. Kim, "High speed 3D inspection on wafer bump using White light scanning Interferometry," in Proc. The Korea Society of Manufacturing Technology Engineers Spring Meeting (Seoul Univ. of Science and Technology, Korea, May 2009), pp. 96-101.
3
K. W. Ko, J. H. Sim, and M. Y. Kim, "A high-speed white-light interferometer for bump inspection of semiconductor manufacture," J. Korean Soc. Precis. Eng. 30, 702-708 (2013).
10.7736/KSPE.2013.30.7.702
4
P. S. Huang, F. Jin, and F. P. Chiang, "Quantitative evaluation of corrosion by a digital fringe projection technique," Opt. Lasers Eng. 31, 371-380 (1999).
10.1016/S0143-8166(99)00019-6
5
M. Dai, F. Yang, and H. Xiaoyuan, "Calibration of a fringe projection 3D measurement system using an equi-phase coordinate method based on two-reference-plane," Optics 4, 18-23 (2015).
10.11648/j.optics.s.2015040301.15
6
R. Anchini, G. D. Leo, C. Liguori, and A. Paolillo, "A new calibration procedure for 3-D shape measurement system based on phase-shifting projected fringe profilometry," IEEE Trans. Instrum. Meas. 58, 1291-1298 (2009).
10.1109/TIM.2009.2012952
7
H. Miao, C. Quan, C. J. Tay, and Y. Fu, "Analysis of phase distortion in phase-shifted fringe projection," Opt. Lasers Eng. 45, 318-325 (2007).
10.1016/j.optlaseng.2005.12.008
8
C. A. Poynton, "SMPTE Periodical - SMPTE Tutorial: "Gamma" and its disguises: The nonlinear mappings of intensity in perception, CRTs, film, and video," SMPTE J. 102, 1099-1108 (1993).
10.5594/J01651
9
C. R. Coggrave and J. M. Huntley, "High-speed surface profilometer based on a spatial light modulator and pipeline image processor," Opt. Eng. 38, 1573-1581 (1999).
10.1117/1.602209
10
H. Guo, H. He, and M. Chen, "Gamma correction for digital fringe projection profilometry," Appl. Opt. 43, 2906-2914 (2004).
10.1364/AO.43.00290615143816
11
D. H. Kim, W. J. Ryu, N. K. Park, and Y. J. Kang, "A study on the calibration of shape measurement system using digital moire," in Proc. The Korea Society of Manufacturing Technology Engineers Spring Meeting (Korea, Apr. 2003), pp. 255-259.
12
R. Talebi, A. Abdel-Dayem, and J. Johnson, "3-D reconstruction of objects using digital fringe projection: survey and experimental study," World Acad. Sci. Eng. Technol. 7, 1010-1019 (2013).
페이지 상단으로 이동하기