02b. 셔터와 센서 종류 — 저QE를 메우는 흐름

앞 절에서 940nm의 감도 손실을 센서 구조(BSI·두꺼운 실리콘)로 일부 회복했다. 그런데 DMS는 그 손실을 센서 QE 하나로만 메우지 않는다. 노출 방식과 조명을 묶어 한꺼번에 해결한다. 그 흐름이 글로벌 셔터와 펄스 strobe다. 그리고 같은 NIR 센서라도 컬러필터를 어떻게 까느냐로 흑백 IR과 RGB-IR이 갈린다. 이 절은 그 두 갈래를 본다.

글로벌 셔터와 펄스 IR — 한 흐름으로 묶기

QE가 940nm에서 깎이는 것은 봤다. 그 손실을 메우는 한 갈래로, 노출 방식과 조명을 한꺼번에 묶는 길이 있다. 이 흐름을 한 번에 따라가 보자. 시작은 셔터다.

이미지 센서가 빛을 받는 방식에는 두 가지가 있다.

• 롤링 셔터(rolling shutter)는 픽셀을 윗줄부터 차례로 노출하고 읽는다. 줄마다 노출 시점이 미세하게 어긋난다.
• 글로벌 셔터(global shutter)는 모든 픽셀을 같은 순간에 동시 노출한다.

DMS에서는 글로벌 셔터가 표준이다. 두 가지 이유가 겹친다.

첫째는 움직임 왜곡이다. 운전자의 눈 깜빡임은 수십 ms로 빠르고, 시선이 휙 도는 saccade(단속운동)나 고개 돌림도 빠르다. 롤링 셔터는 줄마다 찍는 시점이 달라서, 빠르게 움직이는 피사체가 기울거나 휘어 보인다(젤로 현상). 글로벌 셔터는 전 픽셀이 같은 순간을 찍으므로 이 왜곡이 없다.

둘째는 펄스 IR strobe(번쩍 조명)와의 궁합이다. 여기서 앞 절의 QE 이야기와 03·04장 이야기가 한 흐름으로 만난다. 940nm는 QE가 낮으니 영상을 밝게 하려면 IR 광량을 키워야 한다. 그런데 LED를 계속 켜 두면 평균 전력과 발열이 커지고, 눈에 닿는 평균 복사조도도 올라 눈 안전에 불리하다(04장). 해법이 strobe다. 센서가 노출하는 짧은 순간에만 IR LED를 강하게 켰다 끄는 것이다. 그러면 그 순간의 신호 대 배경비(SNR)는 올라가는데, LED가 켜진 총 시간이 짧아 평균 광량은 낮게 유지된다. 밝기는 사고, 발열과 눈 위험은 줄이는 셈이다.

이 strobe가 제대로 먹히려면 노출이 한 순간에 몰려 있어야 한다. 글로벌 셔터가 바로 그렇다. 그래서 글로벌 셔터와 IR strobe는 짝이다. 반대로 롤링 셔터에 짧은 IR 펄스를 쓰면, 펄스가 켜진 동안 노출 중이던 줄만 밝고 나머지 줄은 어두워, 밝기 띠(banding)가 생긴다. 굳이 롤링 셔터로 띠 없이 찍으려면 모든 줄이 노출될 때까지 LED를 켜 둬야 하니, strobe의 이점(짧은 ON으로 평균 광량 절감)이 사라진다.

위 그림: 롤링 셔터(좌)는 행마다 노출 시점이 계단처럼 어긋나, 중앙에 켜진 짧은 IR 펄스가 중간 행만 비춰 밝기 띠가 생긴다. 글로벌 셔터(우)는 모든 행이 같은 시간창에 노출돼 IR 펄스를 고르게 받는다.

위: 한 프레임마다 센서가 노출하는 순간에만 IR LED를 번쩍 켜고, 나머지 시간엔 끈다. 동기화는 센서의 FSIN/strobe 핀과 LED 드라이버를 하드웨어로 직접 잇는다(소프트웨어 타이밍은 지터가 커 부적합하다).

이렇게 "940nm 저QE → 광량을 키워야 함 → strobe로 평균 광량은 낮게 → 그러려면 글로벌 셔터"가 한 줄로 닫힌다. DMS 센서가 거의 다 글로벌 셔터인 이유다(OV9281·OV2311·OX01H1B·OX02C1S·OX05B1S 등).

흑백 IR이냐 RGB-IR이냐

마지막으로 센서의 또 한 갈래를 본다. 같은 NIR 센서라도 컬러필터를 어떻게 깔았느냐로 두 종류가 갈린다.

• 흑백(monochrome) IR 센서는 컬러필터가 없다. 모든 픽셀이 IR 휘도만 받는다. 색을 합성하는 디모자이크(demosaic) 과정이 필요 없어 ISP(영상신호처리) 처리가 가장 단순하고, IR 유효 QE를 최대로 살린다. 운전자 얼굴 하나만 보는 DMS 정면 용도에 최적이다. 예로 OV2311·OV9281, DMS 전용인 OX01H1B가 있다.
• RGB-IR 센서는 한 센서에 R·G·B 컬러필터와 IR 전용 화소를 섞어 깐다. 보통 4×4 패턴을 쓴다. 주간에는 컬러 영상(승객 뷰잉 등), 야간이나 IR LED 점등 시에는 IR 영상을 한 센서로 얻는다. 대신 ISP가 복잡하다. RAW에서 IR 화소를 분리하고, 컬러 화소에 섞인 IR 성분을 빼내고(IR subtraction), Bayer 디모자이크를 해야 한다. IR 화소가 자리를 차지해 가시 해상도가 줄고, 에일리어싱·색재현 난도가 오른다. 예로 OX02C1S(2.5MP)·OX05B1S(5MP)·Sony IMX775(940nm QE 35%)가 있다.

위: 흑백 IR은 디모자이크 없이 바로 처리되고, RGB-IR은 IR 화소 분리·IR 차감·디모자이크를 거친다(주야간 겸용 RGB-IR은 05장의 dual-band 필터와 짝을 이룬다).

센서까지 보았으니, 이제 처음 미뤄 둔 질문으로 돌아갈 차례다. QE 손해를 감수하면서까지 왜 940nm를 고르는가. 다음 장의 주제다.