[기획] 가까운 가림은 흐리고 먼 장면은 살렸다…POSTECH ‘가림 제거’ 메타렌즈

카메라 렌즈에서 4.5㎝ 떨어진 곳에 얼룩이나 격자가 있고, 그보다 훨씬 먼 약 60㎝ 뒤에 보고 싶은 그림이 있다고 해보자. 보통은 가까운 가림과 먼 배경의 빛이 한 영상에 함께 섞인다. 포항공과대학교(POSTECH) 주도 공동 연구팀은 이때 가까운 가림은 넓게 흐리고 먼 장면은 상대적으로 선명하게 받도록 설계한 지름 2.516㎜의 메타렌즈를 제작했다. 1㎝의 약 4분의 1 크기인 렌즈가 거리마다 빛을 다르게 다룬 셈이다.

다만 이 렌즈가 불투명한 물체 뒤를 투시하거나 가림을 완전히 삭제하는 것은 아니다. 실제 빗속이나 금속 철망을 시험한 것도 아니다. 렌즈가 부분적인 가림의 대비를 먼저 낮추고, 별도 신경망이 남은 흔적과 색 왜곡을 보정하는 광학·AI 결합 방식이다. 연구 결과는 2026년 8월 15일 온라인 공개됐으며, 동료심사와 게재 승인을 마쳤지만 현재 원고는 교정·조판 전 조기 공개본이다.

없애야 할 색수차를 ‘거리별 출입증’으로

연구진이 활용한 출발점은 일반 렌즈 설계에서 줄이려 했던 색수차다. 색수차는 빛의 파장, 즉 색에 따라 초점이 달라지는 현상이다. 회절렌즈에서는 파장이 달라지는 것과 물체 거리가 달라지는 것이 서로 비슷한 점확산함수를 만들 수 있다. 점확산함수란 점 하나에서 나온 빛이 영상에서 얼마나 넓고 어떤 모양으로 퍼지는지를 나타내는 값이다. 연구진은 이 관계를 ‘깊이-파장 대칭성’이라고 정리했다.

작동 방식은 색마다 출입문을 나누는 것에 가깝다. 먼저 상용 삼중 대역 필터가 빨강·초록·파랑마다 통과 대역과 차단 대역을 만든다. 메타렌즈는 먼 장면의 빛이 선명하게 모이는 파장을 통과 대역에 배치하고, 가까운 가림이 선명해지는 파장은 필터의 차단 대역으로 밀어내도록 학습됐다. 통과 대역에 남은 가림의 빛도 넓게 퍼뜨려 센서에서 가림과 주변의 밝기 차이를 낮췄다.

여기서 ‘광대역’은 가시광 전부를 손실 없이 통과시킨다는 뜻이 아니다. 이 장치는 457·530·628㎚ 부근의 세 제한된 대역을 이용했고, 각 대역폭은 22·20·28㎚였다. 연구진은 430∼645㎚ 구간을 5㎚ 간격으로 측정해 설계를 점검했다. 가까운 얼룩이 가장 또렷해지는 색에는 출입을 금지하고, 먼 배경을 살릴 수 있는 빛만 세 개의 좁은 색문으로 받은 것이다.

렌즈가 먼저 흐리고, AI가 남은 흔적을 닦았다

실제 메타렌즈의 초점거리는 4㎜, 수치개구는 약 0.30이다. 수치개구는 렌즈가 빛을 모으는 능력과 관련된 값이다. 연구진은 유리 기판 위에 700㎚ 두께의 질화규소층을 만들고 전자빔 리소그래피와 식각으로 미세 구조를 새겼다. 메타원자의 주기는 395㎚, 폭과 길이는 각각 305㎚와 125㎚였다.

렌즈 설계에는 DIV2K 영상과 Perlin noise 기반 오염 모형을 사용했다. 가림은 렌즈 앞 40∼50㎜, 먼 장면은 1∼20m 범위에서 표본을 뽑아 학습했다. 메타렌즈와 복원 신경망은 따로 학습했으며, 제작한 세 렌즈에도 각각 별도의 복원망이 필요했다. 원시 센서 영상에서도 가림 흔적이 약해졌지만, 가장 높은 화질과 컴퓨터비전 점수는 신경망으로 복원한 뒤 얻었다. 렌즈만으로 완성 영상을 만든 기술이라고 볼 수 없는 이유다.

장점은 시간적으로 여러 영상을 합치거나 여러 카메라를 둘 필요 없이 한 프레임·한 시점으로 처리한다는 점이다. 대표 정량실험에서는 가림을 렌즈 앞 45㎜, 인쇄한 배경 표적을 약 0.6m에 놓았다. 비교 대상은 제안 렌즈와 가림 제거 기능이 없는 학습형 광대역 메타렌즈, 532㎚용 종래 쌍곡선 위상 메타렌즈였다. 다만 정답 영상은 별도의 복합렌즈 경로로 동시에 촬영했다.

화질과 인식 점수는 올랐지만 가림 전 상태에는 못 미쳤다

오염 모사물과 펜스형 격자를 씌운 인쇄 장면을 각각 10장씩 촬영한 결과, 복원 후 평균 PSNR은 제안 렌즈가 20.94dB였다. 쌍곡선 렌즈의 약 15.83dB보다 5.11dB, 일반 광대역 렌즈의 18.79dB보다 2.15dB 높았다. PSNR은 정답 영상과 얼마나 비슷한지를 나타내는 로그 척도여서 단순 백분율보다 dB 차이로 보는 편이 적절하다. 이 수치는 영상을 정답에 맞게 기하학적으로 정렬하고 영상별 밝기와 대비를 보정한 뒤 계산했다.

인쇄한 실제 데이터셋 영상에서도 차이가 나타났다. 펜스형 격자 뒤 드론 영상의 객체검출 mAP50은 제안 렌즈가 0.1704로, 두 비교 렌즈의 0.0350과 0.0292보다 각각 0.1354포인트와 0.1412포인트 높았다. 혈액 방울을 모사한 가림물 뒤 용종 영상의 분할 IoU는 0.8317로 비교값 0.3472와 0.5950을 웃돌았다. 오염 모사물 뒤 도로 장면의 mIoU도 0.6701로 비교값 0.4666과 0.4601보다 높았다. IoU와 mIoU는 정답 영역과 예측 영역이 얼마나 겹치는지를 0∼1로 나타내는 지표다.

그러나 드론 영상에서 제안 렌즈의 mAP50은 가림이 없을 때 0.2427에서 가림이 있을 때 0.1704로 떨어졌다. 가림 전 성능을 완전히 회복한 것은 아니다. 움직이는 근거리 가림막도 10fps 영상에서 추출한 21프레임만 평가했다. 이때 평균 PSNR은 제안 렌즈가 25.39dB로 비교 렌즈의 20.72dB와 22.16dB보다 높았지만, 실제로 빠르게 움직이고 변형되는 빗방울을 검증한 결과로 일반화할 수는 없다.

받는 빛을 줄여 얻은 가림 억제…현장 검증은 다음 단계

가림 억제에는 뚜렷한 대가가 있었다. 실제 장면 스펙트럼에 따른 필터 투과 추정치는 평균 37.04%였고, 편광계 투과 추정치는 평균 49.81%, 표본 범위 40.48∼58.10%였다. 이를 곱한 제안계의 검출 광자량 추정치는 18.45%로, 삼중 대역 필터가 없는 비교계의 49.81%보다 크게 낮았다. 비교계가 받는 광자의 약 37%만 받는 대신 가까운 가림의 대비를 낮춘 셈이다. 저조도나 좁은 대역의 조명에서는 신호대잡음비가 나빠질 수 있다.

메타원자의 계산상 대역 평균 편광변환 효율은 청색 77.2%, 녹색 73.0%, 적색 54.4%였지만 이는 실측한 완성 카메라 효율이 아니다. 현재 구조는 선형편광판과 사분파장판도 요구한다. 적색 통과 폭이 상대적으로 넓어 붉은 영역이 강해지거나 포화되는 현상도 보고됐다. 두 비교계에는 삼중 대역 필터가 없어 밝기를 정규화했더라도 색 응답 조건이 완전히 같지 않다는 점 역시 비교 결과를 읽을 때 고려해야 한다.

검증 범위도 아직 좁다. 실제 학습은 40∼50㎜, 대표 실험은 45㎜의 가림에 집중됐다. 분석상 36.0∼81.1㎜에서 가림을 억제할 수 있다는 값은 이상적인 직사각형 필터 모델로 계산한 창이지 실험으로 보증된 범위가 아니다. 핵심 평가는 암실의 광학 테이블과 인쇄 표적으로 진행됐다. 드론 비행, 도로주행, 내시경 삽입, 야외 강우에서 시험한 것이 아니며, 약 28×28×30㎣의 소형 시제품도 신경망을 돌리는 별도 GPU가 필요했다.

신경망 자체는 RTX 6000 Ada와 512×512 영상 조건에서 장당 41.41㎳, 24.15fps로 추론했지만 실제 정지영상 장비는 실외 1fps, 인쇄 표적 1.5fps였고 동적 가림 촬영은 10fps였다. 여러 거리에 넓게 퍼진 짙은 강우에는 시간 정보나 다중 시점, 적응형 필터 같은 추가 방법이 필요하다고 연구진은 밝혔다. 이번 연구의 의미는 가림을 완전히 없앴다는 데 있지 않다. 렌즈 단계에서 필요한 신호와 방해 신호를 먼저 갈라 AI가 풀어야 할 문제를 줄일 수 있다는 가능성을 단일 촬영으로 보였다는 데 있다. 이제 남은 질문은 더 많은 빛과 넓은 거리 범위, 실제 환경에서도 같은 균형을 유지할 수 있느냐다.

'재는 광학'이 먼저 팔렸다…메타렌즈 양산 경쟁의 현주소

메타렌즈를 상용 무대까지 끌고 간 곳은 산업이다. 하버드대 카파소 연구실 연구를 기반으로 2016년 창업한 미국 메탈렌즈(Metalenz)는 회사 설명 기준 2022년 ST마이크로일렉트로닉스와 협력해 소비자 기기에 메타표면 광학을 들여놨고, 2025년에는 ST와 라이선스 계약을 확장한 데 이어 대만 반도체 위탁생산 기업 UMC와 얼굴인증 솔루션 '폴라 ID' 양산을 발표했다. 렌즈를 유리 연마가 아니라 반도체 공정으로 찍어내는 단계가 이미 열린 셈이다.

다만 먼저 팔리기 시작한 것은 생체인증처럼 신호를 '재는' 용도다. 장면을 '찍는' 촬영용 메타광학은 수차, 곧 빛이 한 점에 모이지 못해 생기는 흐림 탓에 진도가 늦었다. 2021년 미국 연구진이 지름 0.5㎜, 이번 POSTECH 렌즈의 5분의 1 크기인 메타렌즈와 학습형 복원을 함께 설계해 복원 오차를 기존 방식의 10분의 1 수준으로 낮춘 '신경망 나노광학'을 네이처 커뮤니케이션스에 발표하며 물꼬를 텄다. 이번 연구는 그 연장선에서 화질 복원을 넘어 '가림 억제'라는 기능 자체를 렌즈에 심었다는 점이 다르다.

경쟁 단위는 렌즈 한 장이 아니라 '광학+연산' 시스템

학계와 산업이 가리키는 방향은 같다. 2021년 연구는 메타렌즈 단독의 화질 한계를 복원 연산과의 공동설계로 넘었고, 이번 연구는 반대로 연산이 풀어야 할 문제를 광학이 미리 줄였다. 평가 잣대가 렌즈 한 장의 성능표에서 광학과 연산을 합친 시스템 단위로 옮겨가고 있다는 뜻이다.

양산 경로가 반도체 위탁생산으로 수렴하는 점도 되새길 대목이다. 나노 구조를 새기는 메타렌즈는 반도체 공정과 장비를 공유하므로, 설계 지식재산과 공정, 복원 소프트웨어를 한 줄로 잇는 쪽이 유리해진다. 메탈렌즈가 150건 이상이라고 밝힌 특허처럼 설계권 선점 경쟁은 이미 진행형이다. 광량 손실을 감수하고 가림 억제를 얻은 이번 방식이 상용 단계로 가려면, 그 대가를 받아들일 응용처를 찾아 시스템 단위의 비용으로 증명하는 일이 남는다.

자료: 포항공과대학교(POSTECH), 미국 워싱턴대학교, 울산과학기술원(UNIST)·메탈렌즈(Metalenz)·네이처 커뮤니케이션스