[기획] 픽셀 하나를 16칸으로 읽었다…센서 교체 없이 고주파 정보를 복원한 ‘픽셀 분할 영상’

작은 방 하나에 들어온 빛을 모두 더해 숫자 하나로 기록하는 카메라가 있다고 생각해 보자. 방바닥을 16칸으로 나눠 각 칸에 떨어진 빛을 따로 알고 싶어도, 출구에서 나오는 숫자는 하나뿐이다. 그런데 바닥의 위치마다 빛을 받아들이는 정도가 조금씩 다르다면 어떨까. 그 ‘감도 얼룩’을 미리 지도처럼 그려 두고 같은 장면이 방 안의 서로 다른 위치를 지나간 기록을 모으면, 어느 칸에 빛이 얼마나 들어왔는지 거꾸로 계산할 수 있다.

중국과학원 항공정보연구원 연구진이 2026년 10월 15일 공개한 ‘픽셀 분할 영상(PSI·Pixel-Segmenting Imaging)’은 이 발상을 영상센서에 적용했다. 물리적 픽셀을 자르거나 내부에 포토다이오드와 전극을 16개 새로 만든 것이 아니다. 기존 픽셀 하나를 계산 모델에서 가로 4칸, 세로 4칸으로 나누고, 위치별 감도 차이와 여러 장의 관측 영상을 이용해 16개 하위 영역의 신호를 추정했다.

없애던 ‘감도 얼룩’을 위치정보로 바꾸다

보통 픽셀은 내부 전체에 들어온 빛을 합쳐 하나의 값으로 출력한다. 이때 양자효율(QE·Quantum Efficiency)은 들어온 광자가 전기신호로 바뀌는 비율을 뜻한다. 실제 센서에서는 양자효율이 픽셀 내부 어디에서나 똑같지 않다. 천문관측에서는 별빛이 픽셀 안의 어느 위치에 닿느냐에 따라 측정값이 달라지는 ‘픽셀 위상 효과(pixel-phase effect)’ 등을 오차로 보고 보정해 왔다.

PSI 연구진은 이 불균일성을 없애야 할 결함으로만 보지 않았다. 제조 과정에서 생긴 위치별 감도 차이를 빛이 들어온 좌표를 구별하는 해독표로 사용했다. 16개 자물쇠가 저마다 조금 다른 열쇠 모양을 가진 것처럼, 각 하위 영역의 다른 반응을 단서로 삼은 셈이다.

연구진은 두 레이저로 공간주파수와 위상이 다른 간섭무늬를 만들고, 맞춤형 광학계와 진화 알고리즘을 이용해 픽셀 내부의 양자효율 지도를 추정했다. 진화 알고리즘은 여러 후보 해를 반복적으로 평가하며 더 적합한 답을 찾는 계산 방식이다. 이어 같은 장면을 센서와의 상대적 위치가 다르게 촬영한 여러 프레임을 양자효율 지도와 결합하고, 적응형 디컨볼루션과 역산을 거쳐 하위 영역별 신호를 복원했다. 디컨볼루션은 촬영 과정에서 흐려진 결과로부터 원래 신호를 추정하는 계산을 말한다.

한 번의 출력으로 얻는 값은 하나인데 찾아야 할 하위 영역의 신호는 16개다. 따라서 4×4 복원에는 서로 다른 응답을 담은 관측식이 여러 개 필요하다. 연구진은 장면 또는 카메라의 상대적 위치가 달라진 16장 이상의 프레임을 사용했다. 같은 위치에서 같은 정지 장면을 반복 촬영하는 것만으로는 독립적인 정보가 늘지 않는다.

20㎛ 픽셀을 계산상 5㎛ 간격으로

시험의 중심이 된 센서는 320×256픽셀 배열과 20㎛ 픽셀 피치를 가진 Hamamatsu C14041-10U CCD였다. 20㎛인 픽셀 한 변을 네 등분하면 계산상의 표본 간격은 약 5㎛가 된다. 최소 표본 면적은 기존 픽셀의 16분의 1이며, 형식상 출력 격자는 1280×1024, 약 131만 표본으로 늘어난다.

여기서 ‘16배’는 가로와 세로 해상도가 각각 16배가 됐다는 뜻이 아니다. 가로와 세로의 표본 수가 각각 4배가 돼 총 표본 수, 즉 면적 기준 표본 밀도가 16배가 됐다는 의미다. 실제로 광자를 따로 모으는 5㎛ 포토다이오드 16개가 생긴 것도 아니다. 하나의 물리적 픽셀이 낸 값들을 여러 관측과 감도 지도에 넣어 가상의 하위 표본을 추정한 결과다.

연구진은 센서의 나이퀴스트 차단주파수에 해당하는 25 lp/mm에서 PSI 영상의 MTF가 원영상의 2.3배, SSIM은 3.1배였다고 보고했다. lp/mm는 1㎜ 안에서 밝고 어두운 선 한 쌍을 몇 개 구별하는지를 나타내는 공간주파수 단위다. MTF는 가는 무늬의 명암 대비를 얼마나 유지하는지, SSIM은 기준영상과 구조적으로 얼마나 비슷한지를 나타내는 지표다. 이 수치는 특정 주파수와 해당 실험 조건에서 측정한 지표 비율이지, 공간해상도 자체가 각각 2.3배와 3.1배가 됐다는 뜻은 아니다.

문자와 로고 시험에서 SSIM은 PSI 0.6171, 선행 방식인 HSI 0.5922, 원영상 0.5665로 나타났다. 광학문자인식(OCR) 정확도는 PSI 97.83%, HSI 38.63%, 원영상 4.34%였다. 다만 이 결과는 총 46자를 대상으로 한 소규모 시험이어서 대규모 문서나 자연영상 성능으로 일반화할 수 없다.

딥러닝이 세부를 그리는 방식과 무엇이 다른가

연구진이 강조한 차이는 세부를 학습 데이터에서 생성하는 대신, 센서에서 실제 측정한 픽셀 내부 응답과 위치가 다른 복수 프레임을 복원식에 넣었다는 점이다. 해상도 차트에서 알려진 줄무늬의 위치와 복원 영상의 밝기 변화가 대응했다는 결과도 제시했다. 그렇다고 AI가 전혀 관여하지 않는 기술은 아니다. 비선형 역산이 부정확한 국소 최적해에 머무는 문제를 줄이기 위해 진화 알고리즘을 사용했다.

이번 기술은 아무 전례 없이 등장한 원리도 아니다. 같은 연구진은 2024년 11월 온라인 공개한 HSI(Hyper-Sampling Imaging) 선행연구에서 픽셀 내부 양자효율과 다중 프레임을 이용해 2×2, 3×3, 4×4 복원을 수행했다. 당시에는 최소제곱 방식으로 양자효율 모델을 구했다. 2026년 PSI 연구는 여기에 진화 알고리즘과 적응형 디컨볼루션을 도입해 기존 원리를 최적화하고 발전시킨 후속 연구로 보는 것이 정확하다.

딥러닝 방식과의 비교도 조건을 살펴야 한다. PSI는 시험 센서만을 위해 측정한 양자효율 지도라는 물리적 보조정보를 이용하지만, 비교 모델은 공개 구현과 학습조건을 사용했다. 10회 시험 평균에서 PSI의 MAE는 0.2343, SSIM은 0.6050, 문자 정확도는 95.44%였고, BasicVSR은 각각 0.3561, 0.5952, 57.83%였다. 그러나 이 결과만으로 모든 딥러닝 초해상도보다 우수하다고 단정할 수는 없다.

센서는 그대로지만 카메라 시스템은 그대로가 아니다

‘센서 교체 없이’라는 표현은 센서 소자의 구조를 개조하지 않았다는 뜻이다. 기존 카메라에 프로그램만 설치하면 된다는 의미는 아니다. 센서별 양자효율 지도를 만들려면 두 레이저와 결합기, 음향광학 주파수 변환기, 편광제어기 등을 포함한 맞춤형 간섭광학계가 필요하다. 촬영할 때도 16장 이상의 위치 변화 영상과 정합, 복원 계산이 뒤따른다. 엔진을 바꾸지 않았더라도 정밀 측정장치와 제어컴퓨터를 붙이면 전체 시스템은 달라지는 것과 같다.

렌즈의 한계도 사라지지 않는다. 시험은 렌즈가 전달했지만 약 25 lp/mm의 센서 나이퀴스트 한계 때문에 충분히 표본화되지 못한 정보를 복원한 조건이었다. 회절과 수차, 초점 불량이나 대기 난류 때문에 렌즈 단계에서 이미 사라진 정보까지 되살렸다는 증거는 아니다.

여러 프레임 사이에 피사체의 형태나 조명, 가림 상태가 달라지면 같은 장면을 반복 측정한다는 전제가 무너져 오차나 유령상이 생길 수 있다. 픽셀 내부 감도 차이가 작거나 잡음이 크면 역산도 불안정해질 수 있다. 양자효율 지도는 파장과 광량, 온도, 입사각, 게인, 센서 노화와 암전류 변화의 영향을 받을 수 있어 한 번 만든 지도를 장기간 또는 실외에서 재사용할 수 있는지도 검증해야 한다.

위성·천문·현미경·산업검사처럼 같은 장면을 반복 관측할 수 있고 센서 교체가 어려운 분야에서는 가능성을 검토할 수 있다. 반면 현재 주요 결과는 단일 CCD 모델을 중심으로 얻어졌다. 스마트폰 CMOS나 컬러필터 배열, 적층형 센서와 적외선 초점면배열 전반에 적용된다는 근거는 아직 부족하다. 진화 알고리즘의 반복 계산을 포함한 실시간 동영상 처리와 현장 운용 성능도 입증되지 않았다.

논문 공개 뒤 약 6일이 지난 조사 시점에는 외부 연구팀의 독립 재현이나 독립 시험기관의 검증 결과가 확인되지 않았다. PSI가 보여준 것은 픽셀의 불완전함을 새로운 측정 정보로 바꿀 수 있다는 가능성이다. 다만 그 가능성이 실제 장비에서 오래 안정적으로 작동하고, 움직이는 장면과 다양한 센서에서도 비용에 맞는 이점을 제공하는지는 다음 검증이 답해야 할 질문으로 남았다.

자료: 중국과학원 항공정보연구원, 중국과학원대, NASA/IPAC 적외선과학자료보관소, 서울대학교, 한국과학기술원, 한국전자통신연구원, 삼성전자