데이터 바뀌어도 AI 검색길 지킨다…KAIST ‘CONDA’ 개발
문서가 끊임없이 바뀌어도 인공지능(AI)이 필요한 정보를 찾아가는 길을 잃지 않도록 하는 벡터 검색 기술이 나왔다. KAIST는 김민수 전산학부 교수 연구팀이 데이터 추가와 삭제가 반복되는 환경에서도 검색 정확도를 안정적으로 유지하는 동적 벡터 검색 기술 ‘CONDA(Connectivity-Aware Dynamic Index)’를 개발했다고 밝혔다.
생성형 AI는 학습을 마친 뒤 새로 생긴 정보를 스스로 알 수 없다. 이를 보완하는 검색증강생성(RAG)은 질문과 관련된 최신 뉴스나 기업 내부 문서를 먼저 찾고, 그 내용을 답변에 활용하는 방식이다. RAG의 품질을 받치는 핵심은 많은 자료 가운데 필요한 정보를 빠르고 정확하게 골라내는 검색 기술이다.
벡터 검색은 문서나 이미지의 의미를 컴퓨터가 계산할 수 있는 숫자 묶음인 ‘벡터’로 바꾸고, 의미가 가까운 자료를 연결해 찾는다. 문제는 실제 데이터가 계속 변한다는 데 있다. 문서와 상품 정보가 새로 들어오고 오래된 항목이 수정·삭제되면, 데이터 사이의 연결망이 조금씩 끊어질 수 있다. 목적지는 남아 있지만 도로가 사라져 내비게이션이 길을 찾지 못하는 것과 비슷하다.
기존 시스템도 변화에 대응해 왔다. 삭제 항목에 표시만 남기는 소프트 삭제는 ‘묘비 표식’이 쌓여 검색 경로와 연산 여유를 소모한다. 여러 데이터를 묶은 구간을 주기적으로 다시 만드는 방식은 재구축할 때 지연시간과 자원 사용량이 커질 수 있다. FreshVamana와 IPVamana는 전체를 새로 만들지 않고 바뀐 지점 주변만 고치는 인플레이스 업데이트를 도입했다.
CONDA는 이 흐름에 연결성 판단을 더했다. 핵심은 연결성을 고려해 검색 경로를 고르는 CRNG, 새 데이터가 들어올 때 주변 연결 후보를 보강하는 방식, 삭제 대상을 먼저 표시한 뒤 검색과 업데이트 과정에서 관련 연결을 차례로 정리하는 지연 삭제다. CRNG는 데이터 간 거리만 보는 데 그치지 않고 두 단계 이내의 경로로 실제 도달할 수 있는지도 살핀다. 양방향 연결을 보강해 새 데이터가 검색망에서 고립되는 것도 막는다.
VLDB Endowment에 실린 논문에 따르면 실험은 텍스트·이미지·멀티모달을 포함한 실제 데이터셋 6개로 진행됐다. 업데이트 워크로드 전체에서 CONDA의 recall@10은 최신 인플레이스 그래프 방식보다 평균 4.3% 높았고 가장 어려운 조건에서는 최대 17.2% 높았다. recall@10은 검색 결과 상위 10개 안에 정답을 얼마나 찾아냈는지를 보여주는 지표다. 총 업데이트 시간은 평균 20.5%, 고립 노드 비율은 평균 94.7% 줄었다.
원 자료에 제시된 정확도 최대 24.5% 향상은 모든 실험의 평균이 아니다. 위키피디아 벡터 100만 개가 시간에 따라 들어오고 빠지는 슬라이딩윈도 조건에서 FreshVamana보다 recall@10이 높았던 수치다. 어떤 비교 조건에서 나온 결과인지 함께 봐야 기술의 성능을 정확히 이해할 수 있다.
규모를 키운 시험에서는 MS SpaceV 벡터 1억 개를 대상으로 삽입·삭제·검색 스레드를 각각 5개씩 두고 6시간 동안 동시에 처리했다. CONDA는 이 시험에서 비교 기술보다 짧은 응답시간과 높은 검색 정확도를 유지했다. YFCC 벡터 8400만 개를 10개월 슬라이딩윈도로 시험했을 때는 FreshVamana의 고립 노드 비율이 약 40%까지 오른 반면 CONDA는 거의 0%를 유지했다.
실험은 Ubuntu 20.04.4, Intel Xeon Gold 6326 프로세서 2개와 512GB 메모리를 갖춘 환경에서 수행됐다. 논문과 재현용 소스코드, 실험 스크립트도 공개됐다. 다만 연구 범위는 데이터를 메모리에 올려 처리하는 그래프 인덱스이며, 디스크 기반 확장은 후속 과제로 남아 있다.
이 기술은 기업 규정과 업무 문서처럼 내용이 자주 바뀌는 지식검색, 최신 뉴스 검색, 상품 검색과 추천 등 변화가 많은 AI 서비스의 검색 기반으로 활용 가능성을 제시한다. 김민수 교수는 데이터가 끊임없이 변하는 현실에서도 AI가 오랜 시간 정확하게 최신 지식을 활용할 수 있는 데이터 인프라를 제시했다는 점에 의미가 있다고 밝혔다.
자료: KAIST, VLDB Endowment