RAG나 시맨틱 검색을 제대로 이해하려면 Elasticsearch의 dense vector 검색이 내부에서 어떻게 동작하는지 알아야 하고, 그 핵심에 HNSW가 있기 때문에 이 개념을 한 번 정리해두려고 한다. HNSW는 Elasticsearch에서 벡터 기반 검색을 빠르게 수행하기 위해 사용하는 근사 최근접 탐색 알고리즘이다. dense vector 검색은 모든 문서 벡터와 거리를 계산하면 정확하지만 데이터가 조금만 많아져도 성능이 급격히 나빠진다. 그래서 Elasticsearch는 정확도 일부를 포기하고 속도를 얻는 방향을 선택했고, 그 결과가 HNSW다. HNSW를 이해하려면 먼저 벡터 공간과 최근접 이웃 검색이라는 개념을 이해해야 한다. 문장 임베딩은 문장을 고정 차원의 실수 벡터로 변환한다. 의..
