GPU 기반 원격 벡터 인덱스 구축 가이드

OpenSearch(v3.0.0)는 GPU 가속 원격 인덱스 빌드 서비스를 통해 벡터 인덱스를 더 빠르고 효율적으로 구축할 수 있다.

이 기능은 Faiss 엔진 + HNSW 알고리즘 + FP32(32-bit float) 벡터에 대해 지원된다.

주요 이점

PUT /_cluster/settings
{
  "persistent": {
    "knn.remote_index_build.enabled": true
  }
}

PUT /my-index/_settings
{
  "index": {
    "knn.remote_index_build.enabled": true
  }
}

두 설정이 모두 true여야 인덱스에 대해 원격 빌드가 활성화됨

OpenSearch 클러스터는 벡터와 문서 ID를 S3 저장소에 업로드하며, 원격 GPU 빌더는 이를 가져와 외부에서 인덱스를 생성한 뒤 결과를 다시 저장소에 업로드한다.

PUT _snapshot/remote-knn-repo
{
  "type": "s3",
  "settings": {
    "bucket": "my-knn-bucket",
    "region": "us-west-2"
  }
}

PUT /_cluster/settings
{
  "persistent": {
    "knn.remote_index_build.repository": "remote-knn-repo"
  }
}

PUT /_cluster/settings
{
  "persistent": {
    "knn.remote_index_build.service.endpoint": "https://my-knn-builder.example.com"
  }
}

GPU 빌더 서비스 구성에 대한 자세한 내용은 공식 User Guide 참조

Flush 또는 Merge 시, 다음 조건을 만족하는 경우 GPU 빌드 경로로 전환:
1. 인덱스 설정이 지원 구성을 따름 (Faiss + HNSW + FP32)
2. 세그먼트 크기가 설정된 범위 내에 있음
  - 최소: index.knn.remote_index_build.size.min
  - 최대: knn.remote_index_build.size.max
빌드 작업은 백그라운드에서 자동 실행됨

k-NN Stats API를 사용해 원격 인덱스 빌드 작업 상태를 확인 가능:

GET /_plugins/_knn/stats

기존에는 벡터를 색인할 때 OpenSearch 노드가 CPU로 직접 벡터 인덱스(HNSW 등)를 생성해야 했음.
이 작업은 특히 수십만~수백만 개의 벡터를 색인할 때 병목이 발생함.
GPU를 사용하면 병렬 연산으로 수십 배 빠르게 인덱스를 생성할 수 있음.
- 예: 수백만 개 벡터를 수 분 내 색인 가능 (CPU보다 수십~수백 배 빠름)

인덱스 생성 작업은 CPU를 많이 소모함 → 검색 성능에도 영향
GPU 기반 원격 빌드는 색인 작업을 OpenSearch 외부의 별도 GPU 서버에서 처리하므로
- OpenSearch 노드의 CPU 사용률이 낮아짐
- 검색 성능 유지 + 인덱싱 작업 병렬화 가능

GPU 인덱스 빌드 서버는 OpenSearch 클러스터와 독립적이므로
- 필요 시 별도 확장 가능
- GPU 서버 비용만 별도로 관리하면 됨 (OpenSearch에 무리 없음)