faissgpu

대용량 데이터의 유사도 검색 라이브러리 faiss 사용하기

faiss faiss는 대용량의 데이터 간의 유사도를 빠르게 계산해주는 유사도 검색 라이브러리입니다. 예를 들어 유사한 단어를 찾고 싶다! 하시면 미리 임베딩된 단어들로 "인덱스"를 생성해 주시고, "검색"을 통해 관련된 단어를 얻으시면 됩니다. 지금은 텍스트의 예로 말씀드렸는데, 이미지 검색에서도 활용 가능합니다. 사용 방법 1. 임베딩된 벡터 준비 2. 인덱스 생성 3. 검색 faiss는 위의 3가지 과정을 거치면 사용하실 수 있습니다. 본격적으로 사용해 보기 전! 설치를 먼저 해주세요~ cpu 버전 pip install faiss gpu 버전 pip install faiss-gpu 1. 임베딩된 벡터 준비 이미지면 이미지를 임베딩한 벡터, 텍스트면 텍스트를 임베딩한 벡터가 필요합니다. 저는 예시로 ..