시맨틱 검색이란
😀 이미지 시맨틱 검색
이미지 시맨틱 검색은 이미지의 의미와 내용을 기반으로 이미지를 검색하는 기술
Note
💡 이 기술의 핵심은 텍스트로 이미지를 검색할 수 있다는 것
전통적인 이미지 검색은 메타데이터나 파일 이름을 기반으로 하지만,
시맨틱 검색은 이미지 자체의 내용을 이해하고 이를 바탕으로 유사한 이미지를 찾는 것
이를 위해 딥러닝(CNN)을 활용하여 이미지의 고차원적 특징을 추출하고, 의미적으로 해석
1. 예시 검색어
- 밝은 빨간색 미니 원피스
- 어두운 파란색 롱 원피스
- 소매가 없는 노란색 원피스
- 흰색 로우탑 운동화
-
갈색 하이탑 운동화
-
여름에 입기 좋은 통기성 좋은 흰색 티셔츠
- 격식 있는 회색 슬랙스 바지
- 발 편한 여성용 운동화
- 방수 기능이 있느 겨울 부츠
- 골드 컬러의 미니멀한 디자인 귀걸이
- 데일리 룩에 어울리는 실버 팔찌
2. 시맨틱 검색의 장점
- 맞춤화 & 편리성 : 고객의 특정 상황이나 용도에 맞는 제품을 쉽고 빠르게 찾음
3. 기술 개요
- 갭션 추출
- 캡션 임베딩
- 검색어 임베딩
- 유사도 계산
- 관련 상품 제공
1.갭션 추출
먼저, 상품을 등록할 때 넣는 상품 이미지로부터 자동으로 갭션을 생성
이는 상품의 주요 내용을 자연어로 표현한 것
예를 들어, 신발사진에서 “빨간 줄무늬가 있는 런닝화 한 켤레” 와 같은 캡션을 생성
영어 캡션
The image shows a young man standing in front of a building with a sign that reads "Royles". He is wearing a beige button-down shirt and black trousers. He is holding a black jacket in his left hand and has a pair of glasses on his right wrist. He has short black hair and is looking off to the side with a serious expression on his face. The building behind him has a wooden facade and large windows.
한국어 캡션
그 이미지는 "Royles"라고 쓰여진 표지판이 있는 건물 앞에 서 있는 젊은 남자를 보여줍니다. 그는 베이지색 버튼다운 셔츠와 검은색 바지를 입고 있습니다. 그는 왼손에 검은색 재킷을 들고 있고 오른쪽 손목에 안경을 쓰고 있습니다. 그는 짧은 검은 머리를 가지고 있고 심각한 표정으로 옆을 내려다보고 있습니다. 그의 뒤에 있는 건물은 나무로 된 정면과 큰 창문을 가지고 있습니다.
2. 캡션 임베딩
생성된 캡션을 임베딩합니다.
임베딩은 텍스트를 벡터 형태로 변환하여, 컴퓨터가 이해할 수 있는 형태로 만드는 과정
임베딩 결과
[-4.6010e-01, 4.2769e-01, -2.9483e+00, -1.1792e+00, -1.1265e-01, 4.0784e-01, 1.0305e+00, 1.1099e+00, 9.1235e-01, -6.3019e-01, 2.0483e-01, 4.7777e-01, -1.4992e-01, 8.0334e-01, 5.4970e-02, 1.7510e-01, 3.3063e-01, -9.7676e-01, -2.5874e-01, -1.5424e-01, -1.0303e+00, -1.0298e-01, -5.2989e-01, 2.4445e-01, 1.1998e+00, …… 9.0055e-01, 1.9786e-01, 3.1558e-02, -2.8156e-01, 6.3640e-01, -4.3221e-01, 4.0642e-01, -5.0806e-01, -7.9445e-01, -1.5009e-01]
3. 검색어 임베딩
사용자가 입력한 검색어도 동일한 방식으로 임베딩
예를 들어, 사용자가 “베이지색 단추 셔츠”를 검색하면, 이를 벡터 형태로 변환
벡터는 크기와 방향을 가진 수학적 객체입니다.
4. 유사도 계산
이미지 캡션의 임베딩 벡터와 검색어 임베딩 벡터 간의 유사도를 계산
이는 사용자가 입력한 검색어와 시맨틱하게 유사한 상품을 제공함으로써, 보다 정확한 검색 결과와 사용자가 디테일적으로 원하는 상품을 검색할 수 있게 됨
5. 관련 상품 이미지 반환
유사도가 높은 상품 이미지들을 검색 결과로 반환