역 이미지 검색은 어떻게 작동합니까?

당신의 평균적인 사진은 아마도 천 마디 말보다 훨씬 더 가치가 있을 것입니다. 당신이 셀카에서 배울 수 있는 것은 아주 많습니다. 그러나 때로는 가치가 있는 단어의 수에 관계없이 이미지가 어디에서 왔는지 알아야 할 필요가 있습니다.

이를 위해 Google, TinEye, Bing, Yandex, Pixsy 등과 같은 업체에서 제공하는 역 이미지 검색 엔진이 있습니다. 하지만 쿼리에 단어를 제공하지 않기 때문에 검색할 단어를 어떻게 알 수 있습니까? 그리고 가장 중요한 것은 그것을 어떻게 찾습니까? 각 검색 엔진의 역 이미지 검색 작동 방식은 다양하고 정확한 알고리즘을 비밀로 유지하지만 기본 아이디어는 거기에 있으며 파악하기 어렵지 않습니다.

지문

사진은 실제로 사람의 지문보다 더 독특할 수 있습니다. 정확히 동일한 픽셀 배열을 포함하는 두 사진의 확률은 상상할 수 없을 정도로 극미한 반면 지문 충돌의 가능성은 약 640억(상대적으로 좋은 확률)이기 때문입니다. 그런데 사진에 지문을 어떻게 찍나요? 단계는 알고리즘에 따라 다르지만 대부분은 동일한 기본 공식을 따릅니다.

먼저 색상, 질감, 그라디언트, 모양, 그림의 여러 조각 간의 관계, 그리고 푸리에 변환(이미지를 사인과 코사인으로 나누는 방법)과 같은 것을 포함할 수 있는 이미지의 기능을 측정해야 합니다.

다음 이미지를 찾고 있고 이 이미지의 지문이 필요하다고 가정해 보겠습니다.

이를 위해 무엇보다도 이미지의 색상 히스토그램, 푸리에 변환 및 텍스처 맵을 사용할 수 있습니다. 각각은 아래에서 볼 수 있습니다.

이미지의 크기를 조정하거나, 흐리게 처리하거나, 회전하거나, 다른 방식으로 조작하는 경우 위의 기능과 기타 기능을 사용하여 조회수를 찾으려고 시도하는 여러 알고리즘이 있을 것입니다.

인코딩, 저장 및 검색

지문의 모든 이미지 기능은 문자와 숫자의 문자열로 인코딩할 수 있으며 데이터베이스에 쉽게 저장하고 인덱싱할 수 있습니다. 기능의 조합이 무엇이든 추출 및 저장하면 해당 사진에 대한 역 이미지 검색 엔진의 항목이 됩니다. 예를 들어, TinEye의 데이터베이스에는 2020년 2월 기준으로 약 396억 개의 색인 이미지가 포함되어 있습니다. 즉, TinEye는 많은 사진에 대해 알고리즘을 실행하고 검색된 이미지를 비교하기 위해 모든 지문을 저장하고 있습니다.

알고리즘의 두 번째 주요 부분은 유사한 이미지를 파악하는 것입니다. 사진을 업로드하면 역 이미지 검색 엔진의 지문 알고리즘을 거칩니다. 그런 다음 검색 엔진은 “이미지 거리”라고 하는 가장 가까운 지문을 가진 항목을 찾으려고 시도합니다. 비교할 요소와 가중치를 부여하는 방법을 결정하는 것도 각 검색 엔진에 달려 있지만 대부분 가능한 한 0에 가까운 총 이미지 거리를 찾는 것을 목표로 합니다.

머신 러닝/AI는 어떻습니까?

위에서 설명한 핑거프린팅/인덱싱 기술 덕분에 역 이미지 검색은 AI를 적용하기 전에도 꽤 좋았습니다. 그러나 AI는 이미지 처리에 탁월하기 때문에 CNN(컨볼루션 신경망)과 같은 것은 많은 주요 검색 엔진에서 특징을 추출하고 레이블을 지정하는 데 사용하고 있을 가능성이 큽니다. 예를 들어 구글은 역방향 이미지 검색에 CNN을 사용하여 사진에 대한 가능한 키워드를 찾아내고 관련 웹 및 이미지 결과를 생성할 수 있습니다.

이것은 단순한 특징 추출 및 이미지 거리보다 한 단계 높은 역 이미지 검색을 수행합니다. 컨볼루션 신경망은 기본적으로 여러 유형의 기능을 매핑하는 여러 필터를 통해 이미지를 실행한 다음 이전 교육을 기반으로 분류를 시도합니다. 물론 이는 지나치게 단순화한 것이지만 CNN이 이미지 검색을 훨씬 더 정확하고 유용하게 만들고 아마도 이전 컴퓨터 비전 지문 채취 방법과 함께 구현되고 있다고 말하는 것으로 충분합니다.

최고의 역 이미지 검색 엔진은 무엇입니까?

서로 다른 알고리즘은 서로 다른 이미지 검색 엔진이 서로 다른 일을 잘한다는 것을 의미하지만 궁극적으로 모두 동일한 목표를 목표로 하고 있습니다. 업로드한 사진과 일치하는 항목을 찾는 것입니다. 구글 이미지 예를 들어 적중률이 꽤 높지만 “최상의 추측”을 많이 하여 유사하지만 동일하지는 않은 사진을 많이 얻을 수 있습니다. 기분이나 일반적인 범주를 추구하는 경우에는 좋지만 다음과 같은 엔진은 틴아이 편집이 많이 된 경우에도 동일한 이미지를 찾는 데 훨씬 더 집중하고 사진 내에서 이미지를 식별할 수도 있으므로 정확히 일치해야 하는 경우 조금 더 좋습니다.

러시아 검색 엔진 Yandex도 뛰어난 이미지 검색 도구를 가지고 있는 것으로 유명하지만 아마도 예상대로 러시아어 주제에 대해 가장 잘하는 경향이 있습니다. Pixsy 및 ImageRaider와 같은 도구는 무단 사용 사례를 식별하는 데 중점을 두고 있으므로 경고와 같은 더 많은 기능을 포함하고 사용자 사진 라이브러리 모니터링에 중점을 두는 경향이 있습니다.

알고리즘은 항상 변경되고 일반적으로 잠겨 있기 때문에 원하는 결과를 반환하지 않는 엔진을 여러 개 확인하는 것이 좋습니다.