마이크로소프트의 연구물, Microsoft Photosynth

인터넷에는 수많은 사진들이 있다. 유명한 건물, 예를들어 구글의 이미지 검색에서 인도의 타즈마할(Taj Mahal, India)을 검색해 보더라도 32,900개의 사진이 검색된다. 이들의 공통점이라면 지구의 위치상의 좌표가 비슷하다는 점, 같은 대상을 찍었다는 점이다. 다만 대상을 바라본 시점(view)만 다를 뿐이다.

"수백장의 타즈마할 사진을 연결하여 하나의 공간으로 구성한 Taj Mahal Photosynth"
MS의 Photosynth 플러그인을 설치했다면 수백장의 사진으로 구성된 타즈마할을 3차원 공간으로 돌아다녀 볼수 있다. 서버문제인지 간혹 사진이 안보이기도 하는데 [F5]키를 눌러 새로고침을 하면된다.

URL : http://photosynth.net/view.aspx?cid=66fc546a-5f21-4daf-9cee-240711304016

"웹상에 있는 수 많은 사진을 연결해서 하나로 묶는다면?"
웹에 있는 수 많은 사진을 공통된 부분으로 연결한다면 하나의 거대한 사진 기반의 가상 공간(Photo based Virtual Space)이 만들어진다. 여러장의 사진을 찍어 한장의 좌우로 긴 파노라마(Panorama) 사진을 만드는 것도 이와 비슷하다.

포토신스와 관련해서는 ZDNet 에 잘 정리된 글이 있다.
사진 몇장이면 3D 영상도「거뜬」…MS「포토신스」맛보기, [바로가기]

"어떻게 자동으로 연결할까?"
컴퓨터 비전(Computer Vision) 알고리즘 중에는 SIFT(Scale Invariant Feature Transform)라는 크기에 불변하는 특징 추출 변환방법이 있다. SIFT는 3세대 소니 아이보(AIBO) 강아지 로봇 ERS-7 에 이 알고리즘이 들어가서 유명해 졌다고 한다. 관련 내용은 http://opencv.co.kr SIFT 게시판을 참고.

SIFT란, 크기와 회전에 불변한 특징을 추출하는 것, 그리고 이를 이용해서 Detection 이나 Recognition 에 응용하곤 한다.  SIFT 는 99 년 부터 연구가 되었다고 한다. Conference 에 몇번 소개 되었었고 IJCV 2004 (Intertional Journal of Conputer Vision) 에 저널로 내놓은 것이 가장 최근의 완성판인것 같습니다. SIFT 에도 매칭 키포인트를 비교할 때 차원의 문제가 존재하는데 발빠른 사람이 차원을 줄이는 PCA 를 이용해서 PCA-SIFT 를 논문으로 내놓았고, 본인도 몇가지 방법을 연구하여 실험 결과물을 뽑고 있다. Matlab 도 있고 C 소스코드도 여기저기 공개되어 있다.

"Microsoft Live Labs에서 연구한 연구 결과물"
보통 홈페이지에 소개되거나 유튜브에 동영상이 올라오는 정도로 끝다던 연구물이 드디어 대중에게 공개됬다. 얼마전까지만 해도 MS의 Photosynth는 MS Research 홈페이지나 유튜브에서만 볼 수 있었는데 이렇게 대중에게 공개되다니 어느정도 안정화 되었나보다.

EXE 형태의 인스톨 버전을 설치해야하고 플러그인도 설치해야 볼수 있다는 점이 아쉽긴 하다. MS에서 RIA(Rich Internet Application) 플랫폼으로 밀고 있는 실버라이트(Silverlight)로 한다던지, 전세계 컴퓨터의 98% 에 설치되어 있다는 아도비 플래시(Adobe Flash) 버전으로 했어도 편했을 것 같다. 물론 실버라이트나 플래시가 3D 쪽이 약해서 그런것 일수도 있다. 

포토신스 홈페이지에 방문하여 다른 예들도 살펴보고 자신이 찍은 사진을 업로드하여 3차원으로 구성된 모습도 살펴보자. 자신의 방을 수백장 찍어 3차원 공간으로 구성할 수도 있다. 사진을 업로드하여 만들수 있게 되어있고, <iframe> 코드를 제공하여 자신의 홈페이지나 블로그에 손쉽게 넣을 수 있다.
http://photosynth.net

몇분만에 연구실을 Photosynth로 만들어 보았다. 서버 문제인지 간혹 사진이 뜨지 않는 경우도 있다.



Reference
[1] SIFT C Source, http://web.engr.oregonstate.edu/~hess/index.html
[2] SIFT를 이용한 TIP 자동생성 기법, http://cafe.naver.com/wslhanyang/560
[3] ZDNet 포토신스 맛보기, http://www.zdnet.co.kr/news/enterprise/web/0,39031833,39149981,00.htm
[4] MS의 Photosynth, http://photosynth.net