AI 복원가를 만나다

SPECIAL

2023-07-04

AI 복원가를 만나다

예술에서 AI의 영역을 탐구하다.

약 2100년 전 화산재 아래에 파묻힌 도시 폼페이가 다시 역사 속으로 떠오른 것은 16세기 한 공사장에서다. 폼페이 구역을 가로지르는 수로를 건설하는 과정에서 고대 건축물과 회화 작품을 발견하며 찬란한 고대 도시가 그 존재를 드러낸 것. 이후 이탈리아 당국이 조직적으로 발굴을 시작한 건 19세기에 이르러서다. 지금도 여전히 발굴 작업이 한창이며 과거 도시의 형태를 짐작할 수 있을 만큼 이루어졌다. 물론 그 과정에서 도굴과 마구잡이식 발굴로 몸살을 앓기도 했다.
폼페이 유적지는 보존 상태가 뛰어나고 문화적 가치가 높아 1997년 유네스코 세계유산에 등재됐다. 얼마나 잘 보존됐느냐 하면 머리카락까지 남은 희생자의 유해 외에도 화산 폭발 당시 사람들이 접시에 담아둔 올리브나 티타임을 기다리던 온전한 형태의 케이크까지 찾아볼 수 있을 정도다(이 유물들은 해당 유적지나 나폴리 고고학박물관에서 만날 수 있다).
반면 수천, 수만 개의 파편으로 산산이 부서져 제 모습을 찾지 못한 채 유적지 인근 창고에 방치된 조각들도 있었다. 바로 부유한 폼페이인의 집을 장식하던 프레스코화의 돌조각이다. 도시가 매몰된 당시 사방으로 흩어진 크고 작은 조각 1만5000여 점에는 동물과 꽃, 인물 등이 그려져 있다. 고고학자와 관련 연구자가 오랜 시간 재조립하려는 노력을 기울였지만 도저히 인간의 능력으로는 불가능하다는 결론에 도달했다. 정확한 분석과 기술이 선행되지 않은 채 섣불리 복원을 진행했다간 돌이킬 수 없는 사태가 발생할 수 있기에 복원 작업은 언제나 신중에 신중을 기할 수밖에 없다. 먼 미래에 불치병 치료법을 찾아주길 기대하며 냉동고에 들어가는 사람들처럼 이 조각들도 언젠가 자신을 조립해줄 기술이 등장하길 바라며 최근까지 창고에 잠들어 있었다.
약 2000년 전에 부서진 프레스코화 조각을 맞추는 일과 장난감 가게에서 퍼즐을 사서 맞추는 작업을 비교해보자. 일단 폼페이의 프레스코화 조각은 2차원이 아닌 3차원 파편이다. 온전한 그림을 모르는 상태에서 조립을 진행해야 한다. 게다가 필요한 조각을 모두 갖춘 것도 아니고 유실된 조각이 얼마나 되는지 짐작조차 하기 힘들다. 표면의 그림은 색이 바랬고 조각은 바스러질 듯 연약하다. 무엇보다도 재구매할 수 없는 유일무이한 오브제다.

인공지능으로 재구성한 화면을 출력해 덧붙이는 작업. © Rijksmuseum, Reinier Gerritsen

이스라엘 네게브의 벤구리온 대학교 컴퓨터과학과 교수 오하드 벤-샤하르(Ohad Ben-Shahar)는 기술로써 지난한 과정을 돌파할 수 있다고 말한다. 고고학자의 시간을 획기적으로 절약할 수 있다는 것이다. 그가 컴퓨터에 퍼즐 맞추기를 학습시키다 착안한 이 아이디어는 이제 ‘RePAIR(Reconstructing the Past: Artificial Intelligence and Robotics Meet Cultural Heritage)’라는 프로젝트로 확장했다. 유럽연합에서 기금을 지원해 벤구리온 대학교와 이탈리아 공과대학교를 비롯해 베니스, 빈, 리스본 등 여러 로봇공학 및 고고학 연구 기관에서 협력, 연구하고 있으며 현재 향후 3년 계획이 예정돼 있다.
기본 절차는 이러하다. 먼저 조각을 입체 스캔하고 데이터를 바탕으로 조각이 어디에 속하는지 인공지능(Artificial Intelligence, AI)이 계산한다. 표면에 발린 안료와 그림의 형태를 분석하는 과정도 필수다. 이제 퍼즐을 맞추듯 제자리에 조각을 배치하면 된다. 차후에는 스캔부터 섬세한 로봇 팔을 이용한 조립까지 모든 과정을 신속하게 처리할 수 있을 것으로 보인다. 기술이 무르익으면 고고학자가 발굴 현장에서 돌아와 유해를 작업대에 잔뜩 늘어놓고 로봇이 밤새 조각을 맞출 것이라고 연구진은 기대한다. 또한 이 기술로 폼페이 프레스코화는 물론 전 세계 토기 등 여러 유물을 복원, 수복하는 데에 도움을 줄 수 있을 것이라고 전망한다. 하지만 벤-샤하르 교수는 전 과정을 컴퓨터에 일임할 수 있다고 해도 인간의 역할이 중요한 요소로 남을 것이라고 확언한다. 인간이 진행 과정을 꼼꼼히 살피고 결과물을 검수해야 하며 작업의 방향 조율과 완급 조절 또한 인간의 몫이다.
AI를 통해 인간이 처리할 수 없는 복잡하고 섬세한 작업을 진행하는 폼페이 프레스코화처럼 예술계에서 AI가 활약하는 몇 가지 사례를 더 살펴볼까 한다. 1642년에 렘브란트가 완성한 명작 ‘야경(The Night Watch)’은 1715년 작품을 암스테르담 시청사로 옮길 때 공간에 맞춰 네 가장자리를 모두 잘라내는 불상사를 겪었다. 위 22cm, 아래 12cm, 오른쪽 7cm, 왼쪽은 무려 60cm나 잘려나간 부분이 자취를 감췄다. 이후 이 파편을 발견했다는 기록은 없다. 그러나 2021년에 인공 신경 네트워크 기술이 렘브란트의 표현 기법을 분석, 학습한 자료를 바탕으로 유실된 부분을 복원했고 이 과정에서 헤릿 륀던스(Gerrit Lundens)라는 화가가 1655년에 그려둔 사본이 큰 역할을 했다. 암스테르담 국립미술관(Rijksmuseum Amsterdam)은 그림 양쪽과 아래위에 복원한 화면을 출력해 덧붙인 뒤 전시했다. 이로써 우리는 원작에 가까운 ‘야경’의 모습을 만날 수 있게 됐다.
이 외에도 독일의 주요 일간지 <FAZ(Frankfurter Allgemeine Zeitung)>의 보도에 따르면, 2011년부터 진행한 구글의 ‘더 클림트 컬러 수수께끼(The Klimt Color Enigma)’ 프로젝트는 흑백사진만 남은 클림트 작품 ‘의학(Medicine)’, ‘법학(Law)’, ‘철학(Philosophy)’ 본연의 천연 색상을 복원했다고 발표했다. 클림트 전문 연구자를 포함한 프로젝트 팀은 클림트의 다른 작품을 고해상도로 스캔하고 컴퓨터로 학습해 빅데이터를 구축한 후 각 작품의 색채와 기법을 도출했다. 가로세로 길이가 3m, 4m를 넘기는 대형 작품 3점은 나치 시대에 퇴폐 미술로 분류돼 제2차 세계대전 종전을 하루 앞두고 안타깝게 불태워졌다. 오늘날 클림트의 작품은 전체의 15%가량이 소실됐다고 한다. AI가 색상을 입힌 세 작품은 구글 아트앤컬처 웹 사이트(artsandculture.google.com)에서 확인할 수 있다.

다시 네덜란드로 가보자. 네덜란드 미술품 복원 및 연구 아틀리에와 미국 러트거스 주립대학교는 AI를 활용해 위작을 가리는 AI 순환 신경망(Recurrent Neural Network, RNN) 기술을 개발했다. 예술품의 역사적 가치를 가늠해야 하는 미술관이나 수집가들의 눈이 번쩍 뜨이게 할 이 기술은 판별 대상에 드러난 선과 붓 터치를 분석하고 원작자의 선, 필압 등과 비교한다. 연구진은 AI가 모딜리아니, 마티스, 피카소의 그림 300점에서 8000건의 개별 선을 나눠 분석하도록 했다. 그 결과 위작 여부를 가리는 데 80% 이상의 정확도를 기록했다. 연구에 참여한 러트거스 주립대학교 교수 아흐메드 엘가말 박사(Dr. Ahmed Elgammal)는 속도만큼은 사람에게 비할 수 없이 빠르다고 전했다. 이후 연구진은 붓 터치가 명확한 19세기 작품으로 실험 범위를 넓혔다.
컴퓨터의 복원 알고리즘은 정교한 빅데이터를 바탕으로 한다. AI를 활용한 작품이 다양해 지고 컴퓨터가 만든 예술품을 창의적 작품이라고 판단해야 할지 논의가 한창인 지금, 보전과 복원 분야에서만큼은 AI 기술이 획기적 가능성을 드러낸다. 그러나 지금까지 살펴본 연구에서도 확인할 수 있듯 AI가 미숙해 ‘아직’ 인간의 손길이 필요하다기보다는 ‘앞으로도’ 로봇은 인간과 함께 작업해야 할 것으로 보인다. 빅데이터가 담지 못한 예측 불가능한 ‘인간사’를 고려하면 분명 사람의 창의적 판단이 필요할 테니 말이다. 인간은 전례 없이 유능한 조력자를 얻었고 로봇은 다시없을 현명한 연주자를 만난 셈이다. 앞으로도 AI에 미래를 제시하는 건 언제나 인간일 것이다.

에디터 백아영(summer@noblesse.com)
글 이미솔(미술 저널리스트)

Tag

Latest News