이미지로 3d 모델링 - imijilo 3d modelling

적대 신경망(GAN) 적용

엔비디아는 자사의 인공지능(AI) 리서치 랩에서 개발한 GANverse3D 애플리케이션을 19일 공개했다. 

이는 평면 이미지를 사실적인 3D 모델로 변환해 가상 환경에서 시각화와 제어를 가능하게 한다. 건축가, 크리에이터, 게임 개발자, 디자이너 등에게 활용도가 높을 것으로 보여진다. GANverse3D를 활용하면 3D 모델링 분야에 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 자신의 실물 모형에 새로운 오브젝트를 손쉽게 추가할 수 있다. 특정 자동차 사진 한 장만으로 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다.

 엔비디아 AI 리서치 랩의 연구자들은 훈련용 데이터세트의 마련에 생성적 적대 신경망(GAN)을 적용했다. 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성했다. 

이를 통해 얻은 다시점 이미지들을 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽용 렌더링 프레임워크에 연결했다. 다시점 이미지로 훈련을 완료한 GANverse3D는 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이는 오브젝트를 커스터마이징하고 배경을 스왑 아웃할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수 있다.

GANverse3D를 엔비디아 옴니버스 플랫폼의 확장기능으로 가져와 엔비디아 RTX 그래픽처리장치(GPU)로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다. 일례로 1980년대에 큰 인기를 끌었던 TV 드라마 ‘전격 Z작전’에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다.

이번 프로젝트의 책임 저자를 맡은 웬젱 첸(Wenzheng Chen) 엔비디아 연구원은 "기존의 역 그래픽용 모델들은 훈련 데이터로 3D 형상에 의존해 왔다"며 "GANverse3D은 3D 에셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있다"고 설명했다.

GANverse3D 연구 내용은 5월에 개최될 인공지능학회 표현학습국제학회(ICLR)와 6월에 열릴 패턴인식 학술대회(CVPR)에서 소개될 예정이다.

저작권자 © 전자부품 전문 미디어 디일렉 무단전재 및 재배포 금지

엔비디아(Nvidia)가 2차원(2D) 이미지를 사용자가 쉽게 수정할 수 있는 3차원(3D) 개체로 변환하는 AI 도구를 공개했다. 3D 모마(MoMa)라고 불리는 이 기술은 건축가, 디자이너, 컨셉 아티스트 및 게임 개발자가 개체를 그래픽 엔진으로 빠르게 가져와 작업을 시작하고, 크기를 수정하고, 재료를 변경하거나, 다양한 조명 효과를 실험할 수 있도록 한다.

3D 모마는 인버스 렌더링(inverse rendering)을 통해 작업 속도를 높인다. 인버스 렌더링은 일련의 정지 사진을 물체나 장면의 3D 모델로 재구성하는 기술이다. 3D 모마는 기본적으로 GPU 가속을 통해 AI 모델을 훈련해 2D 정보를 3D 그래픽으로 정의하는 데 사용되는 삼각형 메쉬(mesh)로 조각화하는 방법을 학습하고 해당 작업을 수행한다.

예를 들어 게임 스튜디오는 일반적으로 상당한 시간과 수작업이 필요한 복잡한 사진 측량 기술을 사용해 이와 같은 3D 개체를 만든다. 올해 초 엔비디아는 몇 초 만에 일련의 사진을 3D 장면으로 전환할 수 있는 방법을 선보였다. 이 기능은 강력하지만 캡처를 쉽게 편집할 수 있는 삼각형 메쉬를 만들지는 않았다.

[관련기사]사진 몇 장으로 3D 장면 연출...엔비디아, 2D를 3D로 초고속 렌더링하는 AI 기술 개발

3D 모마 렌더링 파이프라인은 이를 변경해 단일 엔비디아 텐서 코어(Tensor Core) GPU에서 1시간 이내에 삼각형 메시 모델을 생성한다. 아티스트나 엔지니어에게 가장 유용한 3D 개체는 게임 엔진, 3D 모델러 및 영화 렌더러와 같이 널리 사용되는 도구에서 사용할 수 있는 형식이어야 한다. 그 형태는 그러한 3D 도구에서 사용되는 질감이 있는 재료로 구성되는 삼각형 메쉬다. 

또한 삼각형 메쉬 모델은  제작자가 이미 사용하는 엔비디아의 옴니버스(Omniverse)와 같은 그래픽 엔진으로 가져와 즉시 속성을 수정할 수 있다. 파이프라인의 재구성에는 3D 메쉬 모델, 재료 및 조명의 세 가지 기능이 포함된다. 메쉬는 삼각형으로 만들어진 3D 모양의 종이 모형과 같다. 이를 통해 개발자는 비전에 맞게 개체를 수정할 수 있다. 재료는 피부처럼 3D 메쉬에 2D 텍스처가 겹쳐진 것이다. 그리고 3D 모마의 장면 조명 추정치를 통해 나중에 개체의 조명을 수정할 수 있다.

엔비디아는 3D 모마의 기능을 선보이기 위해 5가지 재즈 밴드 악기(트럼펫, 트롬본, 색소폰, 드럼 세트, 클라리넷) 각각에 대해 약 100개의 이미지를 다양한 각도에서 수집했다. 3D 모마는 이러한 2D 이미지를 메쉬로 표시되는 각 악기의 3D 표현으로 재구성한 다음 엔비디아 옴니버스 3D 시뮬레이션 플랫폼으로 가져와서 편집했다. 여기에서 모양을 유지하면서 다이아몬드, 금, 대리석, 코르크, 나무 등으로 재료를 교체할 수도 있다. 

그런 다음 제작자는 새로 편집된 개체를 가상 장면에 배치할 수 있다. NVIDIA 팀은 렌더링 품질을 테스트하는데 사용되는 코넬(Cornell) 상자에 악기를 넣어 빛나는 금관 악기가 밝게 반사되고 무광택 드럼 스킨이 빛을 흡수해 가상 악기가 실제 세계에서와 마찬가지로 빛에 반응한다는 것을 보여주었다.

엔비디아는 22일(현지 시간)  CVPR(Computer Vision and Pattern Recognition Conference) 2022에서 3D 모마에 대한 연구 논문을 발표했다.

AI타임스 박찬 위원

[관련기사][GTC 2022] 노타 "엔비디아 옴니버스, ITS에 최적화"

[관련기사]스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발

사진 한 장만 있으면 다른 여러 각도의 이미지와 3차원 이미지도 만들어 내는 인공지능(AI) 기술이 나왔다.

스탠포드(Stanford) 연구원들이 기본 기하학적 구조와 함께 얼굴 및 물체의 3D 이미지를 생성할 수 있는 AI 모델인 EG3D를 개발했다. 이 모델은 노트북에서 거의 사실적인 3차원 장면을 즉시 생성하고 편집하는 데 사용하거나, 아티스트가 비디오 게임 및 영화용 CGI 작업 또는 초현실적인 아바타 창조 작업에 사용할 수 있다.

AI는 한동안 사실적인 2D 이미지를 생성할 수 있었지만 3D 장면은 대규모의 컴퓨터 성능이 필요하기 때문에 더 어려웠다.

과학기술 매체인 뉴사이언티스트(NewScientist)에 따르면 AI 모델 EG3D는 물체 및 얼굴의 임의의 이미지를 정확하게 생성하는 데 사용할 수 있다. 이 AI는 실사에 가까운 렌더링 품질을 제공하는 최초의 AI 중 하나다.

EG3D는 GAN(Generative Adversarial Network) 으로 알려진, 특히 인기 있는 기계 학습 방법을 사용한다. 하나의 신경망을 사용해 이미지를 만들고 다른 신경망을 사용해 정확도를 평가하는 이 시스템은 두 개의 신경망을 서로 맞붙게 해 현실적인 이미지가 생성될 때까지 이 과정을 반복한다. 

GAN은 이미 2D 이미지 재생에 효과적인 것으로 입증되었다. 연구원들은 이미 존재하는 고해상도 2D GAN의 기능을 결합해 이러한 이미지를 3D 공간으로 변환할 수 있는 구성 요소를 만들었다. EG3D는 2D에서 GAN 이미지를 복구하고 3차원으로 이동한다. 이 모델은 많은 리소스 없이 노트북에서도 실시간으로 작동할 만큼 충분히 빠르고 복잡한 3D 설계를 만드는 데 사용할 수 있다. EG3D는 사람들의 얼굴을 여러 각도에서 매우 사실적인 이미지로 생성할 수 있었다. 

그러나 EG3D와 같은 모델은 사실에 가까운 3D 이미지를 생성할 수 있지만 디자인 소프트웨어에서 편집하기 어려울 수 있다. 결과가 보이는 이미지임에도 불구하고 GAN이 어떻게 생성했는지 불명확하기 때문이다.

메디슨 위스콘신 대학(University of Wisconsin–Madison) 연구원이 개발한 GiraffeHD라는 기계 학습 모델이 이러한 상황에 도움이 될 수 있다. GiraffeHD는 3D 이미지에서 조작 가능한 특징을 추출하는 데 효과적이다. 사용자가 이미지의 모양, 색상, 장면 또는 배경을 비롯한 다양한 요소를 선택할 수 있다. 예를 들어 자동차 이미지를 생성하려는 경우 자동차 종류를 제어할 수 있기를 원할 수 있다. 또한 잠재적으로 자동차가 실제로 위치하는 모양과 색상, 배경 또는 풍경을 결정할 수도 있다.

GiraffeHD는 수백만 개의 자동차 이미지에 대해 훈련을 받고 자동차 모양, 색상 또는 카메라 각도와 같은 범주에 해당하는 이미지의 잠재 요소를 찾는다. 모델이 제어 가능한 변수처럼 서로 다른 요소를 분리해서 이미지를 생성하는 방법을 학습할 수 있도록 한다. 이러한 제어 가능한 기능은 결국 3D 생성 이미지를 편집하는 데 사용될 수 있으므로 사용자는 원하는 장면에 대한 정확한 기능을 편집할 수 있다.

EG3D는 고해상도 2D GAN의 기능을 결합해 이미지를 3D 렌더링하는데 성공했다.(영상=스탠포드 대학)

더 중요한 추세는 EG3D 및 Giraffe HD를 포함한 AI를 사용해 3D 사진을 만드는 것이다. 그러나 알고리즘 편향과 더 넓은 적용 가능성과 관련해 아직 해야 할 일이 많다. 훈련 데이터를 공급하는 방법은 여전히 ​​이러한 모델을 제한한다. 이러한 문제를 해결하기 위한 연구가 계속 진행되고 있다. 

아직 초기 단계이지만 이 연구는 보다 사실적인 3D 이미지와 모델의 가능성을 열어준다. 이것이 미래에 어떻게 적용될 수 있는지 보는 것은 흥미로운 일이다.

AI타임스 박찬 위원

[관련기사]스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발

[관련기사]“사진이 말을 하네”...사진을 애니메이션으로 바꾸는 AI 마법

기사제보 및 보도자료