블로그

Jun 17, 2023

딥러닝으로 현실을 구현하다

이제 과학자들은 인공 지능을 사용하여 스마트폰에서도 사실적인 컬러 3D 홀로그램을 빠르게 생성할 수 있습니다. 그리고 새로운 연구에 따르면 이 새로운 기술은 가상 환경에서 사용될 수 있습니다.

이제 과학자들은 인공 지능을 사용하여 스마트폰에서도 사실적인 컬러 3D 홀로그램을 빠르게 생성할 수 있습니다. 그리고 새로운 연구에 따르면 이 신기술은 가상 현실(VR), 증강 현실(AR) 헤드셋 및 기타 애플리케이션에 사용될 수 있습니다.

홀로그램은 본질적으로 3D 장면을 바라 보는 2D 창과 유사한 이미지입니다. 각 홀로그램의 픽셀은 위로 떨어지는 빛의 파동을 산란시켜 이러한 파동이 깊이의 환상을 생성하는 방식으로 서로 상호 작용하도록 만듭니다.

홀로그램 비디오 디스플레이는 2D 이미지를 사용하여 깊이감을 주는 기존 3D 디스플레이와 달리 사람들이 눈의 피로를 느끼지 않고 볼 수 있는 3D 이미지를 생성합니다. 그러나 최근 삼성과 같은 기업들이 홀로그램 비디오를 표시할 수 있는 하드웨어 개발에 진전을 이루었지만 실제로 그러한 장치가 표시할 홀로그램 데이터를 생성하는 것은 여전히 ​​큰 과제로 남아 있습니다.

각 홀로그램은 이미지 전체에 깊이감을 주기 위해 엄청난 양의 데이터를 인코딩합니다. 따라서 홀로그램 비디오를 생성하려면 슈퍼컴퓨터 수준의 컴퓨팅 성능이 필요한 경우가 많습니다.

홀로그램 비디오를 대중에게 제공하기 위해 과학자들은 필요한 계산량을 줄이기 위해 다양한 전략을 시도했습니다. 예를 들어 복잡한 물리 시뮬레이션을 간단한 조회 테이블로 대체했습니다. 그러나 이로 인해 이미지 품질이 저하되는 경우가 많습니다.

이제 MIT의 연구원들은 홀로그램을 거의 즉각적으로 생성하는 새로운 방법을 개발했습니다. 딥 러닝 기반 방법은 매우 효율적이어서 노트북에서 눈 깜짝할 사이에 홀로그램을 생성할 수 있습니다. 그들은 이번 주에 Sony가 부분적으로 자금을 지원한 연구 결과를 Nature 저널에 온라인으로 자세히 설명했습니다.

MIT의 컴퓨터 과학자인 연구 주저자 Liang Shi는 "모든 것이 마술처럼 진행되어 우리의 모든 기대를 뛰어넘었습니다."라고 말했습니다.

컴퓨터 생성 홀로그램에 물리 시뮬레이션을 사용하려면 많은 홀로그램 덩어리의 모양을 계산한 다음 이를 결합하여 최종 홀로그램을 얻는 것이 필요하다고 Shi는 말합니다. 조회 테이블을 사용하는 것은 자주 사용되는 홀로그램 덩어리 세트를 암기하는 것과 같지만 정확성이 희생되고 여전히 조합 단계가 필요하다고 그는 말합니다.

어떤 면에서 컴퓨터로 생성된 홀로그램은 케이크를 자르는 방법을 알아내는 것과 약간 비슷하다고 Shi는 말합니다. 물리 시뮬레이션을 사용하여 공간의 각 지점의 모양을 계산하는 것은 8개의 정확한 컷을 사용하여 8개의 케이크 조각을 생성하는 것과 유사한 시간이 많이 걸리는 프로세스입니다. 컴퓨터 생성 홀로그래피에 조회 테이블을 사용하는 것은 절단하기 전에 각 슬라이스의 경계를 표시하는 것과 같습니다. 절단 위치를 계산하는 단계가 없어져 약간의 시간이 절약되지만, 8개 절단을 모두 수행하는 데는 여전히 많은 시간이 걸립니다.

대조적으로, 새로운 기술은 딥러닝을 사용하여 단 3개의 컷만으로 케이크를 8개의 조각으로 자르는 방법을 근본적으로 알아낸다고 Shi는 말합니다. 인간의 두뇌가 시각적 데이터를 처리하는 방식을 대략적으로 모방한 시스템인 컨벌루션 신경망은 각 덩어리가 어떻게 나타나는지 별도로 계산할 필요 없이 완전한 홀로그램을 생성하는 지름길을 학습하므로 "전체 작업이 몇 배로 줄어들 것입니다." 말한다.

3차원 홀로그램 계산의 시각화. (왼쪽) 3D 모델. (가운데) 깊이 데이터가 포함된 컬러 이미지입니다. (오른쪽) 3D 홀로그램을 생성하는 산란광 패턴 시뮬레이션. 이미지: MIT

연구원들은 먼저 각 픽셀의 색상 및 깊이 정보를 포함하는 4,000개의 컴퓨터 생성 이미지로 구성된 맞춤형 데이터베이스를 구축했습니다. 이 데이터베이스에는 각 이미지에 해당하는 3D 홀로그램도 포함되어 있습니다.

이 데이터를 사용하여 컨벌루션 신경망은 이미지에서 홀로그램을 생성하는 가장 좋은 방법을 계산하는 방법을 학습했습니다. 그런 다음 깊이 정보가 포함된 이미지에서 새로운 홀로그램을 생성할 수 있습니다. 이 정보는 일반적인 컴퓨터 생성 이미지와 함께 제공되며 다중 카메라 설정이나 LiDAR 센서에서 계산할 수 있습니다. 두 가지 모두 일부 새로운 iPhone에 표준으로 제공됩니다.