아래 내용을 영어로 읽어보시려면 여기를 클릭해주십시오.

 

XR (확장 현실) 은 실제 세계와 가상 세계를 병합하여 몰입형 경험을 만들어내는 기술로 현재 빠르게 발전하고 있습니다. XR 기술은 증강 현실 (AR), 혼합 현실 (MR), 가상 현실 (VR)을 포괄하며, 사용자는 현실 세계에 오버레이 된 다양한 양의 디지털 콘텐츠를 경험할 수 있습니다. 기술이 발전함에 따라 XR 애플리케이션은 자동차, 항공 우주 ,의료, 교육, 소매, 관광, 게임, 엔터테인먼트 등 다양한 분야로 확장되고 있습니다. 본 블로그에서는 XR 디바이스의 메인이 되는 광학 시스템을 살펴보고 이러한 혁신적인 애플리케이션을 위한 디스플레이 시스템 설계를 위한 Synopsys Optical Solutions 제품의 기능을 소개하겠습니다.


Extended Reality (XR) Combines Physical and Virtual Worlds

확장 현실(XR)은 실제 물리적 세계와 가상 세계를 결합합니다

헤드업 디스플레이 (HUD), 헤드 마운트 디스플레이 (HMD), 스마트 안경과 같은 디바이스는 현실의 물리적 요소와 가상 요소를 혼합하여 XR 경험을 할 수 있도록 기여합니다. AR은 실제 환경에 가상 요소를 추가하여 사용자가 실제 세계와 생성된 콘텐츠를 혼합하여 볼 수 있도록 합니다. 이는 운전자가 가야 할 다음 방향을 보여주는 자동차의 HUD처럼 물리적 세계를 보완하는 역할을 합니다. MR은 실제 환경에 가상 요소를 추가해 서로 상호 작용하고 영양을 미칠 수 있도록하여 사용자가 물리적 세계에 설저된 가상 개체를 조작할 수 있도록 해줍니다. VR은 완전히 폐쇄된 환경에서 가상 세계를 만들어 사용자가 그 세계에 완전히 몰입할 수 있도록 해줍니다. XR은 AR, VR, MR 등 현실 세계에 대한 인식을 변경하거나 향상시키는 모든 기술의 요소를 의미합니다. 

Figure 1: XR continuum from AR through MR to VR | Synopsys

Figure 1: AR에서부터 MR, VR 그리고 더 나아가 이들을 포괄하는 XR

XR Applications Expand as Technology Advances

기술 발전에 따른 XR 애플리케이션 확장

AR의 가장 첫번째 애플리케이션 중 하나는 방산 헤드업 디스플레이와 헬멧 장착 디스플레이였습니다. 기술이 향상되고 비용이 감소함에 따라 다른 애플리케이션도 경제적으로 제작이 실현 가능해졌습니다. 시장 규모에 대한 추정치는 다양하지만 CAGR (복합 연간 성장률) 25~30%로 상당한 성장이 예상됩니다. 비용 절감 외에도 디바이스는 착용했을때 편안해야 하므로 크기, 무게, 미적 측면에서 제약이 따릅니다.

Figure 2: Examples of wearable XR displays | Synopsys

Figure 2: 웨어러블 XR 디스플레이 예시

Key Optical System in XR Devices: Combiner Optics

XR 디바이스의 필수 요소: Combiner Optics

Combiner Optics 는 XR 디바이스의 필수 구성 요소입니다. 이러한 광학 디바이스는 가상 세계를 물리적 환경과 병합하여 사용자가 실제 장면에 겹쳐진 디지털 콘텐츠를 볼 수 있도록 합니다. XR 디바이스의 Combiner Optics에는 Refractive/Reflective Combiner와 Waveguide Combiner가 포함되며, 각각은 다양한 애플리케이션에 강점을 제공합니다.

Figure 3: Combiner Optics for XR Devices | Synopsys

Figure 3: XR 디바이스 설계에 필요한 Combiner Optics

Synopsys의 광학 솔루션은 소프트웨어 패키지 및 서비스를 보유하고 있습니다. 여기에는 이미징 소프트웨어인 CODE V, 조명 설계 및 시스템 프로토타이핑을 위한 LightTools, 수동 및 능동 포토닉 디바이스 설계를 위한 RSoft Photonic Device Tools가 포함됩니다. 이러한 제품들은 함께 사용되어질 수 있으며 연결고리를 갖고 있습니다.

Refractive/Reflective Combiners

굴절/반사 Combiner

CODE V에서의 이미징 설계

XR 디바이스의 이미징 설계에는 디스플레이의 디지털 콘텐츠를 사용자의 눈으로 전달할 수 있는 광학 시스템을 만드는 작업이 포함됩니다. CODE V 는 최고의 성능을 위해 이러한 이미징 시스템을 제작하고 최적화하는 데에 사용됩니다. 설계 프로세스에는 일반적으로 시스템을 역방향으로 모델링하고 디스플레이 경로를 고려하는 작업이 필요합니다. 

  • Freeform Prism AR
  • Birdbath AR
  • Pancake VR
Figure 4: Sequential models optimized in reverse orientation in CODE V. Only display path considered | Synopsys

Figure 4: CODE V에서 역방향으로 최적화된 순차 모델, 디스플레이 경로 고려함

RMS 스팟 크기 및 회절 MTF와 같은 기존 렌즈 설계 지표는 이러한 시스템을 최적화하기 위한 정량적 분석을 제공합니다. 또 다른 분석 옵션은 CODE V의 광학 시스템을 통해 이미지화 되는 2차원 인풋 개체의 모양을 시뮬레이션 하는 2D 이미지 시뮬레이션입니다. 이 시뮬레이션에는 회절 및 수차 효과가 포함되어 있어 정밀한 조정이 가능합니다.

LightTools에서의 시스템 분석 및 미광

CODE V에서 이미징 시스템을 설계한 후 렌즈 데이터가 포함된 광학 시스템 파일 (OSF)를 LightTools로 내보내어 추가 분석을 수행합니다. LightTools에서 사용자는 광원, 리시버 및 양방향 산란 분포 함수 (BSDF)와 같은 상세 광학 속성을 모델에 추가할 수 있습니다. 편광 코팅과 같은 표면 특성을 RSoft 에서 모델링하여 파장, 입사각 및 편광의 함수로 성능을 캡처할 수 있으며, LightTools에서 사용하기 위해 이 모델을 내보내는 데에 사용되는 BSDF 생성 유틸리티가 있습니다.

LightTools의 시뮬레이션은 실제 장면과 디스플레이 이미지를 결합합니다. 또한, 미광 효과도 보입니다. LightTools의 기능은 미광을 식별하고 완화하는 데 도움이 됩니다. 

Figure 5: LightTools shows the combination of scene and display, including stray light effects, as shown here for a birdbath MR system | Synopsys

Figure 5: LightTools는 Birdbath MR 시스템에 표시된 것과 같이 미광 효과를 포함하여 장면과 디스플레이의 조합을 보여줍니다

정량적 분석 외에도 LightTools는 시스템을 최적화 할 수 있습니다. Pancake VR 시스템의 시작에서 상당한 양의 미광은 코팅 최적화를 통해 크게 감소됩니다. 

Figure 6: LightTools also allows optimization of the system, as shown here for a pancake VR system | Synopsys

Figure 6: LightTools는 위의 Pancake VR 시스템과 같이 시스템을 최적화 합니다.

Pancake VR 시스템은 Eyebox 내에서도 좋은 성능을 보여 다양한 사용자에게 편안함을 보장합니다.

Figure 7: Simulated performance of pancake VR system at various positions in eyebox | Synopsys

Figure 7: Eyebox의 다양한 위치에서 진행한 Pancake VR 시스템의 성능 시뮬레이션 결과

LightTools 시뮬레이션은 휘도 변화와 트루 컬러 출력을 보여주는 정량적 결과를 제공합니다. 또한 LightTools는 미광을 식별하고 제거하는 데 도움을 주어 전체 시스템 성능을 최적화합니다.

Waveguide AR Design

Waveguide AR 설계

Waveguide AR Overview

Waveguide AR 개요

Waveguide AR 설계는 격자를 인풋 및 아웃풋 커플러로 사용하여 광학 시스템의 무게와 사이즈를 줄입니다. 이러한 Waveguide는 가상 이미지를 실제 장면과 정렬하여 원활한 증강 현실 경험을 선사합니다.

Synopsys는 Waveguide AR 광학 시스템을 위한 완전한 설계 솔루션을 제공합니다. 설계 플로우에는 RSoft의 DiffractMOD RCWAFullWAVE FDTD를 사용하여 커플링 격자를 설계하고, 양방향 산란 회절 데이터 (BSDF)를 계산하고 RSoft 유틸리티를 사용하여 파일을 계산하고, LightTools에서 여러개의 BSDF 파일을 로드하여 전체 광학 시스템을 모델링하는 작업이 포함됩니다. 

Figure 8: A waveguide AR Design flow that uses RSoft tools and LightTools | Synopsys

Figure 8: RSoft와 LightTools를 사용한 Waveguide AR 설계 플로우

Types of Gratings Used in Waveguide AR Designs

Waveguide AR 설계에 사용된 격자의 종류
  • Surface Relief Gratings (SRG): SRG는 일반적으로 AR Glass에 사용됩니다. SRG는 특정 수직 깊이에서 높은 1차 투과율을 제공할 수 있는 기판에 에칭된 테이퍼형 경사 홈입니다. 최적화 후에는 RGB 빛에 대한 격자 치수 구성의 최상의 FOV를 찾을 수 있습니다. 
Surface Relief Gratings (SRG) | Synopsys

  • Holographic Volume Grating (HVG): 홀로그래픽 레코딩 방법을 사용하여 생성된 이 격자는 두개의 빔으로 간섭 패턴을 기록합니다. 적당한 인덱스 변조와 제한된 FOV를 제공합니다. 
Holographic Volume Grating (HVG) | Synopsys

  • Polarization Volume Gratings (PVG): 액정 소재를 기반으로 하는 PVG는 원형 편광 입력광으로 높은 1차 회절 효율을 제공합니다. 이 격자는 다른 격자에 비해 높은 굴절률 대비와 더 넓은 시야를 제공합니다. RSoft CAD 환경에서의 구현에는 단일 레이어 PVG에 대한 크리스탈 축 회전을 지정하거나 보다 복잡한 구조에 대한 스크립팅 접근 방식을 사용하는 작업이 포함됩니다. 
Polarization Volume Gratings (PVG) | Synopsys

Modeling the AR Glasses System Layout in LightTools

LightTools의 AR Glass 시스템 레이아웃

다음으로 LightTools에서 Waveguide AR 시스템을 설계합니다. LightTools의 SRG AR Glass 시스템 레이아웃 (Figure 9)에는 인커플링 격자 및 아웃커플링 격자에 대한 단일 파라미터 BSDF 파일 로드가 포함되어 있습니다. 시스템 사양과 레이아웃은 균일성과 성능을 향상시키기 위해 최적화 되었습니다. 

Figure 9: SRG AR Glasses System layout in LightTools | Synopsys

Figure 9: LightTools의 SRG AR Glass 시스템 레이아웃

HVG의 격자의 경우, Figure 10과 같이 간단한 풀 컬러 테스트 벤치가 LightTools에 보여집니다. HVG AR Glass 시뮬레이션도 최적화 이후 상당한 개선을 보여줍니다.

Figure 10: HVG AR glasses system simulation test bench in LightTools | Synopsys

Figure 10: LightTools의 HVG AR Glass 시스템 시뮬레이션 테스트 벤치

Conclusion

결론

확장 현실 (XR)은 여러 산업 분야에 걸쳐 다양한 애플리케이션에 적용할 수 있는 혁신적인 기술입니다. Combiner Optics는 사용자에게 디지털 이미지를 제공하고 이를 실제 세계에 오버레이 하는 데 중요한 역할을 합니다. 

Synopsys 광학 솔루션은 XR 시스템을 정확하게 모델링하고 최적화하기 위해 CODE V, LightTools 및 RSoft를 포함한 최첨단 소프트웨어 툴을 제공합니다. 설계자는 이러한 툴들을 활용하여 몰입감 있고 편안한 사용자 경험을 제공하는 뛰어난 XR Glass 및 기타 디바이스를 제작할 수 있습니다.