생성형 AI 기술 발달에 따른 3D 텍스처 생성 프로토타입 프로젝트입니다. 3D 툴 플러그인들이 등장하는 상황에서 웹 환경에서도 3D 텍스처를 생성할 수 있는 경험을 검증하고, 향후 프로젝트 진행 시 고려사항을 파악해야 하는 상황이었습니다.
웹 환경에서 AI 기반 3D 텍스처 생성의 기술적 가능성을 검증하고, 긴 API 응답 시간에도 불구하고 사용자 경험을 개선할 수 있는 방안을 모색하는 것을 목표로 했습니다.
Vite와 React-three/fiber로 3D 환경을 구축하고 Huggingface API를 연동했습니다. 텍스처 최적화를 위해 마스킹 영역을 지정하여 특정 부분만 업데이트하는 방식을 구현했고, Canvas에서 이미지를 병합하여 모델에 동적으로 적용했습니다. 긴 API 응답 대기 시간의 사용자 경험 개선을 위해 텍스처 변경 부위에 Shader Effect를 적용한 BloomEffect를 구현했습니다.
웹 환경에서 AI 기반 3D 텍스처 생성 프로토타입을 성공적으로 구현했습니다. API 응답 지연에 대한 사용자 경험 개선 방안을 확보하여 향후 관련 프로젝트 진행을 위한 기술적 검증과 개선 포인트를 도출할 수 있었습니다.
애니메이션 스타일 NFT 프로젝트 AZUKI 협업 검토 과정에서 진행된 카툰 렌더링 프로토타입 프로젝트입니다. 3D 모델의 특성에 따라 현실적 표현이 아닌 카툰 스타일 렌더링이 요구되는 상황에서 웹 환경에 적합한 카툰 렌더링 방법을 검증해야 했습니다.
웹 환경에서 카툰 스타일 렌더링을 구현하는 최적의 방법을 검토하고, 애니메이션 NFT 프로젝트에 적용 가능한 시각적 품질을 확보하는 것을 목표로 했습니다.
Vite와 React-three/fiber로 3D 환경을 구축하고, MeshToonMaterial, GradientMap, Outline 처리를 조합하여 카툰 렌더링을 구현했습니다. 구현 과정에서 발견한 Shader 이슈를 오픈소스 이슈 제기를 통해 해결하여 안정적인 카툰 렌더링 파이프라인을 완성했습니다.
웹 환경에서 고품질 카툰 렌더링을 구현하는 방법론을 확립했습니다. 오픈소스 기여를 통한 기술적 문제 해결과 함께 애니메이션 NFT 프로젝트 협업을 위한 기술적 기반을 마련할 수 있었습니다.