Janus Pro 7B

Janus-Pro는 세 가지 주요 구성 요소를 가진 분리된 비전 인코딩 프레임워크를 채택했습니다: 1) 의미 이해를 위한 SigLIP 인코더, 2) 정류 흐름을 통한 효율적인 이미지 생성을 위한 VQ 토크나이저, 3) 텍스트/이미지 임베딩을 처리하는 7B 파라미터 LLM 백본. 이 아키텍처는 멀티모달 이해에서 79.2 MMBench 정확도, 이미지 생성에서 0.80 GenEval 점수를 달성했습니다.

Janus-Pro는 독특한 장점이 있습니다: 1) MIT 라이선스로 상업적 자유 보장, 2) 이해와 생성 모두를 지원하는 통합 아키텍처, 3) DALL-E 3(0.67)과 SD3-Medium(0.74)을 능가하는 0.80 GenEval 점수. 다만 현재 출력 해상도는 384×384로, 경쟁 제품의 1024×1024에 비해 낮습니다.

주로 두 가지 설치 옵션이 있습니다: 1) ComfyUI 통합(UI 워크플로우 추천) - ComfyUI-Janus-Pro 플러그인을 설치하고 Hugging Face에서 모델 파일을 다운로드, 2) 로컬 배포(고급 사용자용) - 1x RTX A6000 GPU, 64GB RAM, 100GB 저장공간 필요. GitHub 저장소를 복제하고 데모 애플리케이션을 실행합니다.

최적의 성능을 위해 Janus-Pro는 다음이 필요합니다: 1x RTX A6000 GPU 또는 동급, 64GB RAM, 100GB 저장공간. 모델은 7B와 1B 파라미터 두 가지 버전이 있으며, 1B 버전은 하드웨어 요구사항이 낮으면서도 합리적인 성능을 유지합니다.

장점: 1) 통합 아키텍처로 배포 복잡성 감소, 2) 벤치마크에서 SD3-Medium과 DALL-E 3 능가, 3) MIT 라이선스로 상업적 자유. 제한사항: 1) 경쟁 제품에 비해 낮은 해상도(384px), 2) 로컬 배포에 기술적 전문 지식 필요.

Janus-Pro는 다국어 입력을 지원하며, 미적 효과와 정렬을 개선하기 위해 합성 데이터를 사용한 미세 조정이 가능합니다. MIT 라이선스 하에 오픈소스로 제공되어 광범위한 커스터마이제이션과 기존 워크플로우 통합이 가능합니다.

현재는 사진 사실감에서 부족하지만, Janus-Pro의 확장 가능한 아키텍처(7B vs 이전 1.5B)와 합성 데이터 훈련은 빠른 개선 가능성을 시사합니다. 비용과 유연성이 픽셀 밀도 요구사항보다 중요한 통합 비전 언어 파이프라인에 이상적입니다.

Janus-Pro는 다국어 텍스트 프롬프트를 받아들이고 384×384px 이미지 또는 텍스트 설명을 출력합니다. 워크플로우는 ComfyUI 인터페이스나 API 호출을 통해 커스터마이즈할 수 있으며, 출력 품질을 향상시키기 위해 합성 데이터를 사용한 미세 조정이 가능합니다.