이 글의 순서15
최근 AI 모자이크 제거 기술 중에서 LTX가 꽤 주목받고 있다.
기존에도 모자이크를 복원하는 AI 프로그램은 있었지만, LTX는 확산 모델을 이용해 이전보다 자연스러운 결과물을 만들어 낸다는 점에서 관심을 받고 있다.
특히 중국과 한국 커뮤니티에서도 LTX를 이용한 영상 복원 이야기가 나오고 있는데, 막상 사용하려고 보면 생각보다 복잡한 부분이 있다.
일반 영상은 비교적 간단하게 처리할 수 있지만, 8K VR180 영상은 이야기가 다르다. 공식적으로 LTX가 VR180을 지원하지 않기 때문이다.
그렇다고 VR 영상을 아예 처리할 수 없는 것은 아니다. 설정을 변경하면 LTX를 실행할 수 있고, 추가적인 영상 변환 작업을 거치면 일부 문제도 해결할 수 있다.
Jasna LTX란 무엇인가?
먼저 Jasna와 LTX는 구분할 필요가 있다.
Jasna는 영상이나 이미지에 적용된 모자이크를 자동으로 감지하고 복원하는 프로그램이다.
기존 Lada 프로젝트에서 영향을 받아 개발되었으며, GPU를 이용해 영상에서 모자이크가 존재하는 부분만 선택적으로 처리한다.
여기에서 LTX는 Jasna에 들어가는 복원 모델 중 하나다.
Jasna에는 크게 BasicVSR++와 LTX라는 두 가지 영상 복원 모델이 있다.
BasicVSR++는 무료로 사용할 수 있고 처리 속도가 빠르다. 반면 LTX는 확산 모델을 이용하기 때문에 훨씬 무겁지만, 디테일이나 자연스러움에서 더 나은 결과를 기대할 수 있다.
중요한 것은 LTX가 영상 전체의 화질을 개선하는 기술은 아니라는 점이다.
영상에서 모자이크가 발견된 부분을 AI가 복원하고 나머지 화면은 기본적으로 원본을 유지한다.
따라서 1080p 영상을 4K로 업스케일링하는 기술과는 차이가 있다.
또한 모자이크 뒤에 가려져 있던 원래 정보를 정확하게 찾아내는 것도 아니다. AI가 주변 정보를 참고해 새로운 디테일을 생성하는 방식이므로 실제 원본과는 차이가 있을 수 있다.
Jasna 다운로드 및 설치 방법
Jasna는 GitHub에서 배포하고 있다.
공식 GitHub 주소는 아래와 같다.
2026년 11월 3일 기준 최신 공개 버전은 0.12.1이다.
GitHub의 Releases 페이지에서 자신의 운영체제와 GPU에 맞는 파일을 다운로드하면 된다.
윈도우에서는 압축을 해제한 뒤 jasna.exe를 실행하는 방식으로 사용할 수 있다.
다만 설치 폴더 경로에는 한글이나 특수 문자가 들어가지 않는 편이 좋다. 공식적으로도 영문 경로를 사용하도록 안내하고 있다.
LTX는 별도의 모델 파일과 라이선스가 필요하다.
후원 링크 : https://buymeacoffee.com/kruk2
총 25달러(USD)를 후원하시면 위 내용과 새로운 LTX 검열 해제 모델를 사용할 수 있다고 한다.
BasicVSR++는 무료지만 LTX를 이용하려면 약 25달러의 개발자 후원 라이선스를 받아야 한다.
LTX 모델 파일은 최초 실행 시 프로그램에서 다운로드할 수 있다.
GPU 메모리는 최소 8GB가 필요하고 시스템 메모리는 16GB 이상이 권장된다. 공식 지원 대상에는 NVIDIA RTX 30·40·50 시리즈가 포함되며, 일부 AMD GPU도 지원한다.
라이선스 없이 처리 속도만 확인하는 Trial 모드도 있다. 다만 이 모드에서는 실제 모자이크가 복원되지 않는다.
LTX는 8K VR 영상을 지원하지 않는다
가장 먼저 알아둘 부분이다. Jasna는 VR180 영상을 지원하지만, LTX 모델은 공식적으로 VR180 SBS 영상을 지원하지 않는다.
여기에서 SBS는 Side-by-Side의 약자로, 왼쪽 눈과 오른쪽 눈에 해당하는 영상이 좌우로 배치된 형태다.
기존 BasicVSR++는 이 구조를 인식하고 왼쪽과 오른쪽 화면을 따로 처리한 뒤 다시 합칠 수 있다.
하지만 LTX는 아직 이 기능을 지원하지 않는다.
따라서 VR180 모드가 활성화된 상태에서 LTX를 선택하면 지원하지 않는 영상이라는 오류가 발생한다.
이 부분은 GPU 성능과 관계없다.
RTX 5090을 사용하더라도 마찬가지다.
그런데 한 가지 우회 방법이 있다.
바로 Jasna의 VR180 모드를 끄는 것이다.
VR180 모드를 끄면 LTX를 사용할 수 있다
Jasna의 고급 처리 설정에는 VR180 모드가 있다.
기본값은 자동으로 되어 있으며, VR 영상으로 판단되는 파일을 발견하면 좌우 영상을 분리해서 처리하는 방식이다. 여기에서 VR180 모드를 끄기로 변경하면 상황이 달라진다.
Jasna가 해당 영상을 VR로 인식하지 않고 일반적인 평면 영상으로 처리하기 때문이다.
따라서 원래는 LTX에서 거부되던 VR180 영상도 일반 영상처럼 처리할 수 있게 된다. 물론 이 방법이 VR180을 정식으로 지원한다는 뜻은 아니다.
왼쪽과 오른쪽 화면이 하나로 붙어 있는 상태에서 일반 영상용 감지 모델을 이용하는 것이기 때문에 화면 가장자리의 모자이크를 제대로 인식하지 못할 수 있다.
특히 VR 영상은 투영 방식에 따라 화면이 심하게 늘어나거나 왜곡되는 부분이 있다.
이런 부분에서는 모자이크 감지율이 떨어질 수 있다.
그럼에도 일반적인 SBS 영상에서는 생각보다 괜찮은 결과가 나오는 경우가 있다는 사용 후기가 있다.
좌우 영상을 직접 분리해서 각각 처리하는 방법도 있지만, 작업 시간이 길어지고 후처리도 번거롭다.
일단은 VR180 모드를 끄고 일반 영상으로 처리해 보는 편이 간단하다.
LTX로 VR 영상을 처리할 때 사용하는 설정값
실제로 RTX 5060 Ti 16GB 환경에서 8K VR 영상을 처리한 사용자가 공개한 설정을 참고하면 다음과 같다.
복원 모델은 LTX 표준 화질(Standard Quality)을 사용한다.
RTX 50 시리즈에서 사용할 수 있는 빠른 모드(Fast Mode)를 켜고, 겹침 줄이기(Less Overlap)도 활성화한다. 모자이크 감지 모델은 rfdetr-v6를 사용하며, 감지 오류가 발생한다면 rfdetr-vr-v1로 변경해 볼 수 있다.
감지 임계값은 0.35로 설정한다.
마지막으로 고급 처리의 VR180 모드를 반드시 끄기로 변경한다.
나머지 항목은 기본값을 유지하는 방식이다.
여기에서 가장 중요한 것은 VR180 모드와 감지 임계값이다.
VR180 모드를 끄지 않으면 LTX 자체가 실행되지 않을 수 있다.
감지 임계값은 모자이크를 얼마나 적극적으로 찾을 것인지 결정하는 값이다.
일반적으로 임계값을 낮추면 더 많은 영역을 감지할 가능성이 있지만, 잘못 감지하는 영역도 늘어날 수 있다.
LTX는 복원 과정이 무겁기 때문에 감지되는 영역이 많아지면 처리 시간이 크게 늘어날 수 있다.
따라서 무조건 임계값을 낮추는 것이 좋은 방법은 아니다.
참고로 0.35는 rfdetr-v6의 기본 임계값이다. VR 전용인 rfdetr-vr-v1의 기본값은 0.40이므로 모델을 변경했다면 결과를 다시 확인할 필요가 있다.
VR 모자이크에는 두 가지 형태가 있다
여기부터는 조금 복잡하다.
VR 영상을 제대로 처리하려면 모자이크가 어떤 방식으로 적용되었는지 알아야 한다.
VR180 영상은 일반적으로 어안 렌즈를 이용해 촬영하고, 이후 VR 재생에 적합한 형태로 변환하는 과정을 거친다.
이 과정에서 모자이크를 언제 적용했는지에 따라 화면에 나타나는 모자이크의 형태가 달라질 수 있다.
크게 보면 두 가지로 구분할 수 있다.
어안 모자이크
첫 번째는 어안 영상 상태에서 모자이크를 적용하고, 나중에 VR180 SBS 형태로 변환한 경우다.
이렇게 되면 원래는 네모난 형태였던 모자이크가 좌표 변환 과정에서 늘어나거나 휘어진다.
특히 화면 가장자리에서는 모자이크의 형태가 심하게 왜곡될 수 있다.
일반적인 모자이크 감지 모델은 이런 형태를 제대로 인식하지 못하는 경우가 있다.
LTX에서 VR180 모드를 끈 상태라면 더 문제가 된다.
VR 전용 투영 보정 기능을 사용할 수 없기 때문이다.
플랫 모자이크
두 번째는 VR180 SBS 영상으로 먼저 변환한 다음 모자이크를 적용한 경우다.
이 방식은 최종 영상에 일반적인 격자 형태의 모자이크가 남아 있기 때문에 상대적으로 감지하기 쉽다.
따라서 LTX에서 VR180 모드를 끄고 일반 영상으로 처리하더라도 결과가 괜찮을 가능성이 있다.
물론 좌우 화면의 연결이나 가장자리 문제까지 해결되는 것은 아니다.
결국 LTX로 VR 영상을 처리할 때 가장 먼저 확인해야 할 것은 해상도보다 모자이크의 형태다.
작품마다 모자이크 형태가 다른 이유
VR 영상의 모자이크 방식은 제작 레이블에 따라서도 차이가 난다.
실사용 후기에서는 FSVSS, SAVR, URVRSP, CRVR, PXVR 등의 레이블에서 어안 형태의 모자이크가 자주 발견된다고 한다.
반면 DSVR이나 VRKM 등의 레이블은 플랫 형태로 처리된 영상이 많은 편이라고 알려져 있다.
다만 이것은 어디까지나 경험적인 구분이다.
같은 레이블에서도 작품이나 제작 시기에 따라 방식이 달라질 수 있다.
실제로 플랫 모자이크가 많다고 알려진 레이블에서도 어안 모자이크가 발견되기도 한다.
따라서 파일 이름이나 레이블만 보고 무조건 한 가지 방식이라고 판단하는 것은 어렵다.
기존 Jasna의 VR180 자동 모드도 일부 제작사 정보와 파일 이름 등을 참고해 적절한 투영 방식을 선택한다.
자동 선택이 항상 정확한 것은 아니기 때문에 영상마다 처리 결과가 달라질 수 있다.
어안 모자이크는 어떻게 처리해야 할까?
어안 모자이크는 일반적인 감지 모델로 처리했을 때 복원되지 않는 부분이 많이 생길 수 있다.
이 경우에는 영상의 투영 방식을 변환하는 작업이 필요하다.
흔히 Equirectangular 영상을 펼치거나 어안 영상으로 변환한다고 이야기하는데, 정확한 변환 방향은 현재 영상이 어떤 형태인지에 따라 달라진다.
이미 Equirectangular 형태로 만들어진 SBS 영상이라면 오히려 어안 형태로 다시 변환해야 모자이크 격자가 정상에 가깝게 보이는 경우도 있다.
그래서 단순히 모든 영상을 Equirectangular로 변환한다고 해결되는 것은 아니다.
기본적인 작업 구조는 이렇다.
먼저 VR 영상에서 왼쪽과 오른쪽 화면을 분리한다.
그다음 모자이크가 정상적인 형태로 보이도록 필요한 투영 변환을 적용한다.
변환된 영상을 일반 영상으로 처리할 수 있는 형태로 만든 뒤 Jasna LTX에 입력한다.
복원이 끝나면 앞서 적용했던 투영 변환을 반대로 수행하고, 좌우 영상을 다시 합쳐 SBS 형태로 만든다.
이 과정에는 FFmpeg을 사용할 수 있다.
문제는 굉장히 번거롭다는 것이다.
좌우 영상의 해상도와 프레임을 정확하게 유지해야 하고, 투영 변환 후 원래 영상으로 되돌리는 과정도 필요하다.
단순히 좌우 화면을 자르고 붙이는 것과 달리 투영 변환은 영상 재인코딩이 필요한 경우가 많다.
따라서 잘못 처리하면 화질이 떨어지거나 좌우 화면이 어긋날 수 있다.
FFmpeg 대신 VR-Video-Toolbox-CE를 활용
직접 FFmpeg 명령어를 작성하는 것이 어렵다면 VR-Video-Toolbox-CE라는 프로그램도 있다.
이 프로그램은 VR 영상을 대상으로 좌우 화면 분리, 병합, 투영 변환 등의 작업을 지원한다.
GitHub 주소는 아래와 같다.
VR-Video-Toolbox-CE GitHub 바로가기
이 도구는 VR 영상의 투영 방식을 변환하거나 필요한 화면만 선택해서 처리할 수 있도록 만들어졌다.
어안 형태의 영상을 다른 투영 방식으로 바꾸는 기능도 제공한다.
따라서 FFmpeg을 직접 다루기 어렵다면 보조 도구로 활용할 수 있다.
다만 자동 감지나 투영 변환이 항상 정확한 것은 아니다.
또한 도구의 원클릭 기능과 Jasna의 LTX 모드가 모든 버전에서 동일하게 연동된다고 보장할 수는 없다.
LTX로 작업할 예정이라면 먼저 짧은 영상에서 변환 결과와 호환성을 확인하는 편이 좋다.
개인적으로는 이런 작업을 무조건 자동화하기보다는 짧은 구간에서 투영 형태를 확인하고, 제대로 작동하는 설정을 찾은 다음 긴 영상에 적용하는 방식이 합리적이라고 생각한다.
긴 영상부터 처리하지 말고 몇 초만 테스트
LTX는 처리 시간이 상당히 긴 편이다.
따라서 처음부터 8K VR 영상 전체를 처리하는 것은 추천하지 않는다. 우선 모자이크가 등장하는 부분에서 10초 정도만 잘라 테스트하는 것이 좋다.
이때 사용할 만한 프로그램이 Shutter Encoder다.
Shutter Encoder는 FFmpeg 기반의 영상 변환 및 편집 프로그램이다.
영상 재인코딩 없이 자르는 기능을 제공하므로 짧은 테스트 영상을 만들 때 편리하다.
다만 H.264나 H.265 같은 영상은 키프레임을 기준으로 잘릴 수 있기 때문에 원하는 프레임과 정확히 일치하지 않을 수도 있다.
테스트 영상으로 먼저 감지 모델과 복원 결과를 확인한 다음, 문제가 없다면 본편으로 넘어가는 것이 좋다.
또한 Jasna 상단의 비디오 플레이어와 LTX 미리보기는 구분할 필요가 있다.
Jasna의 비디오 플레이어는 BasicVSR++를 사용한다.
LTX 복원 결과를 확인하려면 구간 편집기(Segment Editor)에서 LTX를 선택하고 복원 미리보기를 렌더링해야 한다.
단순히 비디오 플레이어에서 잘 나온다고 LTX에서도 동일하게 나온다고 생각해서는 안 된다.
8K VR 영상 처리 시간은 얼마나 걸릴까?
일반 1080p 영상에서는 RTX 5090의 처리 속도가 상당히 빠른 편이다.
공식 문서의 Standard 품질 기준으로 RTX 5090은 모자이크가 계속 등장하는 1080p 영상 1분을 약 1분 안팎에 처리할 수 있다고 안내한다.
빠른 모드를 사용하면 이보다 조금 더 빨라질 수 있다.
하지만 이 수치를 8K VR 영상에 그대로 적용하면 안 된다.
VR은 해상도 자체가 매우 높고, 좌우 영상이 함께 포함되어 있기 때문에 처리 부담이 크다.
실사용 사례에서는 RTX 5060 Ti 16GB를 이용해 8K VR 영상의 일부를 5~10분 정도 잘라 처리했을 때 약 2~5시간이 걸렸다고 한다.
이것은 특정 설정과 영상에서 나온 경험적인 수치이지 공식 평균 처리 시간은 아니다.
그래도 8K VR의 LTX 처리가 얼마나 무거운 작업인지 짐작할 수 있다.
RTX 5090을 사용한다면 처리 시간이 줄어들겠지만, 8K VR 영상이 1080p 일반 영상과 같은 속도로 처리되는 것은 아니다.
이런 이유에서도 필요한 장면만 잘라 처리하거나, 복원 품질이 중요한 구간을 선택하는 방식이 유리하다.
VR 영상은 복원해도 초점이 맞지 않을 수 있다
VR 영상에서 또 하나의 문제는 입체감이다.
일반 영상과 달리 VR180은 왼쪽 눈과 오른쪽 눈에 서로 다른 화면을 보여 준다.
두 화면 사이의 차이를 이용해 거리감과 입체감을 느끼게 되는 구조다.
그런데 LTX는 현재 VR의 양안 시차를 함께 고려하는 전용 복원 모델이 아니다.
따라서 좌우 화면에서 복원된 형태가 조금씩 달라질 수 있다.
특히 카메라와 피사체 사이의 거리에 따라서 차이가 더 두드러질 수도 있다.
VR 기기의 IPD 설정이나 실제 촬영 시의 카메라 간격, 양안 시차도 시청 경험에 영향을 준다.
그래서 2D 화면에서는 자연스럽게 보이는 결과가 VR 헤드셋에서는 어색하게 느껴질 수 있다.
이 문제는 기존 BasicVSR++에서도 완전히 해결된 것은 아니다.
단순히 복원 모델의 화질이 좋아진다고 자동으로 해결되는 문제도 아니다.
향후에는 좌우 영상을 함께 분석하면서 입체적인 일관성을 유지하는 방식이 필요할 것으로 보인다.
LTX와 BasicVSR++ 중 어떤 것을 사용하는 게 좋을까?
현재 기준으로 일반적인 영상에서는 LTX를 활용할 가치가 충분하다.
복원 품질이 중요한 경우에는 BasicVSR++보다 만족스러운 결과가 나올 수 있기 때문이다.
하지만 VR 영상이라면 이야기가 다르다.
BasicVSR++는 Jasna에서 VR180을 공식 지원하고 있기 때문에 좌우 화면 분리와 투영 처리를 자동으로 수행할 수 있다.
반면 LTX는 VR180 모드를 끄거나 별도의 영상 변환 작업을 해야 한다. 특히 어안 모자이크가 적용된 영상에서는 LTX의 단순 우회 방식이 제대로 작동하지 않을 수 있다.
따라서 VR 영상을 자주 처리한다면 현재로서는 BasicVSR++가 편의성 측면에서 유리하다. 반대로 번거로운 작업을 감수하더라도 특정 장면의 복원 품질을 높이고 싶다면 LTX를 시험해 볼 만하다. (다만, 글카 성능의 한계로 많이 빡셈)
긴 일반 영상에서는 큰 모자이크에만 LTX를 적용하고 나머지는 BasicVSR++로 처리하는 혼합 방식도 사용할 수 있다.
이야기를 나눠주세요