동영상에서 인물의 프레임을 따고 배경을 분리해서 배경에 다른 색상이나 다른 이미지를 집어넣을 수 있게 만들 수 있습니다. 혹은, 피사체만 따와서 다른 영상에서 VFX로 사용될 수 있겠죠. 유명한 방법으로는 에프터 이펙트의 로토스코핑 기능이 있습니다.
누끼와 로토스코핑의 단어의 뜻은 비슷하지만 조금 다릅니다. 누끼(Roto)는 ‘Rotoscoping’의 줄임말로, 영상에서 원하는 부분만 따로 잘라내는 것을 말합니다. 로토스코핑(Rotoscoping)은 실사 영상을 한 프레임씩 그려내듯이 트레이싱하여 애니메이션화하는 기법입니다. 누끼는 로토스코핑 과정 중 하나라고 볼 수 있습니다.
웹앱을 추천하지 않는 이유
거기다 보통 높은 화질의 영상은 웹앱에서 배경 제거를 제대로 해주지 않습니다. 무료 프로그램을 쓰더라도 웹 업로드 시스템이 아니라, 데스크탑 프로그램으로 하시길 바랍니다.
이러한 누끼, 로토스코핑 작업은 영상 제작에 있어서 매우 중요한 과정 중 하나입니다. 배우의 연기를 따로 분리해 특수효과를 입히거나, 가상 배경을 합성하는 등 다양한 용도로 활용됩니다. 하지만 이 작업은 수작업으로 이뤄지기 때문에 많은 시간과 노력이 필요합니다.
최근에는 인공지능 기술의 발전으로 자동화된 누끼, 로토스코핑 프로그램들이 등장하고 있습니다. 이러한 프로그램들은 기존의 수작업 방식보다 훨씬 빠르고 정확하게 작업을 수행할 수 있어 편집자들의 작업 효율을 크게 높여줍니다.
이 글에서는 동영상 배경 제거를 위한 다양한 누끼, 로토스코핑 프로그램들을 소개하려 합니다. 에프터 이펙트 플러그인부터 독립 실행형 프로그램, 온라인 서비스까지 다양한 옵션들을 살펴볼 예정입니다. 이를 통해 여러분의 영상 제작 작업에 도움이 되길 바랍니다.
에프터이펙트
https://creativecloud.adobe.com/ko/learn/after-effects/web/rotoscoping
에프터이펙트의 로토스코핑은 강력한 도구로 최근 성능 향상이 많이 이루어졌습니다. 사실 Ai가 발전하기 전에는 어도비의 로토스코핑의 성능이 매우 강력했지만 요즘에는 성능이 다른 프로그램보다 부족하다고 할 수 있습니다.
다만, 기존 어도비 프로그램을 사용하는 분들은 익숙한 Ui에서 각종 기능들을 활용할 수 있으리라 봅니다. 문제점이라고 한다면, 유료 프로그램이라는 점과 GPU 가속을 통한 빠른 로토스코핑이 불가능하다는 점입니다. 개인적으로 CPU만 활용하는 어도비의 프로그램 성능에 매우 불만족스러운 부분이 있습니다.
Capcut
캡컷은 최근 Ai의 발전으로 인해 기존의 영상 편집 도구들을 제치고 빠르게 사용자를 늘려나가는 프로그램 중 하나입니다. 특히 Ai 오픈소스가 계속 풀리고 있고, 그런 선진화된 기술을 빠르게 접목시켜 상용화하는 업체 중 하나입니다.
특히 최근에 캡컷으로 영상 인물의 외모 보정 기능을 소개시켜 드린 부분에서 알 수 있듯, Ai 기능으로는 다른 프로그램들이 제공하지 않는 최신 기술을 일반 사용자들이 쉽게 사용할 수 있는 부분이 최대 강점이라 생각됩니다.
캡컷의 인물 분리 기능은 제가 몇 번 써봤는데 에프터이펙트의 로토스코핑3보다는 확실히 그 정확도가 떨어집니다. 하지만 배경 제거를 하면서 가장 불만족스러운 “속도” 부분이 에프터이펙트보다 훨씬 빠릅니다. 즉, 가벼운 영상에서 빠르게 작업을 완료하시고 싶은 분들에겐 에프터이펙트보다는 캡컷을 추천하는 바입니다.
runwayml
runwayml는 원클릭으로 빠르게 온라인에서 로토스코핑을 제공해주는 인터넷 업체입니다. 보통 로토스코핑 작업의 경우에는 로컬에서 작업하면 상당히 느리다고 할 수 있습니다. 최고 사양의 하드웨어를 갖추지 않으면 시도조차 하기 힘들 때가 많습니다. 그럴 때 이용하면 아주 좋은 프로그램이라 할 수 있습니다.
runwayml의 사용법의 경우에는 해당 링크에서 확인할 수 있습니다. 주요 기능으로는 배경 제거, 알파 채널 출력, 그린 스크린 배경 입힌 후 출력 등이 존재합니다. 이 외에도 runwayml에서는 Ai 이미지 생성, Ai 동영상 생성 등 많은 기능들이 존재하고 있습니다.
다빈치 리졸브
https://www.blackmagicdesign.com/products/davinciresolve
개인적으로 생각할 때, 현존 최고의 동영상 배경 제거 프로그램이라고 생각합니다. 위의 프로그램들이 성능 혹은 스피드에 치중된 느낌이라면 다빈치 리졸브는 에프터이펙트의 로토스코핑3 이상의 정확도, 캡컷의 속도 이상을 가지고 있습니다. 특히 엔비디아 그래픽카드와 조합이 좋아서 활용이 매우 좋습니다.
다만, 문제점은 매우 비싼 프로그램이라는 겁니다. 다빈치 리졸브의 배경 제거를 이용하려면, 먼저 다빈치 리졸브 스튜디오를 다운로드 받아야 합니다. 가격이 대략 40만원대라는 어마무시한 가격을 자랑하고 있습니다. 만약 다빈치 리졸브가 있다면, 매직 마스크를 활용해서 GPU 자원을 100% 활용해서 로토스코핑을 할 수 있습니다.
VR 영상의 피사체 – 배경 분리를 위해서 다빈치 리졸브의 매직 마스크(magic mask)를 사용 중인데 화질 우선 모드로 하면 꽤 대단한 수준의 결과물을 확인할 수 있습니다. 속도 우선으로 하면 캡컷보다 빠르면서도 에프터이펙트의 수준과 비슷하니 현 시점 배경-피사체 분리에 있어서는 최고의 성능을 자랑하는 프로그램이라고 해도 과언이 아닙니다.
그 외 Github 오픈소스 프로그램
오픈소스 프로그램은 GUI 프로그램이 대부분 존재하지 않습니다. 파이선이나 아나콘다와 같은 프로그램으로 직접 명령어를 입력하는 방식입니다. 그렇다고 이런 프로그램들이 상용화 프로그램보다 나은 경우는 거의 없다고 생각됩니다.
rembg
https://github.com/danielgatis/rembg
RemBG는 인공지능 기반의 배경 제거 도구로, 이미지에서 배경을 빠르고 정확하게 제거할 수 있는 오픈 소스 라이브러리입니다. U2-Net, BASNet, SoloV2 등의 최신 딥러닝 모델을 사용하여 높은 정확도를 달성합니다. 사용자는 간단한 명령행 인터페이스를 통해 이미지를 처리할 수 있으며, 라이브러리 형태로도 사용 가능합니다. 기존의 복잡한 이미지 처리 과정을 거치지 않고도 빠르게 배경을 제거할 수 있어 편집자들의 작업 효율을 크게 향상시킬 수 있습니다. RemBG는 오픈 소스로 공개되어 있어 누구나 무료로 사용할 수 있으며, 커스터마이징도 가능합니다.
backgroundremover
https://github.com/nadermx/backgroundremover
Background Remover를 사용하면 무료 오픈 소스인 간단한 명령줄 인터페이스로 AI를 사용하여 이미지와 비디오에서 배경을 제거할 수 있습니다. 위처럼 u2-net의 기능들을 활용하는 오픈소스라 할 수 있습니다.
RobustVideoMatting
https://github.com/nadermx/backgroundremover
RobustVideoMatting(RVM)은 딥러닝을 활용하여 동영상에서 사람을 정확하게 분리해내는 최첨단 기술입니다. 기존의 신경망 모델들이 프레임을 독립적인 이미지로 처리하는 것과 달리, RVM은 순환 신경망(Recurrent Neural Network)을 사용하여 시간적 정보를 메모리에 저장하면서 동영상을 처리합니다. 이를 통해 추가적인 입력 없이도 어떤 동영상에서든 실시간으로 매팅을 수행할 수 있습니다. RVM은 높은 정확도와 함께 놀라운 속도를 자랑하는데, Nvidia GTX 1080 Ti GPU에서 4K 해상도는 76FPS, HD 해상도는 104FPS를 달성했습니다. 이 프로젝트는 ByteDance Inc.에서 개발되었으며, PyTorch, TensorFlow, TensorFlow.js, ONNX, CoreML 등 다양한 프레임워크를 지원합니다. RVM은 동영상에서 사람을 분리해내는 작업에 최적화되어 있어, 영상 제작 및 편집 분야에서 큰 활용 가치를 가질 것으로 기대됩니다.