PROFILBARU.COM

프레임 간 보간이 없는 느린 비디오(왼쪽)와 모션 보간이 있는 비디오(오른쪽)의 비교.

움직임 보간, 모션 보간, 모션 인터폴레이션(motion interpolation), 모션 보상 프레임 보간(motion-compensated frame interpolation, MCFI) 또는 간단히 프레임 보간은 애니메이션을 보다 유동적으로 만들고 디스플레이 모션 블러를 보상하고 거짓 슬로 모션 효과를 내기 위해 보간법을 통해 기존 프레임 사이에 중간 필름, 비디오 또는 애니메이션 프레임을 생성하는 비디오 처리 형식이다.

하드웨어 응용

디스플레이

모션 보간은 인지된 프레임 속도를 높이거나 LCD 평판 디스플레이에서 흔히 발생하는 문제인 디스플레이 모션 블러를 완화하는 것을 목표로 하는 HDTV 및 비디오 플레이어와 같은 다양한 최신 디스플레이 장치의 일반적인 선택 기능이다.

디스플레이 프레임 속도와의 차이

디스플레이의 프레임 속도는 표시되는 콘텐츠의 프레임 레이트와 항상 동일하지는 않다. 즉, 높은 프레임 속도에서 작동할 수 있거나 작동하는 디스플레이가 반드시 모션 보간을 수행할 수 있거나 수행해야 한다는 것을 의미하지는 않는다. 예를 들어, 120Hz로 실행되고 24FPS 콘텐츠를 표시하는 TV는 단순히 초당 120개의 디스플레이 프레임 중 5개에 대해 각 콘텐츠 프레임을 표시한다. 이것은 3:2 풀다운의 필요성을 없애고 당연히 필름 떨림을 없애는 것 외에는 사진에 아무런 영향을 미치지 않는다(120은 24로 균등하게 나눌 수 있기 때문이다). 저더 현상을 제거하면 "불쾌"한 움직임이 줄어들고 영사기의 움직임과 일치하게 된다. 모션 보간을 사용하여 저더를 줄일 수 있지만 그렇게 하는 데 반드시 필요한 것은 아니다.^[1]

광고된 디스플레이 프레임 속도와의 관계

특정 디스플레이의 광고된 프레임 속도는 초당 표시될 수 있는 최대 콘텐츠 프레임 수 또는 콘텐츠와 관계없이 어떤 방식으로든 디스플레이가 새로 고쳐지는 횟수를 의미할 수 있다. 후자의 경우 모션 보간 옵션의 실제 존재 여부나 강도는 다를 수 있다. 또한 디스플레이가 특정 프레임 속도로 콘텐츠를 표시할 수 있다고 해서 디스플레이가 해당 속도로 실행되는 콘텐츠를 수용할 수 있다는 의미는 아니다. 60Hz를 초과하는 대부분의 소비자 디스플레이는 더 높은 주파수 신호를 수용하지 않고 추가 프레임 기능을 사용하여 흔들림을 제거하고 고스팅을 줄이거나 보간된 프레임을 생성한다.

예를 들어, TV가 "240Hz"로 광고될 수 있으며 이는 다음 두 가지 중 하나를 의미한다.

TV는 기본적으로 초당 240프레임을 표시할 수 있으며 기존 프레임 사이에 2~8개의 새 프레임을 삽입하는 고급 모션 보간을 수행한다(각각 60FPS~24FPS로 실행되는 콘텐츠의 경우). 활성 3D의 경우 이 프레임 속도는 절반으로 줄어든다.
TV는 기본적으로 초당 120프레임만 표시할 수 있으며 기존 프레임 사이에 1~4개의 새 프레임을 삽입하는 기본 모션 보간이 가능하다. 일반적으로 이 경우 "120Hz" TV와의 유일한 차이점은 120Hz 프레임마다 한 번씩 240Hz에서 깜박이는 스트로빙 백라이트가 추가되었다는 점이다. 스트로빙 백라이트의 목적은 겉보기 응답 속도를 높이고 고스팅을 줄여 전체적으로 더 부드러운 동작을 구현하는 것이다. 그러나 이 기술은 실제 프레임 속도와는 아무런 관련이 없다. 활성 3D의 경우 이 프레임 속도는 절반으로 줄어들며 일반적으로 모션 보간이나 풀다운 기능이 제공되지 않는다. 600Hz는 플라스마 TV에 대해 자주 광고되는 수치이며, 기술적으로는 정확하지만 1.6밀리초의 프레임 간 응답 시간만 나타낸다. 이는 고스팅을 크게 줄여 모션 품질을 향상시킬 수 있지만 보간 및 콘텐츠 프레임 속도와는 관련이 없다. 초당 600프레임으로 촬영된 소비자용 영화도 없고 초당 576개의 보간 프레임을 생성할 수 있는 TV 프로세서도 없다.

응용 소프트웨어

비디오 재생 소프트웨어

모션 보간 기능은 여러 비디오 플레이어 응용 프로그램에 포함되어 있다.

WinDVD는 프레임 보간을 위해 Philips의 TrimensionDNM을 사용한다.^[2]
파워DVD는 DVD 및 비디오 파일을 최대 72프레임/초로 보간하기 위해 트루시어터 모션(TrueTheater Motion)을 사용한다.^[3]
스플래시 프로(Splash PRO)는 최대 Full HD 비디오 보간을 위해 Mirillis Motion² 기술을 사용한다.^[4]
드미트리렌더(DmitriRender)는 프레임 보간을 위한 기본 DXVA 지원과 함께 GPU 지향 프레임 속도 변환 알고리즘을 사용한다.^[5]
블루스카이(Bluesky) 프레임 속도 변환기는 AMD 플루이드 모션(AMD Fluid Motion)을 사용하여 프레임 속도를 변환할 수 있는 다이렉트쇼(DirectShow) 필터이다.^[6]
SVP(SmoothVideo Project)는 기본적으로 MPC-HC와 통합되어 제공된다. 유료 버전은 VLC를 포함한 더 많은 플레이어와 통합될 수 있다.^[7]

비디오 편집 소프트웨어

일부 영상 편집 소프트웨어 및 플러그인은 디지털 방식으로 느린 비디오를 향상시키기 위해 모션 보간 효과를 제공한다. FFmpeg는 이러한 기능을 갖춘 무료 소프트웨어 비대화형 도구이다. 어도비 애프터 이펙트에는 픽셀 모션(Pixel Motion)이라는 기능이 있다. AI 소프트웨어 회사인 토파즈 랩스(Topaz Labs)는 모션 보간 기능을 갖춘 비디오 업스케일링 애플리케이션인 비디오 AI를 제작한다. 효과 플러그인 "트윅스터"(Twixtor)는 대부분의 주요 비디오 편집 제품군에서 사용할 수 있으며 유사한 기능을 제공한다.

신경망

깊이 인식 비디오 프레임 보간
Channel Attention Is All You Need
실시간 중간유량 추정
중간 기능 네트워크 개선
비디오 게임의 프레임을 실시간으로 보간하는 데 특별히 사용되는 딥 러닝 슈퍼 샘플링

부작용

시각적 인공물

특정 TV 브랜드의 모션 보간에는 때때로 사진에 시각적 이상 현상이 수반된다. CNET의 데이비드 카노이(David Carnoy)는 사진에 "약간의 찢어짐이나 결함"이 1초도 안 되는 시간 동안 나타난다고 설명했다. 그는 빠른 카메라 패닝 중에 기술이 갑자기 작동할 때 효과가 가장 눈에 띈다고 덧붙였다.^[1] 텔레비전 및 디스플레이 제조업체에서는 이러한 현상을 일종의 디지털 인공물이라고 부른다. 시간이 지남에 따라 관련 기술이 향상됨에 따라 이러한 아티팩트는 현대 소비자 TV에서 덜 자주 나타나지만 아직 완전히 제거되지는 않았다. "아티팩트는 프레임 간의 간격이 더 클 때 더 자주 발생한다".

드라마 효과

인지된 프레임 속도 증가의 부산물로 모션 보간은 "비디오"("영화"와 비교) 모양을 도입할 수 있다. 이러한 모습은 일반적으로 필름이 아닌 저렴한 60i 비디오를 사용하여 촬영된 대부분의 방송 텔레비전 드라마 또는 2000년대 이전 멀티캠 시트콤의 독특한 외관과 관련하여 "연속극 효과"(soap opera effect, SOE)라고 한다.^[8] 많은 사람들은 연속극 효과가 시청자가 마치 세트장에 있거나 무대 뒤의 특집을 보는 것처럼 보이게 함으로써 영화 작품의 연극적 모습을 망친다고 불평한다.^[9] 거의 모든 제조업체는 이 기능을 비활성화하는 방법을 제공하지만 방법과 용어가 다르기 때문에 UHD 얼라이언스에서는 모든 TV의 리모콘에 모션 스무딩을 비활성화하는 "영화 제작자 모드" 버튼이 있을 것을 제안했다.^[10]

스포츠 시청자는 카메라 팬과 흔들리는 카메라로 인해 발생하는 모션 블러를 줄여 해당 이미지의 선명도를 높이는 모션 보간을 높이 평가한다. 디스플레이 지연이 추가되는 것은 바람직하지 않은 부작용일 수 있지만 보다 현실적인 느낌을 위해 비디오 게임의 명백한 프레임 속도를 높이는 데 사용될 수도 있다.^[11] 이 "비디오 룩"은 영화 녹화로만 남아 있는 아카이브 TV 프로그램을 복원하기 위해 VidFIRE 기술에 의해 의도적으로 생성되었다.^[12] 인위적으로(보간된) 높은 프레임 속도와 자연적으로(카메라 내) 높은 프레임 속도 사이의 주요 차이점은 카메라 내에는 앞서 언급한 아티팩트가 적용되지 않고 더 정확한(또는 "실제") 이미지 데이터가 포함되어 있으며 더 많은 것을 필요로 한다는 것이다. 프레임이 실시간으로 생성되지 않기 때문에 저장 공간과 대역폭이 필요하다.

같이 보기

움직임 보상

각주

↑ ^가 ^나 Carnoy, David (2007년 10월 25일). “Six things you need to know about 120 Hz LCD TVs”. CNET.com. 2008년 2월 2일에 확인함.
↑ “Black Friday Deals & Savings on Top Corel Products”. 《Corel.com》. 2016년 11월 30일에 확인함.
↑ “Video Enhancement – TrueTheater Technology”. 《CyberLink》. 2009년 8월 24일에 확인함.
↑ “Picture2”. 《Mirillis.com》. 2010년 7월 1일. 2016년 11월 30일에 확인함.
↑ “Home”. 《DmitriRender.ru》. 2016년 11월 30일에 확인함.
↑ “Bluesky Frame Rate Converter”. 《Bluesky23.yukishigure.com》. 2016년 11월 30일에 확인함.
↑ “SVP - 60 fps / 120 fps HFR motion interpolation for Windows, macOS in mpv, VLC, Plex”. 《SVP-team.com》. 2018년 2월 6일에 확인함.
↑ Biggs, John (2009년 8월 12일). “Help Key: Why 120 Hz looks "weird"”. crunchgear.com. 2009년 10월 15일에 원본 문서에서 보존된 문서. 2009년 11월 13일에 확인함.
↑ Moskovciak, Matthew (2008년 1월 8일). “Vizio adds 120 Hz LCDs to its lineup”. CNET.com. 2011년 7월 8일에 원본 문서에서 보존된 문서. 2008년 2월 1일에 확인함.
↑ Wouk, Kris (2019년 9월 21일). “What is the Soap Opera Effect and how can you get rid of it on your TV?”. 《Digital Trends》. 2020년 1월 31일에 확인함.
↑ “What is the Soap Opera Effect?”. Techtarget.com. 2011년 4월 20일에 확인함.
↑ “VIDFIRE – The Doctor Who Restoration Team”. restoration-team.co.uk/. May 17, 2011에 원본 문서에서 보존된 문서. May 19, 2011에 확인함.