4K UHD TV가 등장하면서 제조업체들은 낮은 해상도의 콘텐츠를 화면 전체에 표시할 수 있는 방법이 필요했습니다. 업스케일링이 없다면 저해상도 이미지는 화면의 일부만 차지하거나 확대되면서 선명도가 떨어질 수 있습니다. 이에 따라 Full HD 및 기타 저해상도 비디오 형식을 UHD 디스플레이에 맞게 변환하기 위한 다양한 업스케일링 기술이 개발되었습니다.
2015년 Samsung은 UHD TV에서 저해상도 콘텐츠의 화질을 개선하기 위해 Remastering Engine 기술을 선보였습니다. 그러나 Remastering Engine이라는 용어는 소비자들이 그 의미를 바로 이해하기 어려웠습니다. 2016년 Samsung은 이 용어를 보다 직관적인 UHD Upscaling으로 변경했습니다. 새로운 명칭은 UHD와 upscaling이라는 두 가지 핵심 개념을 직접 결합하여 기술의 목적을 보다 쉽게 이해할 수 있도록 했습니다.
기본적인 원리는 변하지 않았습니다. TV는 저해상도 이미지를 입력받아 UHD 디스플레이의 더 높은 해상도에 맞도록 처리합니다.
업스케일링 작동 방식
업스케일링은 저해상도 영상을 고해상도 디스플레이에 적합한 형식으로 변환합니다. 원본 영상에 존재하지 않았던 세부 정보를 복원할 수는 없지만, UHD 화면에서 이미지가 더 선명하고 부드럽게 보이도록 할 수 있습니다.
Full HD 이미지의 해상도는 1,920 × 1,080, 즉 2,073,600픽셀입니다.
UHD 디스플레이의 해상도는 3,840 × 2,160, 즉 8,294,400픽셀입니다.
따라서 UHD 디스플레이는 Full HD 이미지보다 4배 많은 픽셀을 포함합니다.
Full HD 콘텐츠를 UHD TV에서 표시하려면 TV가 화면 전체를 채우기 위해 추가 픽셀을 생성해야 합니다. 이 과정을 업스케일링이라고 합니다.
가장 간단한 방법은 기존 픽셀을 복제하는 것이지만, 이 경우 이미지가 블록처럼 보이거나 가장자리가 계단식으로 나타나고 눈에 띄는 아티팩트가 발생할 수 있습니다. 최신 TV는 대신 이미지 처리 알고리즘을 사용하여 원본 픽셀과 주변 영역을 분석하고 추가 픽셀의 값을 계산합니다.
프로세서는 또한 윤곽선, 질감, 명암비 및 기타 이미지 특성을 분석하여 결과를 개선할 수 있습니다. 즉, 최신 업스케일링은 단순히 이미지를 확대하는 것이 아니라 해상도 변환과 이미지 개선을 함께 수행합니다.
그 결과 업스케일링된 콘텐츠는 단순한 픽셀 복제로 확대된 이미지보다 더 부드러운 전환, 더 선명한 가장자리 및 더 적은 가시적 아티팩트를 보여줄 수 있습니다.
최신 프로세서의 역할
초기 UHD TV가 처음 등장했을 당시에는 최신 TV에 사용되는 프로세서에 비해 훨씬 성능이 낮은 프로세서가 사용되었습니다. 오늘날의 TV 프로세서는 훨씬 더 복잡한 이미지 분석과 처리를 수행할 수 있습니다. 또한 업스케일링 알고리즘이 TV의 이미지 처리 시스템에 직접 통합되어 있어 TV가 저해상도 콘텐츠를 디스플레이의 해상도에 맞게 자동으로 변환할 수 있습니다.
이러한 처리 기능은 저해상도 콘텐츠를 고해상도 패널에 표시할 때 발생할 수 있는 아티팩트를 줄이는 데 도움이 되며, 이미지의 전반적인 화질을 개선할 수 있습니다.
인공지능이 소비자 전자제품 마케팅에서 점점 더 중요한 요소가 되면서 Samsung을 비롯한 TV 제조업체들은 새로운 이미지 처리 기술을 설명하기 위해 AI Upscaling이라는 용어를 사용하기 시작했습니다. 이 용어는 다소 오해를 불러일으킬 수 있습니다. 실제 업스케일링은 시스템에 내장된 전용 알고리즘을 사용하여 TV의 프로세서가 수행하기 때문입니다.
그러나 AI 기반 모델이 이 과정에 참여할 수 있습니다. 예를 들어 스포츠, 자연 또는 사람과 같이 표시되는 콘텐츠의 유형을 식별하고 해당 장면에 가장 적합한 이미지 처리 알고리즘을 결정하는 데 도움을 줄 수 있습니다.
Samsung은 현재 자사의 기술을 AI Upscaling이라고 설명하며, 다음과 같이 표현합니다. “AI Upscaling은 인공지능을 기반으로 한 공식을 사용합니다.”
Remastering Engine, UHD Upscaling 및 AI Upscaling
Samsung의 용어는 시간이 지나면서 변경되었지만, 이러한 기술은 기본적으로 동일한 목적을 가지고 있습니다. 즉, 저해상도 콘텐츠를 처리하여 더 높은 해상도의 화면에서 보다 효과적으로 표시할 수 있도록 하는 것입니다.
Remastering Engine은 Samsung이 UHD TV에서 저해상도 콘텐츠를 개선하기 위한 이미지 처리를 설명하기 위해 사용했던 초기 용어 중 하나입니다.
UHD Upscaling은 보다 명확하고 직접적인 명칭으로 도입되었으며, 이 기술이 저해상도 콘텐츠를 UHD 디스플레이에 맞게 변환하는 데 사용된다는 점을 바로 알 수 있도록 했습니다.
AI Upscaling은 Samsung의 새로운 용어로, 현대적인 이미지 처리에서 인공지능과 머신러닝 기술의 사용이 증가하고 있음을 반영합니다.
