Lấy mẫu phụ sắc độ là việc thực hiện mã hóa hình ảnh bằng cách lấy độ phân giải cho thông tinsắc độ ít hơn cho thông tin độ sáng, lợi dụng việc thị lực của con người ít nhạy cảm với màu sắc hơn là độ sáng.[1]
Nó được sử dụng trong nhiều phương pháp mã hóa video, cả mã hóa tương tự và mã hóa kỹ thuật số, và cũng trong mã hóa JPEG.
Cơ sở lý luận
Ở kích thước đầy đủ, hình ảnh này cho thấy sự khác biệt giữa bốn sơ đồ lấy mẫu. Lưu ý cách hình ảnh màu tương tự xuất hiện. Hàng dưới hiển thị độ phân giải của thông tin màu.
Tín hiệu số thường được nén để giảm kích thước tệp và tiết kiệm thời gian truyền. Do thị giác của con người nhạy cảm với các biến đổi độ sáng hơn với màu sắc, nên một hệ thống video có thể được tối ưu hóa bằng cách dành nhiều băng thông cho thành phần độ sáng (thường được ký hiệu là Y '), so với các thành phần khác biệt màu Cb và Cr. Ví dụ, trong ảnh nén, sơ đồ 4: 2: 2 Y'CbCr yêu cầu hai phần ba băng thông của (4: 4: 4) R'G'B '. Việc giảm này hầu như không có sự khác biệt về thị giác theo cảm nhận của người xem.
Cách thức hoạt động của mẫu phụ
Do thị giác của con người ít nhạy cảm với vị trí và chuyển động của màu hơn độ sáng,[2] băng thông có thể được tối ưu hóa bằng cách lưu trữ nhiều chi tiết độ sáng hơn chi tiết màu. Ở khoảng cách xem bình thường, không thể cảm nhận được sự khác biệt khi lấy mẫu chi tiết màu ở tỷ lệ thấp hơn. Trong các hệ thống video, điều này đạt được thông qua việc sử dụng các thành phần khác nhau màu sắc. Tín hiệu được chia thành một thành phần độ sáng (Y ') và hai thành phần về màu sắc (sắc độ).
Thị giác của con người có ba kênh để phát hiện màu sắc. Đối với nhiều hệ màu, ba "kênh" là đủ để thể hiện hầu hết các màu. Ví dụ: đỏ, xanh lá cây, xanh dương hoặc magenta, vàng, cyan. Nhưng có những cách khác để thể hiện màu sắc. Trong nhiều hệ thống video, ba kênh là: một kênh độ sáng và hai kênh sắc độ. Trong video, các thành phần độ sáng và sắc độ được tạo ra từ một tổng trọng số của điều chỉnh-gamma (tristimulus) R'G'B' thay vì các thành phần (tristimulus) RGB tuyến tính. Kết quả là, độ sáng này phải được phân biệt với độ sáng gốc. Có một số rò rỉ của độ sáng gốc và thông tin màu giữa các thành phần độ sáng và sắc độ trong video, lỗi lớn nhất đối với các màu nổi bật cao và đáng chú ý ở giữa các vạch màu đỏ tươi và xanh lục của mẫu), không nên quy cho kỹ thuật xấp xỉ đang được sử dụng. Thật vậy, rò rỉ tương tự cũng có thể xảy ra với gamma = 1, do đó việc đảo ngược thứ tự các thao tác giữa hiệu chỉnh gamma và hình thành tổng trọng số có thể không có sự khác biệt. Màu sắc có thể ảnh hưởng đến độ sáng đặc biệt ở các pixel nơi mẫu phụ không có sắc độ. Nội suy sau đó có thể đặt các giá trị sắc độ không phù hợp với giá trị độ sáng ở đó và xử lý hậu kỳ từ Y'CbCr sang R'G'B 'cho pixel đó tạo ra độ sáng sai khi hiển thị.
Bản gốc không có lấy mẫu phụ màu. Thu phóng 200%.
Hình ảnh sau khi lấy mẫu phụ màu (được nén bằng codec Sony Vegas DV, áp dụng lọc hộp.)
Hệ thống lấy mẫu và tỷ lệ
Sơ đồ mẫu phụ thường được biểu thị theo tỷ lệ ba phần J: a: b (ví dụ 4: 2: 2) hoặc bốn phần nếu có kênh alpha (ví dụ 4: 2: 2: 4), mô tả độ sáng, các mẫu sắc độ trong một vùng rộng J pixel và cao 2 pixel. Các phần là (theo thứ tự tương ứng của họ):
a: số lượng mẫu màu (Cr, Cb) trong hàng J pixel đầu tiên.
b: số lượng thay đổi của các mẫu màu (Cr, Cb) giữa hàng thứ nhất và thứ hai của pixel J
Alpha: hệ số ngang (so với chữ số đầu tiên). Có thể được bỏ qua nếu không có thành phần alpha và bằng J khi có mặt.
Tở hợp này không hợp lệ với mọi kết hợp và có ngoại lệ, ví dụ 4: 1: 0 (trong đó chiều cao của vùng là 4 pixel không phải là 2 pixel, vì vậy nếu sử dụng 8 bit / thành phần thì phương tiện sẽ là 9 bit / pixel) và 4: 2: 1.
Các ví dụ ánh xạ được đưa ra chỉ là lý thuyết và để minh họa. Cũng lưu ý rằng sơ đồ không chỉ ra bất kỳ bộ lọc sắc độ nào, có thể được áp dụng để tránh răng cưa.
Để tính hệ số băng thông yêu cầu tương ứng với 4: 4: 4 (hoặc 4: 4: 4: 4), người ta cần tổng hợp tất cả các yếu tố và chia kết quả cho 12 (hoặc 16, nếu có mặt alpha).
Các kiểu lấy mẫu và lấy mẫu phụ
4: 4: 4
Mỗi trong số ba thành phần Y'CbCr có cùng tốc độ mẫu, do đó không có mẫu phụ sắc độ. Kiểu này đôi khi được sử dụng trong máy quét phim cao cấp và sản xuất điện ảnh.
Lưu ý rằng "4: 4: 4" thay vào đó có thể đề cập đến không gian màu của R'G'B ', mặc nhiên cũng không có bất kỳ mẫu phụ sắc độ nào. Các định dạng như HDCAM SR có thể ghi 4: 4: 4 R'G'B 'qua HD-SDI liên kết kép.
4: 2: 2
Hai thành phần sắc độ được lấy mẫu ở một nửa tốc độ mẫu của độ sáng: độ phân giải sắc độ ngang giảm một nửa. Điều này làm giảm băng thông của tín hiệu video không nén xuống một phần ba mà không có sự khác biệt về hình ảnh. [cần dẫn nguồn]
Nhiều định dạng và giao diện video kỹ thuật số cao cấp sử dụng kiểu này:
AVC-Intra 100
Betacam kỹ thuật số
DVCPRO50 và DVCPRO HD
Kỹ thuật số
CCIR 601 / Giao diện kỹ thuật số nối tiếp / D1
ProRes (HQ, 422, LT và Proxy)
XDCAM HD422
Canon MXF HD422
4: 2: 1
Chế độ lấy mẫu này không thể biểu thị theo ký hiệu J: a: b. '4: 2: 1' là một thuật ngữ lỗi thời từ sơ đồ công chứng trước đó và rất ít phần mềm mã hóa hoặc phần cứng sử dụng nó. Độ phân giải ngang của Cb bằng một nửa so với Cr (và một phần tư độ phân giải ngang của Y).
4: 1: 1
Trong mẫu phụ sắc độ 4: 1: 1, độ phân giải màu ngang được chia thành một phần tư và băng thông được giảm một nửa so với không có mẫu phụ sắc độ. Ban đầu, mẫu phụ sắc độ 4: 1: 1 của định dạng DV không được coi là chất lượng phát sóng và chỉ được chấp nhận cho các ứng dụng tiêu dùng và cấp thấp.[3][4] Tuy nhiên, các định dạng dựa trên DV (một số trong đó sử dụng mẫu phụ sắc độ 4: 1: 1) đã được sử dụng chuyên nghiệp trong thu thập tin tức điện tử và trong các máy chủ phát vdeo. DV cũng đã được sử dụng lẻ tẻ trong phim truyện và trong điện ảnh kỹ thuật số.
Trong hệ thống NTSC, nếu độ sáng được lấy mẫu ở mức 13,5 MHz, điều này có nghĩa là tín hiệu Cr và Cb sẽ được lấy mẫu ở mức 3,375 MHz, tương ứng với băng thông Nyquist tối đa là 1.6875 MHz, trong khi "bộ mã hóa NTSC tương tự phát sóng cao cấp" truyền thống sẽ có băng thông Nyquist là 1,5 MHz và 0,5 MHz cho các kênh I / Q. Tuy nhiên, trong hầu hết các thiết bị, đặc biệt là TV giá rẻ và VCR VHS / Betamax, các kênh màu chỉ có 0,5 MHz băng thông cho cả Cr và Cb (hoặc tương đương cho I / Q). Do đó, hệ thống DV thực sự cung cấp băng thông màu vượt trội so với thông số kỹ thuật tương tự tổng hợp tốt nhất cho NTSC, mặc dù chỉ có 1/4 băng thông màu của tín hiệu số "đầy đủ".
Các định dạng sử dụng mẫu phụ sắc độ 4: 1: 1 bao gồm:
Trong 4: 2: 0, lấy mẫu ngang được nhân đôi so với 4: 1: 1, nhưng vì các kênh Cb và Cr chỉ được lấy mẫu trên mỗi dòng thay thế trong sơ đồ này, độ phân giải dọc được giảm một nửa. Tốc độ dữ liệu không đổi. Điều này rất phù hợp với hệ thống mã hóa màu PAL vì nó chỉ có một nửa độ phân giải sắc độ dọc của NTSC. Nó cũng sẽ rất phù hợp với hệ thống mã hóa màu SECAM vì giống như định dạng đó, 4: 2: 0 chỉ lưu trữ và truyền một kênh màu trên mỗi dòng (kênh khác được khôi phục từ dòng trước đó). Tuy nhiên, rất ít thiết bị đã được sản xuất để tạo ra tín hiệu video tương tự SECAM. Trong các lãnh thổ chung của SECAM hoặc phải sử dụng màn hình có khả năng PAL hoặc bộ chuyển mã để chuyển đổi tín hiệu PAL thành SECAM để hiển thị.
Các biến thể khác nhau của cấu hình sắc độ 4: 2: 0 được tìm thấy trong:
Cb và Cr mỗi mẫu được chia theo hệ số 2 theo chiều ngang và chiều dọc.
Có ba biến thể của sơ đồ 4: 2: 0, có các vị trí ngang và dọc khác nhau.[7]
Trong MPEG-2, Cb và Cr được kích hoạt theo chiều ngang. Cb và Cr được đặt giữa các pixel theo hướng dọc (được đặt xen kẽ).
Trong JPEG / JFIF, H.261 và MPEG-1, Cb và Cr được đặt xen kẽ, giữa các mẫu độ sáng thay thế.
Trong 4: 2: 0 DV, Cb và Cr được đặt chung theo hướng ngang. Theo hướng dọc, chúng được đặt chung trên các đường xen kẽ.
Hầu hết các định dạng video kỹ thuật số tương ứng với PAL sử dụng mẫu phụ sắc độ 4: 2: 0, ngoại trừ DVCPRO25, sử dụng mẫu phụ sắc độ 4: 1: 1. Cả hai lược đồ 4: 1: 1 và 4: 2: 0 đều giảm một nửa băng thông so với không có mẫu phụ sắc độ.
Với vật xen kẽ nhau, việc lấy mẫu sắc độ 4: 2: 0 có thể dẫn đến các nhòe chuyển động nếu nó được thực hiện theo cách tương tự như đối với vật liệu lũy tiến. Các mẫu độ sáng được lấy từ các khoảng thời gian riêng biệt trong khi các mẫu màu sẽ được lấy từ cả hai khoảng thời gian. Chính sự khác biệt này có thể dẫn đến các nhòe chuyển động. Tiêu chuẩn MPEG-2 cho phép một sơ đồ lấy mẫu xen kẽ xen kẽ trong đó 4: 2: 0 được áp dụng cho từng trường (không phải cả hai trường cùng một lúc). Điều này giải quyết vấn đề về nhòe chuyển động, giảm một nửa độ phân giải sắc độ dọc và có thể giới thiệu các tạo tác giống như lược trong ảnh.
Ban đầu. * Hình ảnh này cho thấy một trường duy nhất. Các văn bản di chuyển có một số mờ chuyển động được áp dụng cho nó.
Lấy mẫu lũy tiến 4: 2: 0 áp dụng cho vật di chuyển xen kẽ. Lưu ý sắc độ phía trước và sau văn bản chuyển động. * Hình ảnh này cho thấy một trường duy nhất.
Lấy mẫu xen kẽ 4: 2: 0 áp dụng cho vật liệu di chuyển xen kẽ. * Hình ảnh này cho thấy một trường duy nhất.
Tuy nhiên, trong sơ đồ xen kẽ 4: 2: 0, độ phân giải dọc của sắc độ giảm một nửa do các mẫu sắc độ mô tả hiệu quả diện tích 2 mẫu rộng bằng 4 mẫu cao thay vì 2X2. Đồng thời, sự dịch chuyển không gian giữa cả hai trường có thể dẫn đến sự xuất hiện của các màu sắc giống như chiếc lược.
Ảnh tĩnh gốc.
Lấy mẫu lũy tiến 4: 2: 0 áp dụng cho ảnh tĩnh. Cả hai trường được hiển thị.
Lấy mẫu xen kẽ 4: 2: 0 áp dụng cho ảnh tĩnh. Cả hai trường được hiển thị.
Nếu vật xen kẽ được khử xen kẽ, các màu sắc giống như lược (từ lấy mẫu xen kẽ 4: 2: 0) có thể được loại bỏ bằng cách làm mờ sắc độ theo chiều dọc.[8]
4: 1: 0
Tỷ lệ này là có thể, và một số codec hỗ trợ nó, nhưng nó không được sử dụng rộng rãi. Tỷ lệ này sử dụng một nửa độ phân giải màu dọc và một phần tư độ phân giải màu ngang, chỉ bằng một phần tám băng thông của độ phân giải màu tối đa được sử dụng. Video không nén ở định dạng này với lượng tử hóa 8 bit sử dụng 10 byte cho mỗi macropixel (có kích thước 4 x 2 pixel). Nó có băng thông sắc độ tương đương của tín hiệu PAL I được giải mã với bộ giải mã dòng trễ và vẫn vượt trội hơn rất nhiều so với NTSC.
Một số codec video có thể hoạt động ở mức 4: 1: 0,5 hoặc 4: 1: 0,25 dưới dạng tùy chọn, để cho phép tương tự với chất lượng VHS.
3: 1: 1
Được Sony sử dụng trong máy ghi âm độ nét cao HDCAM của họ (không phải HDCAM SR). Theo chiều ngang, độ sáng được lấy mẫu theo chiều ngang ở ba phần tư tốc độ lấy mẫu full HD – 1440 mẫu mỗi hàng thay vì 1920. Sắc độ được lấy mẫu ở 480 mẫu mỗi hàng, một phần ba tốc độ lấy mẫu độ sáng.
Trong kích thước chiều dọc, cả luma và sắc độ đều được lấy mẫu ở tốc độ lấy mẫu HD đầy đủ (1080 mẫu theo chiều dọc).
Màu sắc ngoài gam
Một trong những yếu tố có thể xảy ra với việc lấy mẫu sắc độ là màu sắc ngoài luồng có thể xảy ra khi tái tạo sắc độ. Giả sử hình ảnh bao gồm các vạch đỏ và đen 1 pixel xen kẽ và mẫu phụ bỏ qua sắc độ cho các pixel đen. Sắc độ từ các điểm ảnh màu đỏ sẽ được xây dựng lại vào các điểm ảnh màu đen, khiến các điểm ảnh mới có giá trị màu đỏ dương và xanh lục âm và màu xanh lam. Vì màn hình không thể phát ra ánh sáng âm (không tồn tại ánh sáng âm), các giá trị âm này sẽ được cắt bớt một cách hiệu quả và giá trị độ sáng kết quả sẽ quá cao.[9] Các hệ quả tương tự phát sinh trong ví dụ ít nhân tạo về sự tăng màu gần ranh giới đỏ / đen khá sắc nét.
Lọc trong quá trình lấy mẫu cũng có thể khiến màu sắc bị mất đi.
Thuật ngữ
Thuật ngữ Y'UV dùng để chỉ sơ đồ mã hóa tương tự trong khi Y'CbCr đề cập đến sơ đồ mã hóa kỹ thuật số. [cần dẫn nguồn] Một điểm khác biệt giữa hai yếu tố này là các yếu tố tỷ lệ trên các thành phần sắc độ (U, V, Cb và Cr) là khác nhau. Tuy nhiên, thuật ngữ YUV thường được sử dụng sai để chỉ mã hóa Y'CbCr. Do đó, các biểu thức như "4: 2: 2 YUV" luôn đề cập đến 4: 2: 2 Y'CbCr vì đơn giản là không có thứ gì như 4: x: x trong mã hóa tương tự (như YUV).
Tương tự, thuật ngữ độ chói và ký hiệu Y thường được sử dụng một cách sai lầm để chỉ độ sáng, được biểu thị bằng ký hiệu Y '. Lưu ý rằng độ sáng (Y ') của kỹ thuật video lệch khỏi độ chói (Y) của khoa học màu sắc (như được định nghĩa bởi CIE). Độ sáng được hình thành dưới dạng tổng trọng số của các thành phần RGB được điều chỉnh gamma (tristimulus). Độ chói được hình thành dưới dạng tổng của các thành phần RGB tuyến tính (tristimulus).
Trong thực tế, CIE ký hiệu Y sử dụng không chính xác để biểu thị độ sáng. Năm 1993, SMPTE đã thông qua Hướng dẫn kỹ thuật EG 28, làm rõ hai điều khoản. Lưu ý rằng ký hiệu (') được sử dụng để biểu thị hiệu chỉnh gamma.
Tương tự, sắc độ / sắc độ của kỹ thuật video khác với sắc độ của khoa học màu sắc. Sắc độ / sắc độ của kỹ thuật video được hình thành từ các thành phần tristimulus có trọng số, không phải các thành phần tuyến tính. Trong thực hành kỹ thuật video, các thuật ngữ sắcđộ, sắc độ và độ bão hòa thường được sử dụng thay thế cho nhau để đề cập đến sắc độ.
Lịch sử
Lấy mẫu Chroma được phát triển vào những năm 1950 bởi Alda Bedford để phát triển truyền hình màu bởi RCA, phát triển thành tiêu chuẩn NTSC; tách luma-chroma đã được phát triển trước đó, vào năm 1938 bởi Georges Valensi.
Qua các nghiên cứu, ông đã chỉ ra rằng mắt người có độ phân giải cao chỉ dành cho màu đen và trắng, phần nào ít hơn đối với các màu "tầm trung" như màu vàng và xanh lục, và ít hơn nhiều đối với các màu ở cuối phổ, đỏ và xanh lam. Sử dụng kiến thức này cho phép RCA phát triển một hệ thống trong đó họ loại bỏ hầu hết tín hiệu màu xanh sau khi nó phát ra từ máy ảnh, giữ hầu hết màu xanh lá cây và chỉ một số màu đỏ; đây là mẫu phụ sắc độ trong không gian màu YIQ và gần giống với mẫu phụ 4: 2: 1, trong đó nó có độ phân giải giảm cho luma, vàng / xanh lá cây và đỏ / xanh.