Entropy thông tin

Entropy thông tin là một khái niệm mở rộng của entropy trong nhiệt động lực họccơ học thống kê sang cho lý thuyết thông tin.

Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu.

Ví dụ, nhìn vào một dòng chữ tiếng Việt, được mã hóa bởi các chữ cái, khoảng cách, và dấu câu, tổng quát là các ký tự. Dòng chữ có ý nghĩa sẽ không hiện ra một cách hoàn toàn hỗn loạn ngẫu nhiên; ví dụ như tần số xuất hiện của chữ cái x sẽ không giống với tần số xuất hiện của chữ cái phổ biến hơn là t. Đồng thời, nếu dòng chữ vẫn đang được viết hay đang được truyền tải, khó có thể đoán trước được ký tự tiếp theo sẽ là gì, do đó nó có mức độ ngẫu nhiên nhất định. Entropy thông tin là một thang đo mức độ ngẫu nhiên này.

Khái niệm này lần đầu giới thiệu bởi Claude E. Shannon trong bài báo "A Mathematical Theory of Communication Lưu trữ 1998-01-31 tại Wayback Machine", năm 1948. Trước đó von Neumann đã dùng đến công thức có entropy vào năm 1927.

Định nghĩa

Claude E. Shannon đã xây dựng định nghĩa về entropy để thoả mãn các giả định sau:

  • Entropy phải tỷ lệ thuận liên tục với các xác suất xuất hiện của các phần tử ngẫu nhiên trong tín hiệu. Thay đổi nhỏ trong xác suất phải dẫn đến thay đổi nhỏ trong entropy.
  • Nếu các phần tử ngẫu nhiên đều có xác suất xuất hiện bằng nhau, việc tăng số lượng phần tử ngẫu nhiên phải làm tăng entropy.
  • Có thể tạo các chuỗi tín hiệu theo nhiều bước, và entropy tổng cộng phải bằng tổng có trọng số của entropy của từng bước.

Shannon cũng chỉ ra rằng bất cứ định nghĩa nào của entropy, cho một tín hiệu có thể nhận các giá trị rời rạc, thoả mãn các giả định của ông thì đều có dạng:

với

  • K là một hằng số, chỉ phụ thuộc vào đơn vị đo.
  • n là tổng số các giá trị có thể nhận của tín hiệu.
  • i là giá trị rời rạc thứ i.
  • p(i) là xác suất xuất hiện của giá trị i.

Ngẫu nhiên rời rạc

Entropy của một phép thử Bernoulli được vẽ như một hàm số theo xác suất thành công, thường gọi là hàm entropy nhị phân.

Nếu một sự kiện ngẫu nhiên rời rạc x, có thể nhận các giá trị là 1..n, thì entropy của nó là:

với p(i) là xác suất xảy ra của giá trị i. Như vậy, entropy của x cũng là giá trị kì vọng của các độ ngạc nhiên của các giá trị mà x có thể nhận.

Entropy thông tin trong trường hợp phần tử tín hiệu ngẫu nhiên rời rạc còn được gọi là entropy Shannon.

Ngẫu nhiên liên tục

Nếu xsố thực ngẫu nhiên liên tục, thì định nghĩa entropy có thể được biểu diễn là:

với fhàm mật độ xác suất. Định nghĩa này thường được gọi là entropy Boltzmann hay entropy liên tục, hay entropy vi phân.

Có thể chứng minh rằng entropy Boltzmann không phải là giới hạn của entropy Shannon khi n → ∞ và do đó không phải là độ đo mức độ hỗn loạn của thông tin.

Ví dụ

Một dòng chữ luôn chỉ có các ký tự "a" sẽ có entropy bằng 0, vì ký tự tiếp theo sẽ luôn là "a". Một dòng chữ chỉ có hai ký tự 0 và 1 ngẫu nhiên hoàn toàn sẽ có entropy là 1 bit cho mỗi ký tự.

Một dòng chữ tiếng Anh thông thường có entropy khoảng 1,1 đến 1,6 bit cho mỗi ký tự. Thuật toán nén PPM có thể tạo ra tỷ lệ nén 1,5 bit cho mỗi ký tự. Trên thực tế, tỷ lệ nén của các thuật toán nén thông dụng có thể được dùng làm ước lượng cho entropy của dữ liệu.

Entropy của dòng văn bản thuần thường được định nghĩa dựa trên mô hình Markov. Nếu các ký tự tiếp theo hoàn toàn độc lập với các ký tự trước đó, entropy nhị phân sẽ là:

với pixác suất của i.

Liên hệ với cơ học thống kê

Định nghĩa entropy của Shannon có liên hệ chặt chẽ với định nghĩa entropy trong cơ học thống kê. Chính các công trình của Ludwig Boltzmann hay Willard Gibbs trong cơ học thống kê đã kích thích việc sử dụng từ entropy trong lý thuyết thông tin. Theo Edwin Thompson Jaynes (1957), thực tế cơ học thống kênhiệt động lực học có thể coi là ứng dụng của lý thuyết thông tin: entropy trong nhiệt động lực học có thể cọi là độ đo của thông tin vi mô (mô tả các trạng thái vi mô của từng phần tử trong hệ vật lý) mà chưa được mô tả hết bởi các thông số vĩ mô của hệ nhiệt động lực học.

Ví dụ về tương quan giữa entropy nhiệt động lực học và entropy thông tin còn được thể hiện ở con quỷ Maxwell. Quỷ Maxwell có thể tạo ra được khi nó làm giảm entropy nhiệt động lực học nhưng làm tăng entropy thông tin và cả hệ vẫn tuân thủ định luật hai nhiệt động lực học với tổng entropy không đổi và quá trình hoạt động của quỷ là thuận nghịch.

Tham khảo

Liên kết ngoài

Read other articles:

سفارة النرويج في كوريا الجنوبية النرويج كوريا الجنوبية الإحداثيات 37°34′03″N 126°58′16″E / 37.5675°N 126.971°E / 37.5675; 126.971  البلد كوريا الجنوبية  المكان سول الموقع الالكتروني الموقع الرسمي تعديل مصدري - تعديل   سفارة النرويج في كوريا الجنوبية هي أرفع تمثيل دبلوماسي&...

 

Ne doit pas être confondu avec Péninsule de Hanko. Pour le sceau japonais hanko, voir Sceau (Extrême-Orient). Hanko Hangö (sv) Armoiries Le port d'Hanko Administration Pays Finlande Région Uusimaa Langue(s) parlée(s) finnois (53 %) - suédois (44 %) Démographie Population 8 182 hab.[1] (30.6.2020) Densité 10 hab./km2 Géographie Coordonnées 59° 49′ 25″ nord, 22° 58′ 05″ est Altitude Min. 0 mMax. 50 m Superfici...

 

Ace Young Ace Young (lahir di Denver, Colorado, Amerika Serikat, 15 November 1980) adalah penyanyi, penulis lagu, dan aktor dari Amerika.[1] Namanya mulai dikenal ketika ia berhasil menjadi salah satu finalis dalam American Idol Musim Kelima.[1][2] Meskipun sebelumnya, ia sempat menulis sebuah lagu yang sangat populer dan berhasil masuk dalam nominasi Grammy Award 2008, tetapi kalah dari lagu Bruce Springsteen, Radio Nowhere.[1] Kegemarannya selain menyanyi dan...

京急1000型電聯車 (2代)左为不鏽鋼车体列车,右为鋁合金车体列车概覽原產國 日本製造東急車輛製造(→ 綜合車輛製作所)、川崎重工業製造年份2002年~投入运营2002年4月15日主要用戶京濱急行電鐵技術數據列車編組4节、6节、8节编组車輛長度18,000mm車體宽度2,780mm車體高度4,050mm轨距1,435mm車輛定员1次~5次車:先頭車 122(座席 41+4)人中間車 130(座席 48+8)人6次車起:先頭

 

Bendungan Koperan Selat NarmadaLokasiDesa Selat Narmada, Kabupaten Lombok Barat, Nusa Tenggara BaratKegunaanIrigasiStatusDigunakanMulai dibangun1800Mulai dioperasikanSampe SekarangBendungan dan saluran pelimpahTipe bendunganLandfill dan Komposit Beton BelandaTinggi10 meterPanjang100 meter Bendungan Koperan Selat Narmada merupakan bendungan sejarah zaman belanda di Lombok Barat yang terletak di desa Desa Selat Narmada kecamatan Narmada. pembangunan bendungan ini sebagai sarana irigas...

 

English sculptor The HonourableEdwina SandysMBEBorn (1938-12-22) 22 December 1938 (age 84)NationalityBritish; AmericanOccupationArtistSpouses Piers Dixon ​ ​(m. 1960; div. 1970)​ Richard D. Kaplan ​ ​(m. 1985; died 2016)​Children2, including Hugo DixonParent(s)Duncan SandysDiana ChurchillRelativesWinston Churchill (grandfather) Edwina Sandys MBE (born 22 December 1938)[1] is an English...

Моя дівчина — кіборгMy Girlfriend is a Cyborg 僕の彼女はサイボーグ 300 × 422 (27 КБ)Жанр фантастика, мелодрамаРежисер Квак Че ЕнПродюсер Чі Ен Джун Мата ЯмамотоСценарист Квак Че ЕнУ головних ролях Харука АясеКейсуке КойдеРиза АіКомпозитор Наокі ОцудаКінокомпанія Tokyo Broadcasting SystemДистриб'юто...

 

Histoire naturelle, générale et particuliére, tome dixième, 1763 L’Histoire naturelle, générale et particulière, avec la description du Cabinet du Roi est une collection encyclopédique française d'ouvrages écrits par Buffon, dont la publication en volumes s'étend de 1749 à 1804. C'est l'une des plus importantes entreprises de publication scientifique du Siècle des Lumières. L’Histoire naturelle Buffon (1707-1788) est surtout notoire pour son Histoire naturelle, générale et...

 

Halaman ini berisi artikel tentang stasiun Jalur 4. Untuk stasiun Jalur 6 yang terletak di barat daya, lihat Stasiun Jalan Pudian (jalur 6). Jalan Pudian浦电路Peron stasiunLokasiJalan Fushan (福山路) dan Jalan PudianPudong, ShanghaiTiongkokKoordinat31°13′20″N 121°31′55″E / 31.222285°N 121.53208°E / 31.222285; 121.53208Koordinat: 31°13′20″N 121°31′55″E / 31.222285°N 121.53208°E / 31.222285; 121.53208Jalur  ...

The Chronology of Ancient Kingdoms Amended Title page, first editionAuthorIsaac NewtonCountryEnglandLanguageEnglishSubjectChronologyGenreNon-fictionPublisherJ. Tonson, J. Osborn, & T. LongmanPublication date1728Media typePrintOCLC3834370 The Chronology of Ancient Kingdoms Amended is a work of historical chronology written by Sir Isaac Newton, first published posthumously in 1728.[1] Since then it has been republished. The work, some 87,000 words, represents one of Newton's fo...

 

У этого термина существуют и другие значения, см. Сумера. КоммунаСумераSouméras 45°18′00″ с. ш. 0°25′00″ з. д.HGЯO Страна  Франция Регион Пуату — Шаранта Департамент Приморская Шаранта Кантон Монтандр История и география Площадь 6,26 км²[1] Часовой пояс UTC+1:00, лет...

 

Erotic entertainment viewed through a viewing slot This article is about a form of erotic entertainment. For the non-erotic equivalent, see raree show. For the TV show, see Peep Show (British TV series). For other uses, see Peep show (disambiguation). Exterior of a sex shop in New York City that also provides a peep show A peep show or peepshow is a presentation of a live sex show or pornographic film which is viewed through a viewing slot. Several historical media provided voyeuristic entert...

1893 SAFA premiership seasonSouth Adelaide, premiersTeams5PremiersSouth Adelaide 4th premiershipLeading goalkickerAnthony Daly Norwood (88 goals)Matches played43Highest10,000 (30 August, South Adelaide vs. Norwood)[1]← 18921894 → The 1893 South Australian Football Association season was the 17th season of the top-level Australian rules football competition in South Australia. Medindie Football Club (nickname Dingoes), which joined the SAFA in 1888, were renamed N...

 

This article includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help to improve this article by introducing more precise citations. (December 2016) (Learn how and when to remove this template message) Urdaibai Bird CenterThe building is situated by the marsh in Gautegiz ArteagaEstablished2012LocationGautegiz Arteaga, Biscay,  SpainPublic transit accessBUS Bizkaibus: Route Mungia-Gernika-Ibarrangelu, ...

 

Fictional character from the Dexter book and TV series Bay Harbor Butcher redirects here. For the fictional character framed as the Bay Harbor Butcher, see James Doakes. Fictional character Dexter MorganDexter characterMichael C. Hall as Dexter MorganFirst appearanceNovels:Darkly Dreaming Dexter (2004)Television:Dexter(episode 1.01; 2006)Last appearanceNovels:Dexter Is Dead (2015)Television:Sins of the Father(episode 9.10; 2022)Created byJeff LindsayPortrayed byMichael C. HallDevon Graye (tee...

1993 video game 1993 video gameDisney's AladdinCover art for the Sega Genesis versionDeveloper(s)Virgin Games USAJaguar Software (Amiga, DOS)Crawfish Interactive (GBC)Publisher(s)Sega (Genesis)Virgin Interactive Entertainment (DOS, Amiga, NES, Game Boy)THQ (NA Game Boy re-release)Ubi Soft (Game Boy Color)Disney Interactive Studios (Windows and Linux)Director(s)David PerryProducer(s)Robb AlveyPatrick GilmoreSacha TaitDesigner(s)David BishopBill AndersonTom TanakaSeth MendelsohnProgrammer(s)Dav...

 

Municipality in Flemish Community, BelgiumHaachtMunicipalityTildonk FlagCoat of armsLocation of Haacht HaachtLocation in Belgium Location of Haacht in Flemish Brabant Coordinates: 50°59′N 04°38′E / 50.983°N 4.633°E / 50.983; 4.633Country BelgiumCommunityFlemish CommunityRegionFlemish RegionProvinceFlemish BrabantArrondissementLeuvenGovernment • MayorSteven Swiggers (OpenVLD) • Governing party/iesOpenVld, Vooruit, CD&VArea&#...

 

佐々木 味津三誕生 (1896-03-18) 1896年3月18日 愛知県死没 (1934-02-06) 1934年2月6日(37歳没)墓地 小平霊園職業 小説家言語 日本語国籍 日本ジャンル 時代小説 ウィキポータル 文学テンプレートを表示 佐々木 味津三(ささき みつぞう、明治29年(1896年)3月18日 - 昭和9年(1934年)2月6日)は、日本の小説家。佐佐木 味津三と表記されることもある。本名・光三。 来歴・人物 愛...

Mexican swimmer For the American politician, see Juan Alanis (politician). Juan AlanísPersonal informationBorn (1946-09-20) September 20, 1946 (age 77)Mexico City, MexicoSportSportSwimming Medal record Representing  Mexico Central American and Caribbean Games 1966 San Juan 4x200m freestyle relay Juan Alanís Guerrero (born 20 September 1946) is a Mexican former swimmer who competed in the 1964 Summer Olympics and in the 1968 Summer Olympics.[1] References ^ Evans, Hilary; G...

 

Sagarmathaसगरमाथा अञ्चल Zona 1961-2015 Ubicación de Zona de SagarmathaCoordenadas 27°20′00″N 86°40′00″E / 27.333333333333, 86.666666666667Capital RajbirajEntidad ZonaSuperficie   • Total 10 591 km²Población (2011)   • Total 2 054 326 hab. • Densidad 193,97 hab/km²Historia   • 1961 Establecido • 2015 Disuelto Distritos de Sagarmatha [editar datos en Wikidata...

 

Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!