Автоматизация Автоматизация Архитектура Астрономия Одит Биология Счетоводство Военна наука Генетика География Геология Държавна къща Друга журналистика и средства за масова информация Изкуство Чужди езици Компютърни науки История Компютри Компютри Кулинарна култура Лексикология Литература Логика Маркетинг Математика Механика Механика Мениджмънт Метал и заваръчна механика Музика Население Образование Безопасност на живота Охрана на труда Педагогика Политика Право инструмент за програмиране производство Industries Психология P Дио Религия Източници Communication Социология на спорта стандартизация Строителство Технологии Търговия Туризъм Физика Физиология Философия Финанси Химически съоръжения Tsennoobrazovanie скициране Екология иконометрия Икономика Електроника Yurispundenktsiya

Елементи на теорията на информацията

Прочетете още:
  1. I. МЕХАНИКА И ЕЛЕМЕНТИ НА СПЕЦИАЛНАТА ТЕОРИЯ НА РЕЛЕКТИВНОСТТА
  2. III. ИЗМЕРВАНЕ НА ИНФОРМАЦИЯТА
  3. XII. ЕЛЕМЕНТИ НА ТЕОРИЯТА НА АЛГОРИТМИТЕ
  4. Личностна дейност, теория на психоаналитичната личност
  5. АЛГОРИТ ЗА СЪБИРАНЕ НА ИНФОРМАЦИЯ
  6. Анализ на вътрешния пазар на средства за информационна сигурност
  7. Антропологични теории за мита
  8. Антропологични теории за ритуала
  9. Архивиране на информация
  10. Атрибути (елементи на данните).
  11. Атрибути на невербалната информация
  12. Базите данни са най-важният източник на социологическа информация

Широко използвано на практика терминът "информация", чието съдържание изглежда очевидно, въпреки това е много трудно да се определи точно. Материализираното тълкуване на това понятие предполага, че предаването на информация се осъществява, когато някой обект (източник) изпраща сигнали от някакъв вид към друг обект (приемник), имащ кибернетичен характер, т.е. способен да използва съдържанието на тези сигнали за контрол. От тези позиции можем да приемем, че информацията е съдържанието на тези сигнали, а информационните процеси могат да се осъществяват само в кибернетични системи.

По този начин предаването на информация може да се осъществи само ако има комуникационна система (комуникационен канал) между източника и приемника. Съобщението, което трябва да бъде предадено, трябва да бъде предварително кодирано под формата на сигнали и след това да бъде предавано през комуникационната линия и получено от приемника, в който сигналите се декодират, т.е. се превръщат в удобна за използване форма. Предавателят, комуникационната връзка и приемникът са комуникационният канал, който транспортира информация от източника на съобщения до получателя.

В зависимост от вида на сигналите, предавани през канала, информацията, съдържаща се в тях, може да бъде представена в непрекъсната (аналогова) или дискретна (прекъсната) форма. Когато използвате непрекъснати сигнали, стойността на сигнала по всяко време съответства на определено съобщение, т.е. съдържа известна информация. Дискретните сигнали носят информация само в определени точки от времето (обикновено по време на жизнения цикъл на сигнала), а през интервалите сигналът не съдържа полезна информация (или отсъства изобщо)

В практиката на информационния трансфер може да е необходимо да се преобразува информацията, носеща сигнали от една форма в друга, която се извършва технически с помощта на аналого-цифрови (ADC) или цифрово-аналогови (DAC) конвертори.

Най-важната задача на информационната теория е разработването на методи за оценка на количеството информация и методите за измерване. Има много подходи за решаване на този проблем, които са от интерес за нас (във връзка със задачите на тази глава) само от гледна точка на дефинирането на понятието за единица информация.

Информацията, съдържаща се в съобщенията, е резултат от някои събития, възникнали в източника на съобщения. По принцип тези събития имат вероятностна природа и за сравнение на такива информационни източници е необходима цифрова оценка на несигурността при получаването на определени резултати от събитията, настъпили в тях.



Ако например смятаме, че резултатите от събитията са еднакво вероятни, можем да приемем, че несигурността Н на един резултат зависи от общия брой на възможните резултати n, т.е. H = f (n). Като функционална връзка, свързваща n и Н, се приема връзка на формата H = f (n) = log n.

Основата за логаритмичната операция в тази формула може да бъде всяка, но като цяло е прието да се използва номер две като основа. В този случай за n = 2, тоест, събитието има два еквипробируеми резултата, H = log 2 2 = 1. Несигурността на такова събитие се приема като единица на несигурност - двоична единица или бит (от английската фраза " двоична единица " единица).

За да свържем несигурността на резултатите от дадено съобщение със своята вероятност, ние представяме формулата за H във формата

Тъй като 1 / n е вероятността Р на който и да е от еквидипломните резултати на събитието, тогава H = n (-PlogP).

Ако има събитие, което може да има резултатите М 1 , ..., M n , с вероятности P 1 , ..., P n , тогава мярката за своята несигурност (мярката за разнообразието на събитията) може да бъде изразена чрез формулата

Полученият израз съвпада с формата на изразяването за ентропията в статистическата физика, поради което количеството Н се нарича информационна ентропия (или ентропия) на събитието. Може да се покаже, че ентропията Н е винаги положителна и може да бъде равна на нула само ако в някои случаи с вероятност за резултати P 1 , ..., P n една от вероятностите P, е равна на една, а останалите - до нула. С други думи, ако е възможно само един резултат от събитието, тогава несигурността на събитието H = 0.

Ако разглеждаме съобщението като информация за резултата от събитието, тогава можем да приемем, че количеството информация в такова съобщение ще бъде по-голямо, толкова по-голяма е несигурността на съобщението, преди да бъде получено.

‡ Зареждане ...

Въз основа на това количеството I на информацията може да бъде изчислено от формулата където P ' е вероятността от резултата от събитието, след като съобщението е получено за него, и P е вероятността от резултата на събитието преди съобщението да пристигне. Тъй като P 'е винаги равен на един (събитието вече има съответния резултат), тогава

Като се има предвид, че при предаването на съобщения винаги се използва набор от няколко знака (например азбука, състояща се от букви или цифри), е възможно да се изчисли количеството информация, съдържаща се в съобщение от m елементи, както и количеството информация за един текстов елемент. По - специално, за да се оцени средното количество информация на текстов елемент, теорията на информацията използва аналогична на формулата за изчисляване на информационната ентропия на дадено събитие. Тук n е броят на елементите в азбуката, използвана за предаване на съобщения; - вероятност за възникване в текста на съответния елемент от азбуката (вероятностите се приемат за неравни). Очевидно, в посланието, състоящо се от m елементи, размерът на информацията I = I el m.

Ако например азбуката е набор от символи, използвани за изпращане на съобщения, тя съдържа само два символа (един и нула или точка и тирета), чиято поява е еднакво вероятна, т.е. P = 0,5, тогава един елемент от съобщението е количеството информация

I = -2 * 0.5log 0.5 = 1.

По този начин, информационната единица (както и несигурността) е малко - количеството информация, съдържаща се в съобщението, за резултата от събитие, свързано с един акт по избор от две еквивалентни възможности.

В следващите параграфи начините за представяне на информация в цифров компютър ще бъдат обсъдени по-подробно. Тук ние отбелязваме само, че като неделима част от информацията, от която се образуват обектите (думите), които се обработват, се използва байт - уголемено устройство, съдържащо 8 бита. За да се оцени голямо количество информация, бяха въведени още по-големи единици информация: килобайт (KB) = 2 10 = 1024 6, MB, = 20 = 1048 576 байта.

Разглежданият метод за изчисляване на количеството информация не взема под внимание съдържанието на съобщенията по никакъв начин, но по отношение на разгледаните по-долу проблеми е съвсем приемливо, тъй като е важно за изграждането на ефективни методи за кодиране, съхранение и обработка на информация в цифрови компютри.


1 | 2 | | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 |


Когато използвате този материал, публикувайте връзка към Студалл.Орг (0.01 сек.)