Теория информации

Передача информации

​Пропускная способность
канала связи

Криптография

Архив

Алгоритмика

Теоретические подходы к оценке количества информации.

Определите количество информации с позиции «информативно» или «не информативно».

1. Столица России – Москва.

2. Сумма квадратов катетов равна квадрату гипотенузы.

3. Эйфелева башня имеет высоту 300 метров и вес 9000 тонн .

4. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью.

   Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным.

Информация и информативность

- Содержит ли учебник физики 11 класса информацию?

- Для кого он будет информативным – для ученика 11 класса или 1 класса?

Вывод: количество информации зависит от информативности.

Содержательный и Алфавитный

Содержательный

Содержательный подход к измерению информации — это подход, при котором количество информации связано с содержанием (смыслом) полученного сообщения.

Алфавитный

Алфавитный подход к измерению информации — это метод анализа информации, основанный на её представлении как последовательности символов из определённого алфавита.

Сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

​Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Минимальная единица информации называется бит.

1 бит – это такое количество информации, уменьшающее неопределенность знаний в два раза.

Ральф Хартли

​Что предложил Хартли?

• Сделал попытку дать определение понятия «информация».

• Показал, что количество информации зависит от количества символов в используемом алфавите (мощность алфавита) и длины сообщения.

• Предложил измерять информацию в первичных символах, в настоящее время информация измеряется в битах.

​4864

​159

​Сколько слов длины 5, начинающихся с согласной буквы и заканчивающихся гласной буквой, можно составить из букв З, И, М, А? Каждая буква может входить в слово несколько раз. Слова не обязательно должны быть осмысленными словами русского языка.

​Вася составляет 5-⁠буквенные слова, в которых есть только буквы С, Л, О, Н, причём буква С используется в каждом слове ровно 1 раз. Каждая из других допустимых букв может встречаться в слове любое количество раз или не встречаться совсем. Словом считается любая допустимая последовательность букв, не обязательно осмысленная. Сколько существует таких слов, которые может написать Вася?

Если события имеют различную вероятность, используется формула Шеннона

В корзине 15 яблок, 15 груш и 30 слив. Сколько бит информации несет сообщение о том, что выбранный из корзины фрукт – яблоко?

​26