Презентация "Вероятностный подход к измерению информации. Формула Шеннона" скачать бесплатно

Презентация "Вероятностный подход к измерению информации. Формула Шеннона"


Подписи к слайдам:
Вероятностный подход к измерению информации. Формула Шеннона

Вероятностный подход к измерению информации. Формула Шеннона

  • МОУ «Февральская средняя общеобразовательная школа № 1»
  • Учитель информатики: Т.А. Батукова

Вероятностный подход

    • Приведите примеры уменьшения неопределенности знаний после получения информации о произошедшем событии.
    • В чем состоит неопределенность знаний в опыте по бросанию монеты?
    • Как зависит количество информации от количества возможных событий?
    • При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
    • В коробке лежат 16 разноцветных карандашей. Какое количество информации содержит сообщение о том, что из коробки достали красный карандаш?

Равновероятные события

  • 1 бит – единица количества информации величина, уменьшающая неопределенность знаний в два раза.
  • N = 2I

ВЕРОЯТНОСТНЫЙ ПОДХОД

  • Клод Э́лвуд Ше́ннон
  • 30.04.1916 - 24 февраля 2001
  • американский математик и электротехник, один из создателей математической теории информации.

Формула Шеннона

  • I - количество информации;
  • N - количество возможных событий;
  • рi - вероятность i-го события (р = К/N, К – величина, показывающая, сколько раз произошло интересующее нас событие).

Формула Шеннона

  • Для событий с равной вероятностью (рi=1/N) количество информации рассчитывается по формуле:

Вероятностный подход

  • Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:
  • I = log 2 (1/p)

Задача

  • В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков.
  • Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Решение

  • рб = 10/100 = 0,1;
  • рк = 20/100 = 0,2;
  • рс = 30/100 = 0,3;
  • рз = 40/100 = 0,4.
  • I = - (0,1.log20,1 + 0,2.log20,2 + 0,3.log20,3 + 0,4.log20,4)
  • I ≈ 1,85 бита

Задача

  • В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Определите количество информации в сообщении о том, что при вытаскивании «не глядя» попадется белый шар, черный шар.

Решение

  • Обозначим рч - вероятность попадания черного шара, рб - вероятность попадания белого шара.
  • рч = 40/50 = 0,8;
  • рб = 10/50 = 0,2;
  • Iб = log2(1/0,2) ≈ 2,32;
  • iч = log2(1/0,8) ≈ 0,32

Вероятностный подход

  • Чем меньше вероятность некоторого события,
  • тем больше информации содержит сообщение об этом событии.

Задача

  • В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Сколько информации мы получим, когда поймаем какую - нибудь рыбу?

Решение

  • Найдем общее количество рыб в озере: К = 12500 + 25000 + 2.6250 = 50000.
  • Найдем вероятность попадания на удочку каждого вида рыб:
  • Ро = 12500/50000 = 0,25
  • Рк = 25000/50000 = 0,5
  • Pп = 6250/50000 = 0,125
  • Pщ = 6250/50000 = 0,125
  • Найдем количество информации
  • I = - (0,25.log20,25 + 0,5.log20,5 + 0,125.log20,125 + 0,125.log20,125) бит ≈ 1,75 бита

Задача 2

  • В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?
  • Решение
  • N = 8 + 24 = 32 – шара всего
  • Рч = 8/32 = ¼ - вероятность доставания черного шара
  • I = log2 (1/¼) = 2 бита.

Домашнее задание

    • Выучить основные определения и формулы п.2.4
    • Задания 2.4 – 2.5 (стр. 82)

Дополнительная задача

  • В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Определите количество информации при попадании на удочку каждого из видов рыб.

Использованные источники:

  • Информатика. Задачник-практикум в 2 т. /Под ред.И.Г. Семакина, Е.К. Хеннера: Том 1. – М.: БИНОМ. Лаборатория знаний, 2004.
  • Соколова О.Л. Универсальные поурочные разработки по информатике. 10 класс. - М., ВАКО, 2006.
  • Угринович Н. Д. Информатика и информационные технологии. Учебник для 10-11 классов, - М., БИНОМ. Лаборатория знаний. 2007.
  • Угринович Н. Д. Преподавание курса «Информатика и ИКТ» в основной и старшей школе. 7-11: Методическое пособие. - М., БИНОМ. Лаборатория знаний. 2007.
  • Угринович Н.Д. Практикум по информатике и информационным технологиям.Учебное пособие для общеобразовательных учреждений. Изд. 2-е, испр./ Н.Д. Угринович, Л.Л. Босова, Н.И. Михайлова – М.:БИНОМ. Лаборатория знаний, 2004
  • CD «Компьютерный практикум Windows-CD». Приложение к пособию Угринович Н. Д. Преподавание курса «Информатика и ИКТ» в основной и старшей школе. 7-11: Методическое пособие. - М., БИНОМ. Лаборатория знаний. 2007.
  • http://ru.wikipedia.org/wiki/%D0%A8%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD_%D0%9A.