Что нужно знать

Алфавитный подход к измерению информации
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Алфавит - все множество используемых в языке символов.
Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

Мощность алфавита (N) - полное количество символов алфавита.
 Мощность русского алфавита - 33 знака, английского - 28, двоичного кода - 2 ("0" или "1"), компьютерного текста - 256.

Информационный вес символа алфавита i и мощность N алфавита связаны между собой формулой N = 2i.

Например в 32 - символьном алфавите каждый знак несет 5 бит информации.

1 символ компьютерного текста (256 знаков: русские, латинские буквы, строчные заглавные, знаки препинания, специальные знаки, пробел) равен 8 бит = 1 байту.

Информационный объем сообщения (количество информации) представленного символами  какого-либо алфавита, складывается из информационных весов составляющих его символов.

Информационный объем V сообщения равен произведению количеству K символов в сообщении на информационный вес i символа алфавита  V = K * i

Единицы измерения информации
8 бит = 1 байт
1 Кбайт (Килобайт) = 1024 байт = 210 байт
1 Мбайт (Мегабайт) = 1024 Кбайт = 210 Кбайт
1 Гбайт (Гигабайт) = 1024 Мбайт = 210 Мбайт
1 Тбайт (Терабайт) = 1024 Гбайт = 210 Гбайт
 
Примеры:
Найти объем сообщения, содержащего 200 знаков 16-символьного алфавита.
Дано: Решение:
N = 16 N = 2i;  16=2i
K = 200 I = 4 бита
V = K * i;  V=200*4=800 бит = 100 байт
Найти:
V - ? Ответ: 100 байт
 
Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?
Дано: Решение:
V = 2250 байта К = 3*25*60 = 4500 символов в тексте
K = 3 x 25 x 60 V = K * i;  i = V / K;
i = 2250 * 8 / 4500 = 4 бита
Найти: N = 2i;  N = 24;  N = 16 символов
N - ?  
  Ответ: 16 символов
 

Содержательный подход к измерению информации

Для человека информация — это знания человека.

Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

Информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.

Количество информации - мера уменьшения неопределенности знания при получении информационных сообщений.
Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.
Для количественного выражения количества информации необходимо ввести единицу измерения:

Бит - количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза.

Поэтому, сообщение о получении зачета несет 1 бит информации (одно из двух возможных сообщений "зачет" или "незачет").

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения уравнения Формулы Хартли:

N = 2i
где N - количество возможных информационных сообщений,
I - количество информации, которое несет одно полученное сообщение.
Например, сообщение об отметке за экзамен (из 4 возможных вариантов - "5", "4", "3" или "2") уменьшает неопределенность в 4 раза, поэтому узнав о полученной отметке, мы получили 2 бита информации.
Т.о., чем более неопределенна первоначальная ситуация, тем больше информации мы получим при получении информационного сообщения.
Last modified: Wednesday, 23 September 2015, 9:54 am