Site pages
Current course
Participants
General
Моделирование и компьютерный эксперимент
Системы счисления
Основы логики
Элементы теории алгоритмов
Программирование
Архитектура компьютеров и компьютерных сетей
Обработка числовой информации
Технологии поиска и хранения информации
Что нужно знать
Алфавитный подход к измерению информации |
|||||||||||||||||||||
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы. | |||||||||||||||||||||
Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода. | |||||||||||||||||||||
|
|||||||||||||||||||||
Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами. | |||||||||||||||||||||
|
|||||||||||||||||||||
Мощность русского алфавита - 33 знака, английского - 28, двоичного кода - 2 ("0" или "1"), компьютерного текста - 256. | |||||||||||||||||||||
|
|||||||||||||||||||||
Например в 32 - символьном алфавите каждый знак несет 5 бит информации. 1 символ компьютерного текста (256 знаков: русские, латинские буквы, строчные заглавные, знаки препинания, специальные знаки, пробел) равен 8 бит = 1 байту. Информационный объем сообщения (количество информации) представленного символами какого-либо алфавита, складывается из информационных весов составляющих его символов. |
|||||||||||||||||||||
|
|||||||||||||||||||||
Единицы измерения информации |
|||||||||||||||||||||
|
|||||||||||||||||||||
Примеры: | |||||||||||||||||||||
Найти объем сообщения, содержащего 200 знаков 16-символьного алфавита. | |||||||||||||||||||||
|
|||||||||||||||||||||
Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов? | |||||||||||||||||||||
|
|||||||||||||||||||||
Содержательный подход к измерению информации |
|||||||||||||||||||||
Для человека информация — это знания человека. Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию. Сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно. Информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. |
|||||||||||||||||||||
|
|||||||||||||||||||||
Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными. | |||||||||||||||||||||
Для количественного выражения количества информации необходимо ввести единицу измерения: | |||||||||||||||||||||
|
|||||||||||||||||||||
Поэтому, сообщение о получении зачета несет 1 бит информации (одно из двух возможных сообщений "зачет" или "незачет"). Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения уравнения Формулы Хартли: |
|||||||||||||||||||||
|
|||||||||||||||||||||
где N - количество возможных информационных сообщений, | |||||||||||||||||||||
I - количество информации, которое несет одно полученное сообщение. | |||||||||||||||||||||
Например, сообщение об отметке за экзамен (из 4 возможных вариантов - "5", "4", "3" или "2") уменьшает неопределенность в 4 раза, поэтому узнав о полученной отметке, мы получили 2 бита информации. | |||||||||||||||||||||
Т.о., чем более неопределенна первоначальная ситуация, тем больше информации мы получим при получении информационного сообщения. |