Глава2________________
Информация. Двоичное кодированиеинформации
2.1. Понятие«информация»исвойства информации
Понятие «информация». Слово «информация» происхо­дит от латинского слова informatio, что в переводе означает сведение, разъяснение, ознакомление. Понятие «информа­ция» является базовым в курсе информатики, невозможно дать его определение через другие, более «простые» поня­тия. В геометрии, например, невозможно выразить содержа­ние базовых понятий «точка», «луч», «плоскость» через бо­лее простые понятия. Содержание основных, базовых понятий в любой науке должно быть пояснено на примерах или выявлено путем их сопоставления с содержанием дру­гих понятий.
В случае с понятием «информация» проблема его опреде­ления еще более сложная, так как оно является общенауч­ным понятием. Данное понятие используется в различных науках (информатике, кибернетике, биологии, физике и др.), при этом в каждой науке понятие «информация» связа­но с различными системами понятий.
Информация в физике. В физике мерой беспорядка, хаоса для термодинамической системы является энтропия системы, тогда как информация (антиэнтропия) является ме­рой упорядоченности и сложности системы. По мере увеличе­ния сложности системы величина энтропии уменьшается, и величина информации увеличивается. Процесс увеличения информации характерен для открытых, обменивающихся ве­ществом и энергией с окружающей средой, саморазвиваю­щихся систем живой природы (белковых молекул, организ­мов, популяций животных и так далее).
Таким образом, в физике информация рассматривается как антиэнтропия или энтропия с обратным знаком.

Информация. Двоичное кодирование информации
73

Информация в биологии. В биологии, которая изуча­ет живую природу, понятие «информация» связывается с целесообразным поведением живых организмов. Такое пове­дение строится на основе получения и использования орга­низмом информации об окружающей среде.
Понятие «информация» в биологии используется также в связи с исследованиями механизмов наследственности. Ге­нетическая информация передается по наследству и хранит­ся во всех клетках живых организмов. Гены представляют собой сложные молекулярные структуры, содержащие ин­формацию о строении живых организмов. Последнее обстоя­тельство позволило проводить научные эксперименты по клонированию, то ееть созданию точных копий организмов из одной клетки.
Информация в кибернетике. В кибернетике (науке об управлении) понятие «информация» связано с процесса­ми управления в сложных системах (живых организмах или технических устройствах). Жизнедеятельность любого организма или нормальное функционирование техническо­го устройства зависит от процессов управления, благодаря которым поддерживаются в необходимых пределах значе­ния их параметров. Процессы управления включают в себя получение, хранение, преобразование и передачу информа­ции.
Социально значимые свойства информации. Человек — существо социальное, для общения с другими людьми он должен обмениваться с ними информацией, причем обмен информацией всегда производится на определенном язы­ке — русском, английском и так далее. Участники дискус­сии должны владеть тем языком, на котором ведется обще­ние, тогда информация будет понятной всем участникам обмена информацией.
Информация должна быть полезной, тогда дискуссия приобретает практическую ценность. Бесполезная информа­ция создает информационный шум, который затрудняет восприятие полезной информации. Примерами передачи и получения бесполезной информации могут служить некото­рые конференции и чаты в Интернете.
Широко известен термин «средства массовой информа­ции» (газеты, радио, телевидение), которые доводят инфор­мацию до каждого члена общества. Такая информация дол­жна быть достоверной и актуальной. Недостоверная информация вводит членов общества в заблуждение и мо­жет быть причиной возникновения социальных потрясе-

74
Глава 2

ний. Неактуальная информация бесполезна и поэтому ни­кто, кроме историков, не читает прошлогодних газет.
Для того чтобы человек мог правильно ориентироваться в окружающем мире, информация должна быть полной и точ­ной. Задача получения полной и точной информации стоит перед наукой. Овладение научными знаниями в процессе обучения позволяют человеку получить полную и точную информацию о природе, обществе и технике.

1.         Почему невозможно дать определение понятию « информация », используя более «простые» понятия?

2.          В каких науках используется понятие «информация» и какой смысл в каждой из них оно имеет?

3.          Какие социально значимые свойства информации можно выде­лить?

2.2. Количествоинформациикакмера уменьшениянеопределенностизнаний
Информация и знания. Человек получает информацию из окружающего мира с помощью органов чувств, анализи­рует ее и выявляет существенные закономерности с помо­щью мышления, хранит полученную информацию в памя­ти. Процесс систематического научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и так далее). Таким образом, с точки зрения процесса познания информация мо­жет рассматриваться как знания.
Процесс познания можно наглядно изобразить в виде рас­ширяющегося круга знания (такой способ придумали еще древние греки). Вне этого круга лежит область незнания, а окружность является границей между знанием и незнанием. Парадокс состоит в том, что чем большим объемом знаний обладает человек (чем шире круг знаний), тем больше он ощущает недостаток знаний (тем больше граница нашего не­знания. мерой которого в этой модели является длина окружности) — оис. 2.1.

Информация. Двоичное кодирование информации
75

 










РИС. 2.1
Знаниеинезнание
Незнание

Так, объем знаний выпускника школы гораздо больше, чем объем знаний первоклассника, однако и граница его не­знания существенно больше. Действительно, первоклассник ничего не знает о законах физики и поэтому не осознает не­достаточности своих знаний, тогда как выпускник школы при подготовке к экзаменам по физике может обнаружить, что существуют физические законы, которые он не знает или не понимает.
Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некото­рое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение со­держит информацию.
Например, после сдачи экзамена по информатике вы му­чаетесь неопределенностью, вы не знаете какую оценку по­лучили. Наконец, экзаменационная комиссия объявляет ре­зультаты экзамена, и вы получаете сообщение, которое приносит полную определенность, теперь вы знаете свою оценку. Происходит переход от незнания к полному зна­нию, значит, сообщение экзаменационной комиссии содер­жит информацию.
Уменьшение неопределенности знаний. Подход к информа­ции как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что чрезвычайно валено для информатики. Рассмотрим вопрос об определении количе­ства информации более подробно на конкретных примерах.
Пусть у нас имеется монета, которую мы бросаем на ров­ную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».
Можно говорить, что события равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а решка — 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» — 40 раз, если бросим монету 1000 раз, то «орел» может выпасть 520 раз, а «решка» — 480 и так далее.

76
Глава 2

В итоге при очень большой серии опытов количества выпаде­ний «орла» и «решки» практически сравняются.
Перед броском существует неопределенность наших зна­ний (возможны два события), и, как упадет монета, предска­зать невозможно. После броска наступает полная определен­ность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном по­ложении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска — только одно, то есть в два раза меньше (рис. 2.2).



Рис. 2.2
Возможные
ипроизошедшее
события
В окружающей действительности достаточно часто встре­чаются ситуации, когда может произойти некоторое количе­ство равновероятных событий. Так, при бросании равносто­ронней четырехгранной пирамиды существуют 4 равновероятных события, а при бросании шестигранного иг­рального кубика — 6 равновероятных событий.
Чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о резуль­татах опыта.
Единицы измерения количества информации. Для коли­чественного выражения любой величины необходимо опре­делить единицу измерения. Так, для измерения длины в ка­честве единицы выбран метр, для измерения массы — килограмм и так далее. Аналогично, для определения коли­чества информации необходимо ввести единицу измерения.


Заединицуколичестваинформациипринимает­сятакоеколичествоинформации, котороесодер­житсообщение, уменьшающеенеопределенность вдвараза. Такаяединицаназвана«бит».

Информация. Двоичное кодирование информации
77

Если вернуться к опыту с бросанием монеты, то здесь не­определенность как раз уменьшается в два раза и, следова­тельно, полученное количество информации равно 1 биту.
Минимальной единицей измерения количества информа­ции является бит, а следующей по величине единицей явля­ется байт, причем

В информатике система образования кратных единиц из­мерения количества информации несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют ко­эффициент 10", где п = 3, 6, 9 и так далее, что соответствует десятичным приставкам Кило (103), Мега (106), Гига (109) и так далее.
Компьютер оперирует числами не в десятичной, а в дво­ичной системе счисления, поэтому в кратных единицах из­мерения количества информации используется коэффици­ент 2".
Так, кратные байту единицы измерения количества ин­формации вводятся следующим образом:
1 Кбайт  = 210 байт     = 1024 байт;
1 Мбайт = 210 Кбайт = 1024 Кбайт;
1 Гбайт   = 210 Мбайт = 1024 Мбайт.

 

 Количество возможных событий и количество информа­ции. Существует формула, которая связывает между собой количество возможных событий N и количество информа­ции /:


По этой формуле можно легко определить количество возможных событий, если известно количество информа­ции. Например, если мы получили 4 бита информации, то количество возможных событий составляло:


78
Глава 2

возможных события (64 различных варианта расположения «крестика»), тогда уравнение принимает вид:
64 = 21. Так как 64 = 26, то получим:
26 = 27. Таким образом, 1 = 6 битов, то есть количество информа­ции, полученное вторым игроком после первого хода перво­го игрока, составляет 6 битов.

1.Приведите примеры уменьшения неопределенности знаний после
получения информации о произошедшем событии.
2.    В чем состоит неопределенность знаний в опыте по бросанию мо­неты?

3.    Как зависит количество информации от количества возможных событий?


2.1.  Какое количество информации получит второй игрок после пер­вого хода первого игрока в игре в «Крестики-нолики» на поле размером 4x4?

2.2.  Каково было количество возможных событий, если после реали­зации одного из них мы получили количество информации, равное 3 битам? 7 битам?

2.3. Алфавитныйподходкопределению количестваинформации
При определении количества информации на основе уменьшения неопределенности наших знаний мы рассмат­риваем информацию с точки зрения содержания, ее понят­ности и новизны для человека. С этой точки зрения в опы­те по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты,  и в коротком сообщении  «Орел»,  и в длинной

Информация. Двоичное кодирование информации
79

фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».
Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).
Набор символов знаковой системы (алфавит) можно рас­сматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (2.1) можно рассчитать, какое количество информации несет каждый символ.
Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:
32 = 21, откуда / = 5 битов.
Каждый символ несет 5 битов информации (его инфор­мационная емкость равна 5 битов). Количество информа­ции в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.


Количествоинформации, котороесодержитсо­общение, закодированноеспомощьюзнаковой системы, равноколичествуинформации, которое несетодинзнак, умноженномунаколичествозна­ков.

Вопросы для размышления
1. Пусть две книги на русском и китайском языках содержат одина­ковое количество знаков. В какой книге содержится большее ко­личество информации с точки зрения алфавитного подхода?
2.4. ФормулаШеннона
Существует множество ситуаций, когда возможные собы­тия имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой),

80
Глава 2

то при ее бросании вероятности выпадения «орла» и «реш­ки» будут различаться.
Формулу для вычисления количества информации в слу­чае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации опреде­ляется по формуле:

 


где / — количество информации;
N — количество возможных событий;
р1 — вероятность i-го события.
Например, пусть при бросании несимметричной четырех­гранной пирамидки вероятности отдельных событий будут равны:
Pl= 1/2, р2 = 1/4, р3 = 1/8,   р4 = 1/8.

Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (2.2):
 

I = -(l/2-log2l/2 + l/4-log2l/4 + l/8-log2l/8 + l/8-log2l/8) = = (1/2 + 2/4 + 3/8 + 3/8) битов= 14/8 битов= 1,75 бита.

 

Этот подход к определению количества информации на­зывается вероятностным.
Для частного, но широко распространенного и рассмот­ренного выше случая, когда события равновероятны (pt= 1/iV), величину количества информации / можно рас­считать по формуле:

 


По формуле (2.3) можно определить, например, количест­во информации, которое мы получим при бросании симмет­ричной и однородной четырехгранной пирамидки:
/ = log24 = 2 бита. Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количе­ство информации (2 бита), чем при бросании несимметрич­ной (1,75 бита), когда события неравновероятны.

              Количествоинформации, котороемыполучаем,
              достигаетмаксимальногозначения, еслисобы-
тияравновероятны.
Выбор оптимальной стратегии в игре «Угадай число». На
получении максимального количества информации строится выбор оптимальной стратегии в игре «Угадай число», в ко­торой первый участник загадывает целое число (напри­мер, 3) из заданного интервала (например, от 1 до 16), а вто­рой — должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).
При оптимальной стратегии интервал чисел всегда дол­жен делиться пополам, тогда количество возможных собы­тий (чисел) в каждом из полученных интервалов будет оди­наково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).
Как видно из табл. 2.1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность зна­ний второго участника уменьшалась в два раза за счет полу­чения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, не­обходимое для отгадывания одного из 16 чисел, составило 4 бита.
Таблица2.1. Информационнаямодельигры«Угадайчисло»
 

Вопросвторого участника
Ответ
первого
участника
Неопределенность знаний(количество возможныхсобытий)



 

 

16
 

Числобольше8?
Нет
8

Числобольше4?
Нет
4

Числобольше2?
Да
2

Число3?
Да
1


2.3.Вычислить с помощью электронного калькулятора WiseCalcu­latorколичество информации, которое будет получено:
•  при бросании симметричного шестигранного кубика;

•  при игре в рулетку с 72 секторами;

•  при игре в шахматы игроком за черных после первого хода белых, если считать все ходы равновероятными;

•  при игре в шашки.

 

2.4.   Вероятность первого события составляет 0,5, а второго и третье­го — 0,25. Какое количество информации мы получим после реализации одного из них?

2.5.   Какое количество информации получит второй игрок в игре

«Угадай число» при оптимальной стратегии, если первый иг­рок загадал число: от 1 до 64? От 1 до 128?
 

Самый клёвый препод))) Всегда понимает нас)))) Таких бы побольше!!!!