Зыбко все, что относится к Информации: предмет неясен, определения не устоялись и противоречивы, базовые понятия туманны и апеллируют к интуиции, а не к фактам. Сделаем попытку чуть иначе взглянуть на классическую схему информационного обмена, заимствуя подходы более развитых дисциплин.
Вероятно, было бы правильно связать появление Теории Информации с пионерными работами Гарри Найквиста, определившего минимальное значение частоты дискретизации аналогового сигнала, и Ральфа Хартли. С их имен Клод Шеннон начинает свою статью "Математическая теория связи". Р. Хартли мы обязаны переходом термина Информация из лексикона богословов в жаргон инженеров. Отыскивая способ измерения информации, он выносит за рамки обсуждения семантику сообщений:
"Оценивая способность физической системы к передаче информации, мы, следовательно, должны игнорировать фактор интерпретации, считать каждый выбор совершенно произвольным и основывать наши результаты только на возможности получателя различать выбор одного из символов от выбора любого другого символа. При этом психологические факторы и их вариации исключаются и можно установить определенную количественную меру информации, опирающуюся только на физические соображения."
Также, именно Хартли выдвинул важную в дальнейших рассуждениях идею: "Согласование сообщений и линий" (назовем это Прямой и Обратный конвертер).
Однако, только после работ К. Шеннона теория информации приобрела статус технической дисциплины. Вслед за Хартли, Шеннон отказывается выяснять "что есть информация", ограничиваясь исключительно техническими аспектами транспортной задачи - расчетом пропускной способности и повышением эффективности каналов связи.
В повседневной жизни, мы, большей частью, стараемся иметь дело с локально-линейными объектами Пространства-Времени, где прямая - кратчайшее расстояние: "срезаем углы" и перебегаем дорогу на красный свет.
К сожалению, в целом Вселенная устроена весьма нелинейно - в гости к соседу из соседнего подъезда приходится ходить через улицу, а не через пролом в стене.
Тем не менее, идеализированные линейные (евклидовы) миры изучены и интуитивно понятны лучше всего. Встречая нелинейность, мы прежде всего задумываемся, нельзя ли ее как-либо "линеаризовать".
Один из способов "линеаризации" - поиск таких характеристик, которые позволяли бы "линейно" сопоставлять нелинейные объекты сложной конфигурации.
Исторически первыми, очевидно, были меры расстояния, веса, объема и времени. В сущности, все они были взаимозаменяемы. Расстояние могло определяться в днях пути, время - объемом вытекшей из клепсидры воды, объем - весом сосуда.
Даже в наши дни, несложно представить работу "от забора - до обеда".
Развитие технологий очень быстро добавило к списку измерение площадей и универсальную меру для всего - деньги.
Деньги, как единая мера всех вещей, обладали тремя важными качествами:
- Измеримость. Их удобно считать.
- Аддитивность. Их можно накапливать.
- Упорядоченность. Можно указать, у кого их больше.
Идея универсальной валюты сыграла важную роль в экономике, но главный ее триумф - все есть Энергия - случился в физике, завершившись самой знаменитой в истории формулой Эйнштейна
E = m * c ^ 2
В поисках подходящей оценки для сообщений, Шеннон, несомненно, придерживался той же концепции "денежного эквивалента", позволившего бы сравнивать разнородные тексты "по стоимости". В отличие от Хартли, он делал это в терминах "вероятности".
В 1927 году на международном конгрессе по телефонии, Ральф Хартли выдвинул первый формальный вариант такой оценки:
"Для того чтобы мера информации имела практическую, инженерную ценность, она должна быть такой, чтобы информация была пропорциональна числу выборов. Поэтому число возможных последовательностей не годится для непосредственного использования в качестве меры информации. Однако его можно использовать как основу для построения производной меры, удовлетворяющей практическим требованиям. Для этого будем произвольно считать, что количество информации пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных последовательностей соответствовали равные количества информации."
H = n * Log(s)
Интересно, что при обосновании своего предложения, Хартли апеллирует к аналогии с мощностью:
"Сделанное нами сводится, следовательно, к тому, что в качестве практической меры информации мы берем логарифм числа возможных последовательностей символов. Положение сходно с тем, которое мы встречаем при измерении затухания, вносимого включением некоторого звена в систему телефонной передачи. Эффект от такого включения сводится к изменению в некотором определенном соотношении мощности, отдаваемой приемнику. Это соотношение можно принять в качестве затухания. Однако оказывается более удобным взять в качестве меры затухания логарифм отношения мощностей."
И, более того, будучи радиоинженером, вводит энергетический инвариант:
"Это приводит нас к важному выводу, что максимальная скорость передачи информации, возможная в системе, частотный диапазон которой ограничен некоторой областью, пропорциональна ширине этой полосы частот. Отсюда и следует, что общее количество информации, которое может быть передано посредством такой системы, пропорционально произведению передаваемой полосы частот на время, в течение которого система используется для передачи. Произведение передаваемой полосы частот на время и есть упомянутый мною в начале статьи количественный критерий сравнения передающих систем."
Очевидно, оценка Хартли могла послужить хорошим стартом для дальнейших улучшений. Но она не делает различий между выборами, рассматривая пространство состояний как полностью однородное, пренебрегая не только семантикой сообщения, но и возможным взаимовлиянием между символами.
Шеннон вводит два существенных дополнения.
Первое из них связано с алфавитным расслоением пространства состояний.
Если Хартли, как практический инженер, интересовался прежде всего "энергетическим" инвариантом - общим количеством информации (Quantitative Expression for Information) для оценки физической реализуемости систем коммуникации, то Шеннон задается вопросом о "парциальной мощности" каждой буквы алфавита и переходит, с этой целью, от абсолютных количеств к нормированному пространству - вероятностям.
Второе требует взаимной независимости всех выбранных расслоений.
В сумме, это означает введение многомерного пространства состояний с числом координат (степеней свободы) равным размеру выбранного алфавита.
Следуя выбранной вероятностной модели, Шеннон отказывается от "энергетического" инварианта Хартли и рассматривает индивидуальные вероятности, как меру неопределенности.
Возможно, под влиянием идей Норберта Винера, информация - слово из словаря - становится для него осязаемым сигналом на входе кибернетической системы передачи данных - Ideal Repeater.
Нет изменения сигнала - нет информации. Чем меньше отклонение сигнала от ожидаемого (в терминологии Шеннона - неопределенность), тем меньшую он несет информацию. Радиоинженер немедленно узнает описание дифференцирующей цепочки. Понятие "количество информации" в трактовке Шеннона вырождается в ошибку прогноза. Или, в кибернетическом эквиваленте, во входное воздействие в системе с единичной отрицательной обратной связью.
Впрочем, Шеннона заботит другое. Оценка Хартли была предложена для однородной смеси равновозможных исходов. Как обобщить ее на неравновесный случай?
Шеннон начинает с рассмотрения простейшего случая - бинарной смеси. Возможны только два булевских (ему нравится это слово) исхода - TRUE или FALSE. Таких, как выпадение одной из сторон монеты, например.
Два предельных варианта - максимальная определенность (монета фальшивая и всегда выпадает одной стороной) и максимальная неопределенность (монета симметрична, выпадение любой из сторон равновозможно).
Симметрия выбора диктует симметрию количества информации.
Если исход точно известен заранее, то какой бы стороной не выпадала фальшивая монета: всегда аверсом или всегда реверсом, никакой новой информации при броске мы не получаем.
И, наоборот, при одинаково неизвестных исходах броска, кажется логичным получение максимальной информации - как устранения максимальной неопределенности.
В такой бинарной игре, определение Информации как комплимента Неопределенности не выглядит спекулятивным, это просто единичная сумма вероятностей обоих возможных исходов.
Теперь, когда общее поведение оценки Информации понятно, можно перейти к многокомпонентным смесям.
В своей статье 1948 года Шеннон вводит понятие информационной энтропии. Он пишет:
"Основная задача связи состоит в точном или приближенном воспроизведении в некотором месте сообщения, выбранного для передачи в другом месте. Часто сообщения имеют значение т. е. относятся к некоторой системе, имеющей определенную физическую или умозрительную сущность, или находятся в соответствии с некоторой системой. Эти семантические аспекты связи не имеют отношения к технической стороне вопроса."
...
"Если множество возможных сообщений конечно, то число сообщений или любую монотонную функцию от этого числа можно рассматривать как меру информации, создаваемой выбором одного сообщения из этого множества, в предположении, что все сообщения равновероятны. Как было указано Хартли, наиболее естественно выбрать логарифмическую функцию. Хотя это определение должно быть значительно обобщено при рассмотрении влияния статистической структуры сообщения и при наличии непрерывного множества сообщений, будем по существу во всех случаях пользоваться логарифмической мерой."
Процесс клонирования сообщения (как правило, за счет работы третьих сил), энергетикой которого пренебрегают, будем называть Транспортом информации. Как и в любой транспортной задаче, при транспорте информации помимо сохранения целостности сообщения важна задача скорости доставки и оптимизации издержек.
Решая эти задачи, Клод Шеннон пришел к двухкомпонентной модели сообщения. Грубо говоря, сообщение представляется в виде смеси абсолютно несжимаемой ("жидкость") и абсолютно сжимаемой ("газ") компонент. При расчете потребной тары, достаточно учесть только количество несжимаемой компоненты ("количество информации"). Аналогичная двухкомпонентная модель может быть использована и для расчета пропускной способности. При этом, Информация и Шум рассматриваются как несмешивающиеся жидкости, совместно прокачивающиеся по тому же самому каналу. Чем выше доля шума, тем меньшая часть сечения канала (пропускная способность) доступна для информации и тем больше время передачи сообщения.
В Теории Информации, Источник и Приемник как бы наделены свободой воли - информация запрашивается, отсылается, принимается. На самом деле, все проще: информационный обмен всегда вынужден. Две системы с различающимися потенциалами, будучи приведенными в соприкосновение, образуют термодинамическую пару. Возникающий поток энергии стремится уравнять потенциалы взаимодействующих систем и является причиной информационного обмена. Иными словами, причина обмена не "желание" приемника узнать "что нового" у источника, а их неравновесное состояние.
Неоднократно подчеркивалось, что Теория Информации полностью пренебрегает энергетическими аспектами обмена. В частности, не рассматривается обратное влияние Приемника на Источник. Иными словами, рассматривается Источник бесконечной мощности. Естественно, возникает вопрос о практической применимости подобной модели: когда, действительно, можно пренебречь энергетикой обмена и обратным влиянием Приемника на Источник.
По-видимому, такая модель удовлетворительна, когда мощность Источника много больше мощности Приемника - настолько, чтобы можно было пренебречь последней. Иными словами, в задачах принудительной синхронизации. Таких задач достаточно много. Однако такая модель окажется неприменимой в случае сравнимых по мощности систем, то есть, в задачах самосинхронизации, когда все взаимодействующие системы являются равноправными участниками обмена. Симметрии информационного обмена в этом случае недостаточно для понимания происходящего, так как "за кадром" остается побудительный мотив - обмен энергией. Грубо говоря, "выравнивание температур" приведенных в соприкосновение систем.
Одна популярная в научной среде история связана с происхождением термина "Энтропия". Вот как передают ее Майрон Трибус и Эдвард МакИрвин в своей статье "Энергия и информация": В беседе о введенной им мере неопределенности Шеннон сказал: "Меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее "информацией", но это слово слишком перегружено, поэтому я решил остановиться на "неопределенности". Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: "Вам следует назвать ее энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне".
К сожалению, фон Нейман оказался прав в своем предсказании и "невнятность" понятия энтропии привела к чрезмерному и спекулятивному его использованию, особенно в нетехнических дисциплинах. В популярной литературе это слово стало употребляться едва ли не в роли магического заклинания, сродни "абракадабре" в жаргоне алхимиков.
По Шеннону, процесс передачи моделируется пятизвенной схемой: Источник информации - Передатчик - Канал связи - Приемник - Адресат. На оригинальной схеме Шеннона в канал связи еще добавляется шум, но для наших целей это несущественно.
Принципиальный недостаток диаграммы Шеннона - отсутствие явного указания "общего провода" - единой системы отсчета, связанной с источником и получателем (она же "тезаурус").
Примем, что эта диаграмма корректна. Перечислим те свойства Информации, которые в ней явно используются или неявно подразумеваются:
- Подобно обычному (термодинамическому) обмену, информационный обмен требует не менее двух участников. Вопрос о существовании Информации вне процесса обмена лишен смысла.
- Информационный обмен асимметричен. Информация передается только в одном направлении от источника к получателю.
- Информационный обмен виртуален. Источник и получатель не обмениваются веществом или энергией.
- Информация неполярна, ей не может быть приписан знак. Передача бессмысленной или заведомо ложной информации не отличается от передачи достоверной. Направление передачи информации никак не связано с ее содержанием.
- Информация не может самопроизвольно распространяться от источника к получателю. Информационный обмен требует работы третьих сил.
Если задаться вопросом, как должно выглядеть простейшее устройство передачи информации, то мы приходим к дифференциальному измерителю, такому, как рычажные весы, например. Разумеется, это устройство должно быть активным. Так что, к весам требуется еще и "весовщик". (Не следует полагать, что "весовщик" должен быть разумным. В центробежном регуляторе Уатта, например, "активность" обеспечивалась энергией парового котла).
Легко проверить, что для (активного) дифференциального измерителя выполняются все перечисленные выше требования.
Изложенный тезис тривиален: "копир дублирует информацию", но позволяет сделать еще один ход в рассуждениях: материал-носитель источника и материал-носитель получателя может быть различен. Это приводит к понятию разделяемой модели.
Парадоксальным образом, именно игнорирование физических характеристик сигнала и переход к задаче транспорта абстрактного обратимо деформируемого агента, позволило наилучшим образом решить эту задачу.
Возможно, Шеннон сам не до конца осознавал, что поставленная им транспортная задача выходит за рамки частного случая передачи сообщений. Во всяком случае, использованная терминология ("количество информации") применительно к оценкам, никакого отношения к информации не имеющим, оказалась катастрофически неудачной и породила бум спекулятивных публикаций, на которые Шеннон был вынужден ответить критической статьей "Бандвагон".
Резюмируя взгляды Шеннона на передачу сообщений, выделим два принципиальных обстоятельства:
1. Количество информация имеет смысл Потенциала (растет с ростом неопределенности исхода события)
2. Природа носителя информации безразлична, важна только точность воспроизведения (обратимость декодирования)