Жонглирование битами: Клод Шеннон и его теория

Что общего у компьютера, CD, DVD, смартфона, модема, жёсткого диска, блоков памяти, схем шифрования, MP3-музыки, телевидения высокого разрешения и многих других современных технологий? В их основе лежат концепция, разработанная Клодом Шенноном — человеком, которого называют отцом информационного века.

Одноколёсный велосипед и телеграф из проволоки

Клод Элвуд Шеннон родился в небольшом городке Петоски, штат Мичиган, 30 апреля 1916 года в семье учительницы иностранных языков и юриста. Он был вполне обычным ребёнком — не слишком общительным, но дружелюбным.

Впервые качества будущего изобретателя проявились в том, что Клод делал модели самолётов и радиоуправляемых лодок, любил разгадывать математические головоломки и даже смастерил телеграф, взяв проволоку из ограды и протянув в дом к своему приятелю. А ещё ему нравилось ездить на одноколёсных велосипедах и жонглировать.

После школы Шеннон поступил в Мичиганский университет, где в 1936 году получил степень бакалавра по электротехнике и математике. Размышляя над тем, что делать дальше, он увидел объявление: Массачусетский технологический институт (MIT) искал сотрудника для работы на дифференциальном анализаторе Вэнивара Буша, то есть на одном из первых аналоговых компьютеров. Клод подал заявку и был принят в качестве научного ассистента и аспиранта на кафедру электротехники MIT.

Тут-то всё и закрутилось.

Самая важная диссертация в истории

Ещё в Мичигане Шеннон заинтересовался булевой алгеброй, а в MIT решил применить её к коммутационным схемам компьютера. Итогом его размышлений стала магистерская диссертация на тему «Символический анализ релейных и переключательных схем», в которой он показал, как использовать булеву алгебру для анализа и для синтеза релейных схем.

Возможно, это звучит не так увлекательно, как изобретение интернета, но коммутационные схемы имели огромное значение для телефонной промышленности, а позднее и для развития компьютеров. Шеннон в свой работе фактически предложил научную основу целой сферы коммутации. В 1940 году ему вручили премию Альфреда Нобеля от Американского института инженеров-электриков (не путать с Нобелевской премией) за лучшую работу в области инженерии, опубликованную автором моложе 30 лет.

22-летний Шеннон показал, как реализовать логическую алгебру XIX века Джорджа Буля с помощью электронных схем реле и переключателей. Представление «истинного» и «ложного», нуля и единицы, в виде разомкнутых или замкнутых переключателей, а также использование электронных логических ворот для выполнения арифметических действий легли в основу устройства цифровых компьютеров.

По сути, Шеннон в своей диссертации заложил основу проектирования цифровых схем, важнейшего элемента микроэлектроники, без которого невозможно представить информационные технологии XXI века.

Математический талант Шеннона, раскрывшийся в MIT, приводил порой к неожиданным ситуациям. Клод записался на программу подготовки лётчиков, что очень сильно обеспокоило профессора, ответственного за этот курс, — он считал, что нельзя подвергать юного гения такому риску.

Криптография: из искусства в науку

В 1941 году Шеннон устроился в Bell Labs, где работал над разными проектами для армии, в том числе — криптографией и кодированием речи. В 1943 году туда приехал знаменитый британский математик Алан Тьюринг, с которым Клод говорил о возможности создания электронного мозга.

После войны наработки Шеннона были опубликованы в виде статьи под названием «Теория связи в секретных системах». В ней Шеннон доказал, что невзламываемая криптография возможна.

Параллельно всё это время Шеннон размышлял над вопросами связи и передачи информации. Причём он делал это один, в качестве хобби и, похоже, держал все свои наработки в голове.

Главное открытие Клода Шеннона: биты, энтропия и теория связи

Судя по всему, к 1948 году Шеннон сложил все части головоломки воедино. Результатом восьми лет размышлений стала статья «Математическая теория связи». 77 страниц, 23 теоремы и семь приложений с доказательствами навсегда изменили мир и вписали имя Шеннона в историю.

Биты. Открытие Шеннона состояло в том, что любую информацию можно измерить и закодировать с помощью набора нулей и единиц — то есть битов. И это открывает почти безграничные возможности для её хранения, обработки и безопасной передачи на большие расстояния.

Читайте также:

Двоичная (бинарная) система счисления: что это и как ей пользоваться

Сейчас слово «цифровизация» кажется набившим оскомину клише, но для 1948 года оцифровка информации была революционным шагом. В какой-то момент Шеннон осознал, что с цифровой информацией можно делать то, что невозможно с аналоговой, — например, копировать без потери качества.

Энтропия. Кроме того, Шеннон ввёл понятие энтропии как меры неопределённости в сообщениях. Если говорить простым языком, энтропия — это количество двоичных цифр, необходимых для кодирования сообщения.

Шеннон представлял себе коммуникацию как поток сообщений, проходящий через несколько этапов, которые условно можно описать так:

В своей статье Клод Шеннон изобразил весь этот процесс в виде блок-схемы:

Шеннон установил, что любой канал связи имеет максимальную пропускную способность, и математически доказал, что даже в зашумлённом канале с низкой пропускной способностью можно достичь практически идеальной связи, если поддерживать скорость передачи в пределах пропускной способности канала и использовать схемы коррекции ошибок.

Фактически Шеннон не только создал теорию, но и описал, как производится и передаётся информация, а потому его и считают отцом теории информации. Из неё следует, что любые данные можно эффективно передавать с помощью битов — будь то книга Пушкина, альбом «Металлики» или фильм Тарантино. Эта идея лежит в основе цифровой информационной эры.

Машины, машинки и мышь

Революционные теории были результатом любопытства Шеннона и порождением его гения. Но как только он докапывался до сути явления, вместо публикации результатов, он начинал искать новую проблему.

Настоящей его страстью было проектирование всевозможных гаджетов и жонглирование — похоже, эти занятия он ценил гораздо выше подготовки статей для научных журналов.

Среди культовых изобретений Шеннона — вычислительная машина THROBAC I, которая выполняла арифметические действия с помощью римских цифр, фрисби с ракетным двигателем и устройство для собирания кубика Рубика.

Классик искусственного интеллекта Марвин Мински вдохновил Шеннона на знаменитую «конечную машину». Работает она так: вы щёлкаете выключателем On, открывается ящик, откуда вылезает механическая рука, которая щёлкает выключатель Off и возвращается внутрь ящика.

Ещё одно изобретение Шеннона — механическая мышь «Тесей». Тесей бегал по лабиринту и запоминал путь. Если человек переставлял стены лабиринта, мышь распознавала изменения и находила новое решение. По сути, это была одна из первых попыток машинного обучения. Шеннон также одним из первых занялся разработкой принципов построения шахматных программ.

Дом Шеннона, который он называл Entropy House (дом Энтропии), был буквально напичкан его изобретениями, а в гараже стояло около 30 одноколёсных велосипедов — один без педалей, один с квадратным колесом, и ещё один одноколёсный велосипед, рассчитанный на двоих ездоков.

Теория жонглирования и потеря информации

Работая в Bell Labs, Шеннон любил ездить по залам на одноколёсном велосипеде, жонглируя тремя мячами. И даже во время этого весёлого занятия в нём проявился пытливый учёный. Шеннон решил посчитать, как долго предметы висят в воздухе и на какую высоту их нужно подбрасывать.

На основе этих исследований Шеннон создал свою теорему о жонглировании и даже написал статью для журнала Scientific American. Однако редакторы попросили кое-что поправить, но Шеннону, видимо, было лень, поэтому статья так и не вышла.

Шеннон разработал сложную стратегию выигрыша в рулетку, используя преимущества небольших дисбалансов в колесе рулетки. Сформулировал несколько теорий о росте инвестиций и, наверное, сделал бы много чего ещё, если бы не болезнь.

В 1990-х годах Шеннона поразила болезнь Альцгеймера. И в этом прослеживается жестокая насмешка судьбы: человек, который изучал информацию и связь, стал терять свои воспоминания и способность общаться. Последние годы своей жизни он провёл в частной больнице и умер 24 февраля 2001 года в возрасте 84 лет.

Невозможно переоценить вклад Шеннона в развитие информационных технологий. Его идеи живут в каждой технологии, которые мы используем сегодня: от умных часов до космических зондов, от смартфонов до интернета, от персональных компьютеров до искусственного интеллекта.

В общем, 01010010 01001001 01010000 00100000 01000011 01101100 01100001 01110101 01100100 01100101 00100000 01010011 01101000 01100001 01101110 01101110 01101111 01101110.