Введение

Появление теории информации связана с опубликованием Клодом Шенноном работы «Математическая теория связи» в 1948 году. С точки зрения Шеннона, теория информации — раздел математической теории связи. Теория информации устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения. Круг задач теории информации представляется с помощью структурной схемы, типичной системы передачи или хранения информации.

Блок-схема системы связи

В схеме источником является любой объект вселенной, порождающий сообщения, которые должны быть перемещены в пространстве и времени. Независимо от изначальной физической природы, все подлежащие передаче сообщения обычно преобразуются в форму электрических сигналов, такие сигналы и рассматриваются как выход источника. Кодер источника представляет информацию в наиболее компактной форме. Кодер канала обрабатывает информацию для защиты сообщений от помех при передаче по каналу связи или возможных искажений при хранении информации. Модулятор преобразовывает сообщения, формируемые кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопителя информации. Среда распространения информации (канал связи) вносит в процесс передачи информации случайный шум, который искажает сообщение и тем самым затрудняет его прочтение. Блоки, расположенные на приёмной стороне, выполняют обратные операции и предоставляют получателю информацию в удобном для восприятия виде. Трудность передачи сообщения не зависит от его содержания, так передавать бессмысленные сообщения не менее трудно, чем осмысленные.

Информацию можно выразить как и свойство объектов, так и результат их взаимодействия. Факт объективного существования информации независимо от нашего сознания для некоторых исследователей послужил поводом построения весьма неординарной точки зрения, что информация является третьей (наряду с материей и энергией) субстанцией материального мира. Но для информации пока не сформулировано фундаментальных законов сохранения и перехода в эквивалентное количество материи и/или энергию. На данный момент принято считать, что информация существует независимо от того, воспринимается она или нет, но проявляется только при взаимодействии.

История

Основная статья: Хронология развития теории информации

Рождение теории информации зачастую связывают с размещением в июле-октябре 1948 года Шенноном Клодом работы в журнале американской телефонной компании «Bell System» под названием «Математическая теория связи». Но стоит упомянуть, что также был внесён в формулировку и построение теории информации вклад и многими другими, выдающимися учёными. Сам Шеннон в начале своей статьи написал «Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящее теория расширена тем, что включено некоторое число новых факторов, в частности, влияние шума в канале».

В основном Шеннон развивал направление работ Хартли, используя понятие «информации», но сам термин не разъясняет, лишь оговаривает, что сообщения могут имеет какое-то «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность (кибернетическая система). Теория Шеннона изначально рассматривалась как точно сформулированная математическая задачи и дала возможность определить пропускную способность коммуникационного канала с шумом.

Свойства информации

1. Релевантность — способность информации соответствовать нуждам (запросам) потребителя (неспособность информации быть полезной называют нерелевантностью).
2. Полнота — свойство информации исчерпывающе (для данного потребителя) характеризовать отображаемый объект и/или процесс.
3. Своевременность — способность информации соответствовать нуждам потребителя в нужный момент времени.
4. Достоверность — свойство информации не иметь скрытых ошибок.
5. Доступность — свойство информации, характеризующее воз­можность ее получения данным потребителем.
6. Защищенность — свойство, характеризующее невозможность несанкционированного использования или изменения.
7. Эргономичность — свойство, характеризующее удобство формы или объема информации с точки зрения данного потребителя.
8. Адекватность — свойство информации однозначно соответствовать отображаемому объекту или явлению. Адекватность оказывается для потребителя внутренним свойством информации, проявляющем себя через релевантность и достоверность.

Также свойства информации можно определить по её потреблению: политическую, химическую, биологическую, техническую, экономическую и т. д. Информация ещё имеет внутренние свойства — внутренняя организация (структура) информации и её объём (количество). Структура информации выделяет отдельные её элементы, которые могут быть и простыми и сложными. Простые элементы не поддаются дальнейшему расчленению; сложные образуются как сочетание различных элементов и представляются информационными совокупностями. Структура информации достаточно сложна и может включать различные комбинации информационных совокупностей, обладающих определённым содержанием. А количество же информации является мерой уменьшения неопределенности знания при получении информационных сообщений. За единицу количества информации принимается бит. Это количество информации, при котором неопределенность — количество вариантов выбора, уменьшается вдвое (это ответ на вопрос, требующий односложный ответ – да или нет). Количество информации равновероятных событий определяется формулой Хартли, в ней процесс получения информации рассматривается как выбор одного сообщения из наперёд заданного множества равновероятных сообщений:

Где — количество информации, а — возможное множество сообщений. Логарифм по основанию 2 ввиду того, что подсчёт информации требуется в основном в компьютерной технике, где информация хранится в двоичной системе счисления. Формула определения количества информации, учитывая возможную неодинаковую вероятность событий, названа в честь её открывателя — Шеннона:

Где — вероятность того, что именно -е сообщение верно. Условно методы обнаружения количества информации можно разделить на пять видов:

• энтропийный;
• алгоритмический;
• комбинаторный;
• семантический;
• прагматический.

Энтропийный, алгоритмический, комбинаторный виды обозначают количественное определение сложности рассматриваемого объекта или явления и опирается на такие свойства информации: полнота, доступность, эргономичность. Семантический вид – описывает содержательность и новизну передаваемого сообщения для получателя (свойства релевантности и адекватности). Парагматичесий вид обращает внимание на полезность полученного сообщения для пользователя (свойства полноты, своевременности, эргономичности и адекватности).

Кодирование информации

Кодирование являет собой процесс перехода сообщения на входе канала связи до кода сообщения на выходе, при этом информационная ценность сообщения должна оставаться неизменной. В теории информации можно выделить такие методы кодирования:

1.Кодирование дискретных источников. Это гипотетическая модель кодирования информации «без потерь», которая проходит через канал связи без шума, сжатием информации.

2.Кодирование информации при её передаче по каналу с шумом. Этот метод учитывает и защищает информацию от помех в канале связи. Код является однозначно декодируемым, если любая последовательность символов из алфавита кода (а, в основном, это 0 и 1) кода разбивается на отдельные слова. Если ни одно кодовое слово не является началом другого, код называется префиксным и он является однозначно декодируемым. Следовательно, префиксность — достаточное, но не необходимое условие однозначной декодируемости. Требование префиксности ограничивает множество длин кодовых слов и не даёт возможности выбирать кодовые слова слишком короткими. Необходимым и достаточным условием существования префиксного кода объёма с длинами кодовых слов является выполнение неравенства Крафта:

Также требуется рассмотреть код Шеннона-Фано — алгоритм префиксного неоднородного кодирования. Этот метод кодирования использует избыточность сообщения, заключённую в неоднородном распределении частот символов его алфавита, то есть заменяет коды более частых символов короткими двоичными последовательностями, а коды более редких символов — более длинными двоичными последовательностями. Рассмотрим источник, выбирающий буквы из множества с вероятностями . Считаем, что буквы упорядочены по убыванию вероятностей (). Кодовым словом кода Шеннона для сообщения с номером является двоичная последовательность, представляющая собой первые разрядов после запятой в двоичной записи числа :

3.Кодирование с заданным критерием качества. Ввиду того, что информация аналоговых источников не может быть представлена в цифровой форме без искажений, этот метод кодирования обеспечивает наилучший компромисс между качеством и затратами на передачу информации. Он используется в случае, когда кодирование источника осуществляется таким образом, что закодированные сообщения восстанавливаются с некоторой ошибкой, не большей заданного значения. Один из наиболее актуальных методов кодирования, поскольку находит широкое применение для цифровой передачи аудио- и видеоинформации.

4.Кодирование информации для систем со многими пользователями описывает оптимальное взаимодействие абонентов, использующих общий ресурс, например, канал связи.

5.Секретная связь, системы защиты информации от несанкционированного доступа. Этот тип активно используются и является актуальным. Затрагивает теорию информации, теории вычислительной мощности алгоритмов, исследования операций, теории чисел.

Информационная энтропия

Информационная энтропия() — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании. Энтропия ограничивает максимально возможное сжатие без потерь, которое может быть реализовано при использовании теоретически — типичного набора или, на практике кодирование Хаффмана, кодирования Лемпеля-Зива-Велча или арифметического кодирования. Свойства энтропии:
1.Энтропия не может быть отрицательной ;
2.Энтропия ограничена (если все элементы равновероятны;
3.Если независимы, то ;
4.Если имеют одинаковое распределение вероятностей элементов, то ;
5.Некоторые биты данных могут не нести информации;
6.Количество энтропии не всегда выражается целым числом бит.

Теория информации Информацию О

Клод Шеннон краткая биография и интересные факты из жизни американского инженера, криптоаналитика и математика, отца информационного века, изложены в этой статье.

Клод Шеннон краткая биография

Клод Элвуд Шеннон появился на свет 30 апреля 1916 года в городке Петоцки, штат Мичиган. Его отец был юристом, а мать преподавала иностранные языки. В 1932 году юноша окончил среднюю школу и параллельно обучался на дому. Отец Клода постоянно покупал сыну радиолюбительские наборы и конструкторы, содействуя его техническому творчеству. А старшая сестра проводила ему углубленные занятия математикой. Поэтому любовь к технике и математике была очевидной.

В 1932 году будущий ученый поступает в университет Мичигана. Окончил учебное заведение в 1936 году со степенью бакалавра по математике и электротехнике. В университете он прочитал работы «Логическое исчисление» и «Математический анализ логики» автора Джорджа Буля, которые во многом определили его будущие научные интересы.

Вскоре его пригласили на работу в Массачусетский технологический институт на должность ассистента-исследователя в лаборатории электротехники. Шеннон работал над модернизацией аналогового компьютера, дифференциального анализатора Ванневара Буша.

В 1936 году Клод решил поступать в магистратуру, и годом позже написал диссертацию. На ее основе выдает статью под названием «Символьный анализ реле и переключательных схем», опубликовал ее 1938 году в журнале Американского института инженеров-электриков. Его статья заинтересовала научное электротехническое сообщество и в 1939 году ему присудили Премию им. Альфреда Нобеля. Не окончив магистерскую диссертацию, Шеннон начал работу над докторской работой по математике, затрагивая задачи генетики. Она называлась «Алгебра для теоретической генетики».

В 1941 году, в возрасте 25 лет, он стал работать в математическом отделении научно-исследовательского центра «Bell Laboratories». В Европе в это время начались военные действия. Америка финансировала исследования Шеннона в области криптографии. Он являлся автором анализа зашифрованных текстов при помощи информационно-теоретических методов. Ученый в 1945 году завершает большой секретный отчет «Математическая теория криптографии».

Какой вклад внес Клод Шеннон в информатику?

В своих исследованиях ученый подготовил концепции по теории информации. В 1948 году Шеннон опубликовал труд «Математическая теория связи», в которой математическая теория предстала как приемник информации и канал связи для ее передачи. Осталось только все перевести на более простой язык и донести свои наработки человечеству. Клод Шеннон ввел такое понятие информационной энтропии, которое обозначает величину, единицу информации. Ученый рассказывал, что данный термин ему посоветовал использовать математик Джон фон Нейман. Клод Шеннон создал 6 концептуальных теорем, которые являются фундаментом его теории информации:

• Теорема количественной оценки информации.
• Теорема рациональной упаковки символов при первичном кодировании.
• Теорема согласования потока информации с пропускной способностью канала связи без помех.
• Теорема согласования потока информации с пропускной способностью двоичного канала связи с помехами.
• Теорема оценки пропускной способности непрерывного канала связи.
• Теорема безошибочного восстановления непрерывного сигнал.

В 1956 году ученый прекращает работу в «Bell Laboratories» и занимает должность профессора сразу на двух факультетах технологического института в Массачусетсе: электротехническом и математическом.

Когда ему исполнилось 50 лет, он перестает заниматься преподавательской деятельностью и всего себя посвящает любимым хобби. Он создал одноколесный велосипед с 2-мя седлами, роботов, которые собирают кубик Рубик и жонглируют шарами, складной нож с большим количеством лезвий. В 1965 году он посетил СССР. А в последнее время Клод Шеннон сильно болел и умер в феврале 2001 году от недуга Альцгеймера в массачусетском доме престарелых.

Клод Шеннон интересные факты

Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрёл стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой

Подростком он работал посыльным в Western Union.

Он увлекался игрой на кларнете, слушал музыку и читал поэзию.

Шеннон женился 27 марта 1949 года, на Мэри Элизабет Мур Шеннон, с которой познакомился в «Bell Labs». Она работала там аналитиком. У супругов родилось трое детей: Андрю Мур, Роберт Джеймс и Маргарита Катерина.

Клод Шеннон на выходных любил сгонять в Лас-Вегас вместе со своей женой Бетти и коллегой, дабы поиграть в блэкджек. Шеннон со своим другом даже спроектировали первый в мире wearable-компьютер, занимающийся «подсчетом карт».

Шеннон дальний родственник изобретателя Томаса Эдисона.

Занимался разработкой устройств, которые обнаруживали самолеты противника и наводили на них зенитные установки. Также он создал криптографическую систему для правительства США, обеспечивающею тайность переговоров Рузвельта и Черчилля.

Любил играть в шахматы и жонглировать. Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Он создал одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Годы жизни:1916-2001

Источник шифрования устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.

©Клод Шеннон

Биография

Клод Шэннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.

В 1932 году Шэннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 году Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт (MIT), где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша — аналоговом компьютере. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символьный анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков . Она также стала причиной вручения Шэннону Премии имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Цифровые цепи — это основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

По совету Буша Шзннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шэннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шэннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шэннон получает докторскую степень по математике и степень магистра по электротехнике.

В период с 1941 по 1956 гг. Шэннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шэннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шэннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шэннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельтачерез океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шэннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.

Шэннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шэннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шэннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.

Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс, который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).

Клод Шэннон ушел из жизни 24 февраля 2001 года.

Теория связи в секретных системах

Работа Шэннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шэннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шэннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шэннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шэннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шэннона всемирно известным. В ней Шэннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шэннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения , Хартли предложил использовать логарифмическую функцию . Шэннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шэнноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.

Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

В своих работах Шэннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из СССР и США (СССР — Пинскер (англ.)русск., Хинчин, Добрушин, Колмогоров; США —Галлагер (англ.)русск., Вольфовиц (англ.)русск., Файнстейн) дали строгую трактовку изложенной Шенноном теории.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шэнноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теорема о пропускной способности канала.

Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале

Теоремы Шэннона

• Прямая и обратная теоремы Шэннона для источника общего вида — о связи энтропии источника и средней длины сообщений.
• Прямая и обратная теоремы Шэннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
• Прямая и обратная теоремы Шэннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока).
• Теорема Найквиста — Шеннона (в русскоязычной литературе — теорема Котельникова) — об однозначном восстановлении сигнала по его дискретным отсчётам.
• Теорема Шэннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
• Теорема Шэннона — Хартли

Биография

С раннего возраста Шеннона интересовала техника, математика — в связи с этими желаниями он и окончил Мичиганский университет со степенями в обеих дисциплинах. Для получения ученой степени он решил поступить в Массачусетский Технологический институт, который в то время был одним из престижных. На математическом факультете работали гении науки, в том числе Норберт Винер, Ванневар Буш, который работал деканом в институте и в начале 1930-х годов построил аналоговый компьютер под названием дифференциальный анализатор.

По предложению Буша Шеннон также изучил работу релейных схем анализатора для своей магистерской диссертации. Этот анализ лег в основу влиятельной работы Шеннона 1938 года «символический анализ релейных и коммутационных цепей», в которой он выдвинул свои развивающиеся теории о связи символической логики с релейными цепями. Этот документ и содержащиеся в нем теории окажут плодотворное влияние на развитие машин и систем обработки информации в последующие годы.

Не забывал Клод Шеннон и о математике — он объединил математические теории с инженерными принципами, чтобы заложить основу для развития цифрового компьютера и современной цифровой связи. Его основополагающая работа 1948 года открыла совершенно новый мир и коренным образом изменила способ представления информации.

Клод Шеннон окончил Массачусетский технологический институт в 1940 году со степенью магистра и доктора математики. После выпуска он провел год в должности научного сотрудника в Институте перспективных исследований Принстонского университета, где он работал с математиком и физиком Германом Вейлем. В 1941 году Шеннон поступил в телефонную лабораторию Белла, где стал членом группы ученых, которой было поручено разработать более эффективные методы передачи информации и повысить надежность междугородних телефонных и телеграфных линий.

Теории Шеннона

Одной из наиболее важных особенностей теории Шеннона была концепция информационной энтропии, которую он продемонстрировал как эквивалентную нехватке информационного содержания в сообщении. Согласно второму закону термодинамики и физики, энтропия — это степень случайности в любой системе, которая всегда увеличивается. Таким образом, многие предложения могут быть значительно сокращены без потери смысла. Шеннон доказала, что в шумном разговоре сигнал всегда можно послать без искажений. Если сообщение закодировано таким образом, что оно самоконтролируется, сигналы будут приниматься с той же точностью, как если бы не было помех на линии.

Например, язык имеет встроенный код для исправления ошибок. Поэтому шумный разговор на вечеринке понятен лишь отчасти, потому что половина языка избыточна. Методы Шеннона вскоре нашли применение не только в компьютерном дизайне, но и практически во всех предметах, в которых язык был важен, таких как лингвистика, психология, криптография и фонетика.

Шеннон также показал, что если к сообщению было добавлено достаточно дополнительных битов, чтобы исправить ошибки, он может туннелировать через самый шумный канал. На протяжении десятилетий это понимание развивалось в виде сложных кодов, исправляющих ошибки, которые обеспечивают целостность данных, с которыми взаимодействует общество. Работая в лаборатории Бэлла, Клод совместно с коллегами разработали концепцию кода для исправления ошибок.

Шеннон считал, что информация ничем не отличается от любой другой величины и поэтому может манипулировать машиной. Он применил свои ранние исследования к рассматриваемой проблеме, используя логику Буля для разработки модели, которая сводит информацию к ее самой простой форме-двоичной системе выбора да/нет, которая может быть представлена двоичным кодом 1/0. Применяя установленные коды к передаваемой информации, можно свести к минимуму уровень шума, который она улавливает во время передачи, и тем самым повысить качество.

В конце 1940-х годов исследования Шеннона были представлены в математической теории коммуникаций, в соавторстве с математиком Уорреном Уивером. Именно в этой работе Шеннон впервые ввел слово «бит», состоящее из первых двух и последней буквы «двоичной цифры» и придуманное его коллегой Джоном У. Туки, чтобы описать решение «Да-нет», которое лежало в основе его теорий.

В 1941 году он приступил к серьезному изучению проблем коммуникации, частично мотивированному требованиями военных действий. Результатом этого исследования стала классическая работа «математическая теория коммуникации» 1948 года.

Этот новаторский документ начинается с наблюдения, что «фундаментальная проблема коммуникации заключается в том, чтобы воспроизвести в одной точке точно или приблизительно сообщение, выбранное в другой точке. Результаты были настолько потрясающими, что математическому и инженерному сообществу потребовалось некоторое время, чтобы осознать их значение. Новая наука была создана в форме теории информации, с публикацией этого документа, и остается эталоном даже сегодня.

Математический гений

В 1950-х годах Шеннон обратил свои усилия на разработку так называемых «интеллектуальных машин»- механизмов, которые имитировали работу человеческого разума для решения проблем. Из его изобретений в то время наиболее известной была мышь-лабиринт по имени Тесей, которая использовала магнитные реле, чтобы научиться маневрировать через металлический лабиринт.

Теория информации Шеннона в конце концов увидела применение в ряде дисциплин, в которых язык является основополагающим фактором- лингвистика, фонетика, психология и криптография.

Клод Шеннон был удостоен многочисленных почетных степеней и наград. Опубликованные им и ООН документы охватывают невероятно широкий спектр областей. Многие из них были бесценным источником научных идей для других. Можно сказать, что не было бы интернета без его теории информации; каждый модем, каждый сжатый файл, каждый код исправления ошибок чем-то обязан Шеннону.

Выдающийся математический гений, Клод Шеннон, умер в возрасте 84 лет 27 февраля 2001 года в Медфорде, штат Массачусетс. После долгой борьбы с болезнью Альцгеймера. Его дело живет до сих пор, и можно быть уверенными, что пока человечество нуждается в компьютерах, имя Шеннона не будет забыто.

Не пропустите новые материалы. Подписывайтесь на нас в Яндекс.Дзен. Подписаться Метки: болезнь Альцгеймера, Ванневар Буш, Герман Вейль, Норберт Винер, ООН

Кодирование данных

В этом разделе не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники. Эта отметка установлена 2 февраля 2016 года.

Кодирование являет собой процесс перехода сообщения на входе канала связи до кода сообщения на выходе, при этом информационная ценность сообщения должна оставаться неизменной. В теории информации можно выделить следующие разделы:

1. Кодирование дискретных источников (модель кодирования данных «без потерь»).

2. Кодирование данных, обеспечивающих их передачу по каналу с шумом.

Код является однозначно декодируемым, если любая последовательность символов из алфавита кода (а, в основном, это 0 и 1) разбивается на отдельные слова. Если ни одно кодовое слово не является началом другого, код называется префиксным и он является однозначно декодируемым. Следовательно, префиксность — достаточное, но не необходимое условие однозначной декодируемости. Требование префиксности ограничивает множество длин кодовых слов и не даёт возможности выбирать кодовые слова слишком короткими. Необходимым и достаточным условием существования префиксного кода объёма M {\displaystyle M} с длинами кодовых слов l 1 , . . . , l M {\displaystyle l_{1},…,l_{M}} является выполнение неравенства Крафта:

∑ i = 1 M 2 − l i ⩽ 1 {\displaystyle \sum _{i=1}^{M}{2}^{-l_{i}}\leqslant {1}}

Также требуется рассмотреть код Шеннона-Фано — алгоритм префиксного неоднородного кодирования. Этот метод кодирования использует избыточность сообщения, заключённую в неоднородном распределении частот символов его алфавита, то есть заменяет коды более частых символов короткими двоичными последовательностями, а коды более редких символов — более длинными двоичными последовательностями. Рассмотрим источник, выбирающий буквы из множества X = M {\displaystyle X=M} с вероятностями p M {\displaystyle p_{M}} . Считаем, что буквы упорядочены по убыванию вероятностей ( p 1 ⩾ p 2 ⩾ p M {\displaystyle {p_{1}}\geqslant {p_{2}}\geqslant {p_{M}}} ). Кодовым словом кода Шеннона для сообщения с номером M {\displaystyle M} является двоичная последовательность, представляющая собой первые l = − log ⁡ p m {\displaystyle l=-\log {p_{m}}} разрядов после запятой в двоичной записи числа q M {\displaystyle q_{M}} :

q M = ∑ i = 1 M − 1 p i {\displaystyle {q_{M}}=\sum _{i=1}^{M-1}p_{i}}

3. Кодирование данных для систем со многими пользователями описывает оптимальное взаимодействие абонентов, использующих общий ресурс, например, канал связи.

> См. также

• Теория кодирования
• Философия информации
• Информационная энтропия
• Сжатие данных
• Алгоритмическая теория информации