Скорость передачи сигнала несущего информацию

Единицы измерения

Бит в секунду

Основная статья: Бит в секунду

Бит в секунду (англ. bits per second, bps) — базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP.

На более высоких уровнях сетевых моделей, как правило, используется более крупная единица — байт в секунду (Б/c или Bps, от англ. bytes per second) равная 8 бит/c.

В отличие от бодов (baud; при двоичном кодировании боды также обозначают количество бит в секунду), битами в секунду измеряется эффективный объём информации, без учёта служебных битов (стартовые/стоповые/чётность) применяемых при асинхронной передаче. В некоторых случаях (при синхронной двоичной передаче) скорость в бодах может быть равной скорости в битах в секунду.

Бод

Основная статья: Бод

Бод (англ. baud) в связи и электронике — единица измерения символьной скорости, количество изменений информационного параметра несущего периодического сигнала в секунду. Названа по имени Эмиля Бодо, изобретателя кода Бодо — кодировки символов для телетайпов.

Зачастую, ошибочно, считают, что бод — это количество бит, переданное в секунду. В действительности же это верно лишь для двоичного кодирования, которое используется не всегда. Например, в современных модемах используется квадратурная амплитудная модуляция (QAM — КАМ), и одним изменением уровня сигнала может кодироваться несколько (до 16) бит информации. Например, при символьной скорости 2400 бод скорость передачи может составлять 9600 бит/c благодаря тому, что в каждом временном интервале передаётся 4 бита.

Кроме этого, бодами выражают полную ёмкость канала, включая служебные символы (биты), если они есть. Эффективная же скорость канала выражается другими единицами, например битами в секунду (бит/c, bps).

Этот раздел не завершён. Вы поможете проекту, исправив и дополнив его.

Литература

  • Скорость передачи информации//В кн. Зюко А. Г. Помехоустойчивость и эффективность систем связи. М.: «Связь», 1972, 360с., стр. 33-35
Для улучшения этой статьи желательно:

  • Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное.
  • Проставив сноски, внести более точные указания на источники.

  • Передача информации
  • Получение информации
  • Делаем выводы
  • Спросите себя
  • Все получится, если…
  • Передача и прием информации

    Общение – это активный процесс, который предполагает облечение мыслей в удобную для понимания форму и их прием и передачу в виде сообщений.

    Зародившаяся мысль может так и остаться в вашей голове навсегда. Прекрасно, если вас это устраивает. Но если мысль нужно высказать, она должна быть облечена в такую форму, которая позволит другому человеку однозначно ее понять. Никто не в состоянии залезть в ваш мозг и просмотреть его, как утреннюю газету, чтобы извлечь оттуда парочку идей.

    Поскольку общение – процесс двунаправленный, нужно помнить, что обмен информацией имеет две составляющие:

    • кодирование сообщения отправителем (говорящим) – облечение мысли, которую вы хотите высказать, в слова;

    • декодирование сообщения получателем (слушателем) – интерпретация слов и извлечение из них смысла.

    Общаясь, вы принимаете и передаете данные одновременно. Мозг способен обрабатывать информацию в четыре раза быстрее, чем требуется времени для восприятия ее на слух, поэтому остается достаточно много времени для подготовки соответствующего отклика. Передав информацию, вы можете сделать вывод о том, насколько правильно вас поняли, только после реакции получателя на ваше сообщение.

    Передача информации

    Независимо от того, какую информацию вы передаете, процесс должен быть управляемым и понятным. Общаясь, вы неизбежно сталкиваетесь с двумя вещами: во-первых, передаете информацию, а во-вторых, что гораздо важнее, устанавливаете контакт с теми, кому предназначено сообщение, создавая о себе хорошее впечатление.

    Поскольку уровень сложности сообщения может варьироваться от констатации незначительного факта до пояснения замысловатого понятия, от способа выражения мысли зависит, насколько правильно ее поймут. Это значит, что вам придется:

    • мысленно выстроить план изложения, то есть собрать воедино все факты и идеи и расположить главные из них в логической последовательности;

    • передать информацию, то есть подобрать для иллюстрации своей идеи нужные слова и образы, чтобы сообщение было понятным и соответствовало ситуации общения.

    Как добиться стройности изложения

    Этот процесс требует сосредоточенности. Надо спланировать высказывание и подобрать данные, которые помогут выразить мысль как можно точнее.

    Как точно и ясно выразить свою мысль

    Передавая информацию, мы не только подбираем данные для высказывания, но и кодируем их, чтобы высказывание было точным и понятным.

    Решая, что сказать, вы всегда принимаете во внимание, в каких вы отношениях с получателями сообщения или каких отношений с ними хотели бы добиться. Если вы понимаете, чем ваше сообщение может быть интересно слушателю, сформулировать мысль намного проще.

    Форма выражения мысли важна не менее ее содержания. Слова способны вызывать определенные образы, звуки и чувства. Они могут разозлить и обрадовать, огорчить и развеселить. Подбирать их следует так, чтобы они выражали именно то, что вы хотите, и были правильно поняты получателем. Информация, которая передается в процессе общения, может служить самым разным целям, поэтому, если вы хотите, чтобы ее правильно поняли, формулируйте мысль корректно. Приведем несколько примеров.

    • Констатация факта. Вам продают некий товар. «Он дешевый и к тому же синего цвета», – говорит продавец. Конечно, он имеет в виду, что это достаточно низкая цена для такой замечательной вещи, а синий действует успокаивающе. Но пока он этого не скажет, покупатель не задумается о том, что нужно пересмотреть свое негативное отношение к синему цвету.

    • Высказывание мнения. Заявление о том, что «Арсенал» выиграет кубок» может быть воспринято как констатация факта или заслуживающее доверия предсказание. На самом деле это всего лишь частное мнение, основанное на субъективной убежденности говорящего в том, что «Арсенал» – лучшая команда в мире. Такое высказывание может лишить слушателя возможности иметь собственную точку зрения.

    • Выражение чувств. Можно сказать человеку «Пойдет!» или «Хорошо», (подразумевая «Вы прекрасно справились с работой»), но такая форма одобрения не выразит в полной мере вашу благодарность и положительную оценку. У слушателя может возникнуть ощущение, что он недостаточно постарался.

    • Высказывание оценки. Фраза «Деньги не имеют для меня никакого значения» может, конечно, означать, что высокой зарплате вы предпочитаете работу в свое удовольствие. Однако слушатели могут воспринять это как сообщение о том, что вы очень богаты и совершенно не нуждаетесь в деньгах.

    Упование на то, что слушатели поймут вас с полуслова, приводит к непониманию. Нельзя ожидать от окружающих, что они обязательно догадаются, что вы хотите сказать. Читать мысли невозможно, и, если вы не выражаете их четко и ясно, вас не поймут.

    Иногда приходится повторять сообщение, прежде чем получатель правильно его расшифрует. Если вы видите, что выбранные слова не способны передать слушателю ваши мысли, подберите другие, и в случае необходимости, делайте это до тех пор, пока сообщение не будет понято адекватно.

    Слова и выражения воспринимаются разными людьми по-разному. Чтобы подобрать нужную именно в данный момент фразу, надо обязательно помнить об этом факте. К тому же это лучший способ создать у собеседника ощущение, что вы способны понять друг друга.

    Как правильно пользоваться словами

    Словарный состав языка – это фильтр, через который мы пропускаем свои знания и опыт. Многие слова могут иметь несколько значений в зависимости от контекста, в котором они употребляются. Возьмем для примера слово «форма». Оно может означать «внешнее очертание», «вид, тип», «установленный образец», «приспособление для придания чему-либо определенных очертаний», «форменная одежда», «документ стандартного образца».

    У каждого из нас имеется множество идей и мыслей, которые требуют выражения в речи – от элементарной констатации факта («Небо голубое») до сложных понятий («Я мыслю, значит, я существую»). Но даже люди, говорящие на одном языке, сталкиваются с тем, что использование слов далеко от единообразия. Значение, которое вкладывается в то или иное слово, не всегда совпадает с его словарным толкованием, а часто зависит от индивидуальной манеры употребления. Со словами люди могут поступать по-разному:

    • придумывать новые;

    • выносить за пределы семейного или дружеского круга принятые в нем слова и выражения;

    • заимствовать устойчивые сочетания или отдельные слова у окружающих;

    • использовать малоупотребительные слова или слова высокого стиля для создания определенного впечатления, например, говорить «вследствие этого» вместо «поэтому»;

    • пользоваться жаргоном.

    Независимо от уровня сложности мысли, вложенной в сообщение, вы обязательно получаете оценку слушателя. Использование общепринятой лексики в соответствии с нормами грамматики повышает вероятность того, что ваши слова правильно истолкуют.

    Как проиллюстрировать свое сообщение

    Некоторые сообщения достаточно сложны, и их трудно выразить с помощью одних только слов. Иногда передать мысль точнее помогает схема.

    Правду говорят, что лучше один раз увидеть, чем сто раз услышать. Истории известно немало случаев, когда важнейшие мысли записывались на салфетке, грифельной доске или на обратной стороне конверта. Если изображение или подробное описание могут помочь слушателю понять или запомнить ваше сообщение, обязательно используйте их.

    Всегда старайтесь несколько оживить сухие факты. Так, преподаватель архитектуры, написав на доске математическое уравнение, поворачивается к студентам и говорит: «Это академическая формула, а запомнить вам надо следующее: водосток на крыше должен быть достаточно широким, чтобы в него поместилась дохлая кошка».

    Общаясь с человеком, помните, что очень полезно дополнить слова наглядным примером: так слушатель всегда найдет, на что опереться при запоминании.

    Получение информации

    Результативность общения зависит от правильной расшифровки информации. Получатель сообщения почти всегда подходит к полученным сведениям избирательно. Тому есть несколько причин.

    • Люди воспринимают информацию сквозь фильтр собственных интересов и потребностей.

    • Люди уделяют внимание только отдельным аспектам интересующей их информации.

    • Особенности человеческого восприятия таковы, что информация интерпретируется скорее субъективно, нежели объективно.

    • Люди часто видят и слышат то, что ожидают увидеть или услышать, а не то, что есть на самом деле.

    Другими словами, воспринятое человеком сообщение не всегда отражает то, что в него вложил отправитель. Более того, если переданная информация не отличается полнотой, а получатель к тому же воспринимает ее частично, между людьми может возникнуть опасное непонимание.

    В процессе декодирования (то есть восприятия) сообщения вы подвергаетесь воздействию различных факторов, которые способны повлиять на адекватность понимания. Среди них можно назвать следующие.

    • Сложившееся мнение. Если вы полагаете, что человек не разбирается в том, о чем говорит, или что источник сведений нельзя назвать надежным, вы вряд ли поверите информации. Например, освещение события в официальном издании заслуживает большего доверия, чем сообщение о нем в желтой прессе.

    • Предубеждение. У каждого свой взгляд на вещи, поэтому человек склонен больше верить тому, с чем он согласен. Например, политик, выслушивающий обвинительную речь своего оппонента, услышит только то, что, на его взгляд, заслуживает критики, и отвергнет все остальное.

    • Настроение. Если у вас отвратительное настроение, порадовать вас сможет немногое. Хорошую новость вы с легкостью превратите в плохую, найдя в ней отрицательные стороны. А когда вы в прекрасном расположении духа, даже плохие известия кажутся не такими уж страшными.

    Все перечисленное может существенно повлиять на то, как человек воспринимает информацию, какие ее фрагменты усваивает, а какие упускает настолько, что даже не может о них вспомнить. Такое случается даже тогда, когда отправитель убежден в том, что сообщил обо всех деталях и правильно построил сообщение.

    Делаем выводы

    Коммуникативный процесс характеризуется двумя ключевыми составляющими. Сообщение должно быть точно передано и точно воспринято. Общение – это сочетание эффективной передачи и эффективного получения информации, своеобразный замкнутый круг.

    Исходя из этого, можно считать, что связь устанавливает получатель. Отправитель сообщения всего лишь говорит или пишет, создавая получателю возможность ответить.

    Зададимся вопросом: «Слышен ли в лесу звук падающего дерева, если рядом нет никого, кто мог бы это услышать?» Ответ будет таким: «Пока кто-нибудь не назовет это звуком падающего дерева, его нельзя считать таковым».

    Спросите себя

    Подумайте о том, как вы воспринимаете и передаете информацию, и дайте ответы на следующие вопросы.

    ^ Выстраиваете ли вы мысленно план своего высказывания, прежде чем произнести его вслух?

    ^ Уделяете ли вы в своей речи должное внимание как словам, так и образным средствам?

    ^ Удается ли вам формулировать свои высказывания таким образом, чтобы они точно соответствовали вашим мыслям?

    ^ Всегда ли вы подбираете такие слова, которые доступны пониманию слушателя?

    ^ Уверены ли вы в том, что пользуетесь общепринятой лексикой и грамматикой, чтобы вас лучше понимали?

    ^ Вы воспринимаете сообщения нейтрально и объективно?

    ^ Понимаете ли вы, что показателем эффективной коммуникации можно считать только ответную реакцию получателя сообщения?

    Все получится, если…

    • мысленно выстроить высказывание, прежде чем произнести его вслух;

    • тщательно взвешивать и подбирать слова, которые услышат от вас окружающие;

    • точно формулировать то, что вы имеете в виду, чтобы вас можно было понять;

    • умело пользоваться словарным запасом и грамматическим строем языка;

    • к месту использовать образные выражения, лирические отступления, иносказания, шутки – все, что помогает донести до слушателя вашу мысль;

    • понимать, что ваша личная заинтересованность может повлиять на то, как вы передаете информацию;

    • осознавать, что ваша необъективность или особенности настроения могут сказаться на точности восприятия сообщений;

    • помнить, что про общение можно говорить, только если есть ответная реакция слушателя.

    Цены как стимулирующий фактор

    Эффективная передача точной информации будет осуществляться впустую, если у тех, кому она адресована, нет стимула действовать (и действовать правильным образом) исходя из этой информации. Если производитель древесины не будет заинтересован в том, чтобы в ответ на повышение цен на древесину выпускать больше продукции, то информация о повышении цен окажется для него просто бесполезной. Одним из замечательных свойств системы свободно складывающихся на рынке цен является тот факт, что цены, передающие информацию о состоянии рынка, одновременно обеспечивают и стимул, и возможности реагировать на эту информацию.

    Эта функция цен тесно связана с третьей из перечисленных выше функций (а именно — с функцией распределения дохода), и не может быть объяснена без учета последней. Доход производителя, то есть то, что он получает за свою деятельность, определяется разностью между доходом от продажи его продукции и затратами на ее производство. Производитель составляет баланс доходов и затрат и выпускает такое предельно возможное количество продукции, когда ее небольшой прирост уже дальше повлек бы за собой такие издержки, что они сравнялись бы с извлекаемым из дополнительной продукции доходом. Повышение цены на товар позволяет сдвинуть эту границу в сторону увеличения производства.

    Как правило, чем больше производитель выпускает продукции, тем быстрее растут производственные издержки. Чтобы увеличить производство древесины, ему придется рубить лес на более отдаленных или менее выгодных в других отношениях участках. Он будет вынужден нанять неквалифицированных рабочих или платить более высокую зарплату квалифицированным рабочим, чтобы переманить их от других работодателей. Однако возросшая цена на его товар позволяет ему нести возросшие издержки и таким образом обеспечивает как стимул к расширению производства, так и средства для этого».

    Цены играют роль стимула, заставляющего производителя реагировать на информацию не только в том, что касается повышения спроса на продукцию, но также и в отношении поиска наиболее экономичной производственной технологии. Предположим, что какая-то порода дерева становится все более редкой и, следовательно, более дорогостоящей по сравнению с остальными. Изготовитель карандашей получает эту информацию в результате возрастания цен на данный вид древесины. Ввиду того, что его доход, как и доход любого другого производителя, определяется разницей между выручкой и издержками, то у производителя карандашей появляется стимул экономить именно эту, более ценную породу.

    Рассмотрим другой пример. Какую пилу, ручную или механическую, выгоднее применять на лесопильных работах? Ответ на этот вопрос определяется стоимостью обеих пил, числом рабочих, занятых на операциях с применением тех или других пил, и соответствующей этим операциям зарплатой. Промышленники-лесозаготовители заинтересованы в том, чтобы приобрести соответствующие технические знания, которые в совокупности с информацией, полученной посредством цен, помогут им свести к минимуму издержки.

    Приведем еще один пример, требующий некоторого воображения, который показывает всю тонкость и сложность ценовой системы. Тот факт, что в 1973 году страны ОПЕК повысили цены на нефть, слегка изменил баланс между использованием ручных и механических пил в пользу ручных пил: дело в том, что стоимость эксплуатации механических пил возросла. Если этот пример покажется несколько натянутым, то можно рассмотреть влияние подорожания сырой нефти на сравнительную стоимость транспортировки бревен с лесных участков на лесопилки при использовании тягачей, работающих соответственно на обычном бензине и на дизельном топливе.

    Продолжим этот пример. Повышение цен на нефть (в той мере, в которой оно допускалось в каждой стране) повлекло за собой возрастание стоимости эксплуатации тех машин и устройств, которые расходуют больше нефтепродуктов, по сравнению с аналогичными, но расходующими меньше нефти — и у потребителей появился стимул перейти на пользование последними. Наиболее очевидными примерами являются возросшая популярность малолитражных автомобилей и переход с нефтяного топлива на уголь или дрова в домашнем отоплении. Если продолжать рассматривать все более отдаленные эффекты, то станет ясно, что по мере того, как относительная цена на древесину повышалась (то ли вследствие удорожания ее производства, то ли вследствие возрастающего спроса на древесное топливо как на заменяющий нефть источник энергии), то в результате возрастания цен на карандаши у потребителей появлялся стимул их экономить! И таких примеров можно было бы привести бесконечное множество.

    До сих пор мы говорили о ценах как о стимулирующем факторе в рамках понятий «производители» и «потребители». Но цены точно так же являются стимулирующим фактором для наемных рабочих и владельцев других производственных ресурсов. Повышенный спрос на древесину приведет к более высокой оплате труда лесорубов. Это послужит сигналом того, что спрос на рабочих этой профессии повысился. Более высокая оплата труда дает рабочим стимул действовать в соответствии с этой информацией. Те из них, кому было все равно, стать ли лесорубами или кем-либо еще, теперь могут предпочесть это занятие. Профессия лесоруба может привлечь более значительный процент молодежи, впервые появившейся на рынке труда. Но и здесь вмешательство со стороны правительства (например, путем введения минимальной ставки заработной платы) или профсоюзов (путем ограничений на прием в члены этого профсоюза) может или исказить информацию, переданную посредством цен, или же не дать частным лицам возможности свободно действовать в соответствии с этой информацией.

    Информация о ценах — будь то зарплата рабочих и служащих в различных отраслях, земельная рента или доход от вложенного капитала — является не единственной информацией, которая может служить основой для решения о том, каким образом использовать имеющиеся у нас в распоряжении конкретные ресурсы. Она может не быть даже и самой важной информацией, в особенности при решении, как лучше использовать собственную рабочую силу. Это решение зависит еще и от интересов и возможностей человека — то есть от всей совокупности факторов, которую замечательный экономист Альфред Маршалл назвал совокупностью денежных и неденежных преимуществ и недостатков данной профессии. С одной стороны, моральная удовлетворенность работой может служить компенсацией за низкую зарплату, а с другой стороны — высокая зарплата может возмещать недостатки неприятной работы.

    Поделитесь на страничке

    Следующая глава >

    Теорема Шеннона — Хартли

    Формула Хартли. Формула Шеннона. Теорема Шеннона-Хартли. Теорема Котельникова. ИКМ. Основной цифровой поток DS0

    Формула Хартли

    Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

    Имеется алфавит А, из букв которого составляется сообщение:

    Количество возможных вариантов разных сообщений:

    где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт.

    Пример: Алфавит состоит из двух букв «B» и «X», длина сообщения 3 буквы — таким образом, m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить разных сообщений «BBB», «BBX», «BXB», «BXX», «XBB», «XBX», «XXB», «XXX» — других вариантов нет.

    Формула Хартли определяется:

    где I — количество информации, бит.

    При равновероятности символов формула Хартли переходит в собственную информацию.

    Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

    Иллюстрация

    Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.

    Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим загаданное число 27. Вариант диалога:

    Больше 50? Нет.

    Больше 25? Да.

    Больше 38? Нет.

    Меньше 32? Да.

    Меньше 29? Да.

    Больше 27? Нет.

    Это число 26? Нет.

    Если число не 26 и не больше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.

    Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — самый оптимальный способ нахождения числа. Объём информации, заложенный в ответ «да»/»нет», равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да»/»нет»).

    Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а k — количество бит. Например, в нашем примере 100 меньше, чем 27, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.

    Формула Хартли:.

    Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

    Формула Шеннона

    Когда события не равновероятны, может использоваться формула Шеннона., где

    Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

    Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии -го порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.

    Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

    Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

    Формальные определения

    Информационная двоичная энтропия для независимых случайных событий с возможными состояниями (от до , — функция вероятности) рассчитывается по формуле

    Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только -e состояние.

    Таким образом, энтропия события является суммой с противоположным знаком всех относительных частот появления события , умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

    Определение по Шеннону

    Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

    1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

    2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

    3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

    Поэтому функция энтропии должна удовлетворять условиям

    1. определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)

    2. Для целых положительных , должно выполняться следующее неравенство:

    3. Для целых положительных , где , должно выполняться равенство

    Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид

    где — константа (и в действительности нужна только для выбора единиц измерения).

    Шеннон определил, что измерение энтропии (), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. цепи Маркова).

    Теорема Шеннона — Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или мощностью спектральной плотности. Закон назван в честь Клода Шеннона и Ральфа Хартли.

    Рассматривая все возможные многоуровневые и многофазные методы шифрования, теорема Шеннона — Хартли утверждает, что пропускная способность канала , означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности равна:

    где — пропускная способность канала, бит/с; — полоса пропускания канала, Гц; — полная мощность сигнала над полосой пропускания, Вт или В²; — полная шумовая мощность над полосой пропускания, Вт или В²; — частное от деления отношения сигнала к его шуму (SNR) на гауссовский шум, выраженное как отношение мощностей.

    В данной теореме определено, что достичь максимальной скорости (бит/с) можно путем увеличения полосы пропускания и мощности сигнала и, в то же время, уменьшения шума.

    Теорема Шеннона — Хартли ограничивает информационную скорость (бит/с) для заданной полосы пропускания и отношения «сигнал/шум». Для увеличения скорости необходимо увеличить уровень полезного сигнала, по отношению к уровню шума.

    Если бы существовала бесконечная полоса пропускания, бесшумовой аналоговый канал, то можно было бы передать неограниченное количество безошибочных данных по ней за единицу времени. Реальные каналы имеют ограниченные размеры и в них всегда присутствует шум.

    Удивительно, но не только ограничения полосы пропускания влияют на количество передаваемой информации. Если мы комбинируем шум и ограничения полосы пропускания, мы действительно видим, что есть предел количества информации, которую можно было передать, даже используя многоуровневые методы кодирования. В канале, который рассматривает теорема Шеннона — Хартли, шум и сигнал дополняют друг друга. Таким образом, приёмник воспринимает сигнал, который равен сумме сигналов, кодирующего нужную информацию и непрерывную случайную, которая представляет шум.

    Это дополнение создает неуверенность относительно ценности оригинального сигнала. Если приёмник обладает информацией о вероятности ненужного сигнала, который создает шум, то можно восстановить информацию в оригинальном виде, рассматривая все возможные влияния шумового процесса. В случае теоремы Шеннона — Хартли шум, как таковой, произведен гауссовским процессом с некоторыми отклонениями в канале передачи. Такой канал называют совокупным белым гауссовским шумовым каналом, так как гауссовский шум является частью полезного сигнала. «Белый» подразумевает равное количество шума во всех частотах в пределах полосы пропускания канала. Такой шум может возникнуть при воздействии случайных источников энергии, а также быть связан с ошибками, возникшими при кодировании. Зная о вероятности возникновения гауссовского шума, значительно упрощается определение полезного сигнала.

    Сравнивая пропускную способность канала и формулу Хартли, мы можем найти эффективное число различимых уровней:

    Взятие квадратного корня по сути возвращает отношение мощностей к отношению напряжений, таким образом число уровней приблизительно равно отношению среднеквадратичной амплитуды сигнала к шумовому стандартному отклонению. Это подобие в форме между пропускной способностью по Шеннону и формулой Хартли не стоит понимать буквально, что для безошибочной передачи достаточно уровней сигнала. Избыточное кодирование для устранения ошибок потребует большего числа уровней, но предельная скорость передачи данных, к которой можно приблизиться с кодированием, эквивалентна использованию того самого из формулы Хартли.

    ИКМ

    Передача квантованных значений сигнала с помощью коротких импульсов различной высоты называется амплитудно-импульсной модуляцией (АИМ). Под импульсно-кодовой модуляцией (ИКМ) понимается передача непрерывных функций при помощи двоичного кода.

    При кодовой модуляции необходимо передать числа, выражающие величину квантованных отсчетов. Для этого можно воспользоваться двоичным кодом. Числа, подлежащие передаче, надо записать в двоичной системе счисления – это и даст необходимые кодовые комбинации. При помощи n — значных двоичных чисел можно представить чисел. Благодаря квантованию количество чисел, подлежащих передаче, сводится до конечной величины . Если принять шаг квантования за единицу, то будет означать наибольшее квантованное значение. Количество знаков в двоичной кодовой комбинации равно . Если n – не целое, то оно округляется до ближайшего целого числа. На рис. 3 показаны преобразования аналогового сигнала (а) в АИМ (б) и ИКМ (в) для n = 4.

    Рис. 3

    При выборе шага квантования (или числа) следует учитывать два фактора. С одной стороны, увеличение числа ступеней квантования увеличивает точность передачи сигнала, с другой – требует удлинения кодовой комбинации (n). Так для телефонной передачи установлено, что удовлетворительное качество передачи достигается при , т.е. при семизначном коде.

    При анализе приема сигналов с импульсно-кодовой модуляцией обычно рассматривают не отношение средних мощностей сигнала и помехи, а отношение половины шага квантования (цена округления) к среднеквадратичному значению помехи . Квадрат отношения

    заменяет отношение сигнал – шум.

    Пусть число уровней квантования равно . Будем передавать каждое из значенийn-значным кодовым числом, составленным из импульсов, квантованных на m уровней (АИМ). Общее число возможных комбинаций равно . Очевидно, что . Пусть шкала уровней симметрична относительно нуля , т. е. разрешенными являются уровни :

    Если все уровни равновероятны, средняя мощность сигнала равна

    Отсюда шаг квантования равен

    откуда

    Таким образом, при неизменных мощностях сигнала и помехи выгодно уменьшать основание кода. Наименьшее значение m равно 2 (двоичный код), что соответствует ИКМ. В этом случае т.е. введенная величина совпадает с обычным определением отношения сигнал – помеха.

    В обычной АИМ >>1, и в этом случае

    Следовательно, ИКМ дает выигрыш в отношении сигнал – помеха в раз.

    Какой же ценой достигается этот выигрыш? Если при АИМ за каждый тактовый интервал (отсчет) передается один импульс, то при ИКМ за тот же интервал должны быть переданы n импульсов. При неизменной скважности каждый из этих n импульсов в n раз короче (см. рис. 3), а, следовательно, ширина спектра сигнала в n раз больше, чем ширина спектра сигнала АИМ. Таким образом, за увеличение отношения сигнал – помеха мы расплачиваемся расширением полосы.

    Основной цифровой поток DS0

    Digital Signal 0 (DS0 или DS-0) — основной североамериканский цифровой сигнальный стандарт (64 Кбит/сек), соответствующий ёмкости одного канала с частотой, достаточной для передачи человеческого голоса (см. VF). Частота DS0 и её эквиваленты E0, J0 — основные для цифровой мультиплексной иерархии передачи в телекоммуникационных системах, использующихся в Европе, Северной Америке и Японии, а также во всем мире в плезиохронных системах, таких как более ранняя T1 и современных синхронныхSDH/SONET.

    Стандарт DS0 был введен для передачи одного оцифрованного телефонного звонка. Для одного типичного телефонного звонка звук оцифровывается с частотой дискретизации 8кГц и использованием 8 бит импульсно-кодовой модуляции, в результате поток данных составляет 64 кбит/сек. Из-за фундаментальной роли для передачи одного телефонного звонка стандарт DS0 используется как основной в иерархии цифровой мультиплексной передачи в телекоммуникационных системах, используемых в Северной Америке.

    С целью уменьшения количества проводов между двумя связанными друг с другом узлами используется мультиплексирование нескольких DS0 в линии с большей пропускной способностью. Линии, в которых мультиплексированы 24 сигнала DS0, получили название DS1, линии с 28 сигналами DS1 — DS3. Переданные по медным проводам DS1 и DS3 соответствуют стандартам T1 и T3 соответственно.

    Помимо использования DS0 для голосовой связи, стандарт может поддерживать 20 каналов на 2.4 кбит/сек, 10 каналов на 4.8 кбит/сек, 5 каналов на 9.67 кбит/сек, один канал на 56 кбит/сек, или один канал для передачи данных на 64 кбит/сек.

    E0, стандартизированный как ITU G.703 это европейский эквивалент североамериканского DS0 для передачи одного телефонного звонка.