Расчет информационных характеристик источников сообщений, сигналов и кодов

25

Министерство образования и науки РФ

Пензенский государственный университет

Кафедра «Информационной безопасности систем и технологий»

Пояснительная записка к курсовой работе

по теме:

«Расчет информационных характеристик источников сообщений, сигналов и кодов»

ПГУ 2.010905.001 ПЗ

Дисциплина: Теория информации

Пенза, 2008г.

Реферат

АНСАМБЛЬ СООБЩЕНИЯ, ДИСКРЕТНОЕ СООБЩЕНИЕ, ИСТОЧНИК СООБЩЕНИЙ, КАНАЛ БЕЗ ШУМА, КАНАЛ С ШУМОМ, ЭФФЕТИВНОЕ КОДИРОВАНИЕ, ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ, ЭНТРОПИЯ.

Объектом исследования являются источники сообщений, сигналы и кодов.

Целью работы является расчет информационных характеристик источника сообщений, сигналов и кодов.

В процессе работы был произведен расчет различных информационных характеристик источников сообщений, сигналов и кодов.

В результате работы все задачи были решены и все требования задания были выполнены.

Содержание

Реферат

Введение

1. Расчет информационных характеристик источников дискретных сообщений

1.1 Задача № 1.30

1.2 Задача № 1.48

1.3 Задача № 1.67

2. Расчет информационных характеристик дискретного канала

2.1 Задача № 2.24

2.2 Задача № 2.58

3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование

3.1 Задача № 3.24

3.2 Задача № 3.54

3.3 Задача № 3.84

3.4 Задача № 3.114

4. Согласование дискретного источника с дискретным каналом с шумом. Помехоустойчивое кодирование

4.1 Задача № 4.24

4.2 Задача № 4.54

Заключение

Список используемых источников

Введение

Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития промышленного потенциала. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Поэтому науки, изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и теория информации (ТИ), в такой ситуации становятся исключительно актуальными.

Дисциплина связана с предшествующими ей дисциплинами "Высшая математика", "Теория вероятности и матстатистика", "Дискретная математика" и последующими дисциплинами "Компьютерная электроника", "Вычислительные системы", "Сети ЭВМ", "Надежность, контроль, диагностика и эксплуатация ЭВМ", "Основы защиты информации" и др.

Основной задачей теории информации как самостоятельной дисциплины является оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью передачи сообщений. Частными задачами при этом являются: проблемы измерения количества информации, изучение свойств информации, изучение методов помехоустойчивого кодирования, исследование взаимодействия систем и элементов систем методами теории информации, решение задач прикладного характера.

В данной курсовой работе проводится расчет основных информационных характеристик источника сообщений, сигналов и каналов. Теория информации представляет собой ветвь статистической теории связи. Информация передается, и хранится в виде сообщений. Сообщение - это информация представленная в какой-либо форме. Первый раздел курсовой работы носит название: «Расчёт информационных характеристик источника дискретного сообщения». Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. Сигнал передаётся по каналу связи. Второй раздел работы называется: «Расчёт информационных характеристик дискретного канала». В оставшихся двух разделах решаются задачи по темам: согласование дискретного источника с дискретным каналом с шумом и без шума, эффективное и помехоустойчивое кодирование. Их решение основываются на постулатах таких ученых как Шеннон, Хаффман, Фано.

1. Расчет информационных характеристик источников дискретных сообщений

1.1 Задача № 1.30

Распределение вероятностей дискретной случайной величины имеет вид:

Определить число n значений случайной величины, при которых энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения.

Решение:

Определим энтропию заданного распределения. Для нахождении энтропии данного дискретного ансамбля воспользуемся формулой (1.4), соответствующей определению энтропии (Энтропия - это среднее количество информации, содержащееся в одном сообщение источника). Вычислим энтропию распределения:

.

Равномерное распределение предполагает равные вероятности всех возможных исходов, при этом энтропия

.

Из условия, что

находим:

Ответ: при объеме алфавита n = 7, энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения.

1.2 Задача № 1.48

Найти энтропию шума H(U/Z) в двоичном симметричном канале без памяти, если энтропия источника на входе канала H(U) = 3400(бит), энтропия ансамбля на выходе канала H(Z) = 6800(бит), ненадежность канала H(U/Z) = 700(бит).

Решение:

Энтропия шума в двоичном симметричном канале без памяти будем искать по формуле

.

Выразим, неизвестное нам, количество информации

.

Подставляя эту формулу в исходную, получим выражение для нахождения энтропии шума в двоичном симметричном канале

.

Ответ: энтропия шума в двоичном симметричном канале H(U/Z) = 4100(бит).

1.3 Задача № 1.67

Принимаемый сигнал может иметь амплитуду А1(событие Х1) или А2 (событие Х2), а также сдвиг фаз (событие Y1) или (событие Y2) режимах. Вероятности совместных событий имеют следующие значения: P(X1,Y1) = 0,73; P(X1,Y2) = 0,21; P(X2,Y1) = 0,02; P(X2,Y2) = 0,04.

Вычислить количество информации, получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.

Решение:

Количество информации о фазовом сдвиге при известной амплитуде будем искать по формуле (1.13) лекции

.

Найдем энтропию Y:

.

Что бы найти энтропию, найдем вероятности появления событий Y1 и Y2:

Найдем вероятности появления событий Х1 и Х2:

Подставляя значения в вышестоящую формулу, найдем значение энтропии:

.

По формуле (1.9) лекции найдем

Подставляя полученные значения в формулу, получим, что

Тогда, количество информации о фазовом сдвиге при известной амплитуде будет равно

.

Ответ: количество информации о фазовом сдвиге при известной амплитуде .

2. Расчет информационных характеристик дискретного канала

2.1 Задача № 2.24

На вход дискретного симметричного канала без памяти поступают двоичные символы U1 =0 и U2 = 1 с априорными вероятностями P(U1) = 0,85 и P(U2) = 0,15. Переходные вероятности P(Zj / Ui) в таком канале задаются соотношением

,

где р - вероятность ошибки, р = 0,05. определить все апостериорные вероятности.

Решение:

Ситуация в канале характеризуется схемой, изображенной на рисунке:

25

Рис. 2.1

Так как р - вероятность ошибки, следовательно вероятность правильного приема - q, причем

.

Найдем переходные вероятности:

В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью:

.

Но не все информация, переедающаяся по каналу, может быть ошибочной. Таким образом, правильно переданная информация описывается следующим распределением вероятностей:

.

По формуле Байеса определим апостериорные вероятности:

;

Ответ: априорные вероятности в данном канале равны: P(U1/Z1) = 0,96; P(U1/Z2) = 0,23; P(U2/Z1) = 0,04; P(U2/Z2) = 0,77.

2.2 Задача № 2.58

По каналу связи передаётся сообщение из ансамбля

.

Средняя длительность передачи одного элемента сообщения в канале ф = 0,44 мс. Шум в канале отсутствует. Определить пропускную способность канала и скорость передачи информации.

Решение:

В соответствии с (1.25.а) лекции, в случае, когда шум в канале отсутствует

Скорость рассчитаем по формуле

.

Объем алфавита данного сообщения равно восьми, т.е. М = 8. найдем пропускную способность

.

Скорость передачи информации по каналу есть произведения количества информации, передаваемого по каналу на скорость:

.

Количество информации будем искать по формуле (1.13) лекции

.

Так как шум в канале отсутствует, то

.

Тогда, количество информации

.

Определим энтропию заданного распределения. Для нахождении энтропии данного ансамбля воспользуемся формулой (1.4):

.

Подставляя в полученную ранее формулу, получим

.

Ответ: пропускная способность канала С = 18184(бит/с); скорость передачи информации V, = 5546,12.

3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование

3.1 Задача № 3.24

Закодировать двоичным кодом Фано ансамбль сообщений

Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.

Решение:

Для удобства расположим вероятности появления сообщений в порядке убывания:

Страницы: 1, 2, 3