Поперечные профили набережных и береговой полосы: На городских территориях берегоукрепление проектируют с учетом технических и экономических требований, но особое значение придают эстетическим...
Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰)...
Топ:
Когда производится ограждение поезда, остановившегося на перегоне: Во всех случаях немедленно должно быть ограждено место препятствия для движения поездов на смежном пути двухпутного...
Техника безопасности при работе на пароконвектомате: К обслуживанию пароконвектомата допускаются лица, прошедшие технический минимум по эксплуатации оборудования...
Интересное:
Наиболее распространенные виды рака: Раковая опухоль — это самостоятельное новообразование, которое может возникнуть и от повышенного давления...
Принципы управления денежными потоками: одним из методов контроля за состоянием денежной наличности является...
Финансовый рынок и его значение в управлении денежными потоками на современном этапе: любому предприятию для расширения производства и увеличения прибыли нужны...
Дисциплины:
2024-02-15 | 22 |
5.00
из
|
Заказать работу |
|
|
Центральная проблема теории информации - это выбор меры информации. Будем рассматривать дискретный источник с четным множеством своих сочетаний.
Такой источник считается заданным, если задан ансамбль состоянии:
и обязательно должны быть заданы априорные вероятности этих состояний, каким способом мы их задаем не имеет значения ):
, где - число возможных состоянии, - длина).
При - никакого выбора нет, источник находится в состоянии 1 (ничего нового не несет).
- предложенная мера не обладает свойством аддитивности, т.е. не обладает свойствами линейно возрастать. Было замечено, что количество информации в сообщении вырабатывающего источника зависит от вероятности этого сообщения. Из соображения здравого смысла, менее вероятное событие несет больше количества информации.
события.
- заданные вероятности.
Клод Шеннон вывел эту зависимость.
Если задан источник , то - Хартли. Основание логарифма принципиальной меры не имеет:
, десятичная единица, (дит);
, натуральная единица, (нат);
, двоичная единица, (бит) - количество информации которое вырабатывает источник с двумя возможными состояниями.
К. Шеннон предложил оценивать количество информации содержащееся в сведении о состоянии двоичного источника с равновероятными состояниями:
Было замечено, что количество информации в сообщении, вырабатываемом источником, зависит от вероятности этого сообщения. Менее вероятное событие несет большее количество информации. Если имеется тогда
- эту зависимость вывел Клод Шеннон.
Условная энтропия
Энтропия, учитывающая статистическую зависимость между символами, называется условной и находится по формуле
|
[бит/сообщ]
где
- условная частная энтропия, вычисляемая для каждого символа . Для расчета условной энтропии по формулам необходимо использовать переходные вероятности . Как следует из вышесказанного, между условной энтропией и безусловной энтропией должно соблюдаться неравенство
).
По сравнению с безусловной энтропией, условная энтропия учитывает более тонкую структуру вероятностных свойств источника, поэтому, является более точной характеристикой источника.
Скорость передачи
– среднее количество информации передаваемое в единицу времени.
где - энтропия – среднее количество информации, вырабатываемое источником (т.к. источник передает информацию не с постоянной скоростью).
где - длительность сообщения,
- вероятность сообщения.
Скорость передачи измеряется в Бодах: 1 Бод = 1/1сек
Для обеспечения заданной скорости передачи необходимо соблюсти условие:
,
где – пропускная способность канала – максимальное среднее количество информации, предаваемое в единицу времени.
|
|
Папиллярные узоры пальцев рук - маркер спортивных способностей: дерматоглифические признаки формируются на 3-5 месяце беременности, не изменяются в течение жизни...
Археология об основании Рима: Новые раскопки проясняют и такой острый дискуссионный вопрос, как дата самого возникновения Рима...
История развития пистолетов-пулеметов: Предпосылкой для возникновения пистолетов-пулеметов послужила давняя тенденция тяготения винтовок...
История создания датчика движения: Первый прибор для обнаружения движения был изобретен немецким физиком Генрихом Герцем...
© cyberpedia.su 2017-2024 - Не является автором материалов. Исключительное право сохранено за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав. Мы поможем в написании вашей работы!