16:11 Формула Хартли | |
| [править | править вики-текст] Материал из Википедии — свободной энциклопедии Перейти к: навигация, поиск Для улучшения этой статьи желательно: Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное. Исправить статью согласно стилистическим правилам Википедии. Формула Хартли определяет количество информации, содержащееся в сообщении длины n. Имеется алфавит А, из букв которого составляется сообщение: | A | = m {\displaystyle |A|=m} Количество возможных вариантов разных сообщений: N = m n {\displaystyle N=m^{n}} где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт. Пример: Алфавит состоит из двух букв «B» и «X», длина сообщения 3 буквы — таким образом, m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить N = m n = 2 3 = 8 {\displaystyle N=m^{n}=2^{3}=8} разных сообщений «BBB», «BBX», «BXB», «BXX», «XBB», «XBX», «XXB», «XXX» — других вариантов нет. Формула Хартли определяется: I = log 2 N = n log 2 m , {\displaystyle I=\log _{2}N=n\log _{2}m,} где I — количество информации, бит. При равновероятности символов p = 1 m , m = 1 p {\displaystyle p={\frac {1}{m}},m={\frac {1}{p}}} формула Хартли переходит в собственную информацию. Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений. Иллюстрация[править | править вики-текст] Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено. Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим загаданное число 27. Вариант диалога: Больше 50? Нет. Больше 25? Да. Больше 38? Нет. Меньше 32? Да. Меньше 29? Да. Меньше 27? Нет. Это число 28? Нет. Если число не 28 и не меньше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов. Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — самый оптимальный способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да»/«нет»). N = 2 k {\displaystyle N=2^{k}} Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а k — количество бит. Например, в нашем примере 27 меньше, чем 28, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28. Формула Хартли: k = l o g 2 N {\displaystyle k=log_{2}N} . Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N). Формула Шеннона[править | править вики-текст] Когда события не равновероятны, может использоваться формула Шеннона. I = − ∑ i p i l o g 2 p i {\displaystyle I=-\sum _{i}p_{i}log_{2}p_{i}} , где pi вероятность i-го события. См. также[править | править вики-текст] Собственная информация [скрыть] Методы сжатия Теория Информация Собственная Взаимная Энтропия Условная энтропия Сложность Избыточность Единицы измерения Бит Нат Ниббл Хартли Формула Хартли Без потерь Энтропийное сжатие Алгоритм Хаффмана Адаптивный алгоритм Хаффмана Алгоритм Шеннона — Фано Алгоритм Шеннона Арифметическое кодирование (Интервальное) Коды Голомба Дельта Универсальный код Элиаса Фибоначчи Словарные методы RLE Deflate LZ (LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT) Прочее RLE CTW BWT MTF PPM DMC Аудио Теория Свёртка PCM Алиасинг Дискретизация Теорема Котельникова Методы LPC LAR LSP WLPC CELP ACELP A-закон μ-закон МДКП Преобразование Фурье Психоакустическая модель ADPCM Прочее Компрессор аудиосигнала Сжатие речи Полосное кодирование Изображения Термины Цветовое пространство Пиксель Субдискретизация насыщенности Артефакты сжатия Методы RLE DPCM Фрактальный Вейвлетный EZW SPIHT LP ДКП ПКЛ Прочее Битрейт Стандартное тестовое изображение PSNR Квантование Видео Термины Характеристики видео Кадр Типы кадров Качество видео Методы Компенсация движения ДКП Квантование Вейвлетный Прочее Видеокодек Rate distortion theory CBR ABR VBR Источник — «https://ru.wikipedia.org/w/index.php?title=Формула_Хартли&oldid=83461730» Категория: Теория информацииСкрытые категории: Википедия:Статьи без ссылок на источникиВикипедия:Статьи без источников (тип: не указан)Википедия:Стилистически некорректные статьи | |
|
| |
| Всего комментариев: 0 | |