exam/Билеты/02 - Алгоритмы сжатия. Без потерь, JPEG, MPEG.md

tags, pun

tags	pun
служебное/устарело	Дай человеку рыбу и он будет сыт один день. Назови человека Сыт и он будет Сыт всегда

Подробно про все алгоритмы сжатия написано у меня в Глава 2. Виды данных, их кодирование, команды#Всякие там алгоритмы сжатия, здесь же я просто пробегусь по методичке

Сжатие без потерь

Типы алгоритмов сжатия без потерь:

1. Поточные и словарные алгоритмы - сжатие на основе ранее встречавшихся последовательностей
2. Алгоритмы статистического (энтропийного сжатия) - используется информация о "частоте встречания" каких-то символов и использование наиболее коротких кодов для символов, которые встречаются чаще всего

RLE

Групповое кодированиеRLE - (run-length encoding) - Серия повторяющихся величин заменяется двумя: значением и количеством. Цепочка из n одинаковых байтов (при байт/пиксел) будет заменена двумя байтами

Кодирование по Хаффману

Все прям по задачке из ЕГЭ - вот последовательность символов - закодируйте ее неравномерным кодом так, чтобы длина была минимальной и все можно было однозначно раскодировать

Препод пишет следующее

Используются коды переменной длины, причем более короткие комбинации для более часто встречающихся величин. Для эффективного кодирования надо иметь статистику: как часто встречаются разные значения - поэтому кодирование "в два прохода". Степень сжатия также зависит от типа изображения - плохо работает для файлов, содержащих длинные последовательности одинаковых пикселов. Процессы кодирования и декодирования - сравнительно медленные процессы. Алгоритм очень чувствителен к "потере" битов в закодированных данных.

LZW (Lempel-Ziv-Welch)

Это целое семейство алгоритмов, основой которых является идея о том, кодировать данные частями этих самых данных.

В процессе сжатия данных мы читаем файл и попутно собираем словарь, к которому обращаемся, когда находим совпадения

Препод пишет:

Используется в архиваторах. Подобно алгоритму Хаффмана заменяет длинные последовательности более короткими, но не требует предварительно собирать статистику, он формирует все более эффективную 80 таблицу кодирования по мере продвижения по шифруемому массиву. Более "шумные" изображения кодируются хуже. Поэтому иногда рекомендуется подавить низкочастотной фильтрацией высокие пространственные частоты на изображении Типичные коэффициенты сжатия между 1:1 и 1:3, хотя иногда м.б. и 1:10. Этот алгоритм используется в графических форматах GIF и TIFF

Сжатие с потерями

JPEG

Те еще танцы с бубном и самое длинное описание алгоритма в конспекте. Здесь я подробно приводить не буду и ограничусь методичкой

Идейно базируется на биологии человеческого глаза - в нашем глазу в десятки раз больше рецепторов, отвечающих за восприятие яркости и зрение в темноте, чем рецепторов отвечающих за зветное зрение. Поэтому логично как будто бы кодировать в основном информацию о яркости, а информацию о цвете частично выкидывать и при этом наш глаз не заметит большой разницы

Вторая идея - на художественном изображении или фотографии 2 рядом стоящих пикселя как правило близки по цвету

Этапы следующие:

• Конвертнуть изображение из RGB в YCbCr, для того, чтобы компонента яркости Y стала явной
• Сразу же избавиться от части информации о цвете (глаз все равно не заметит. а уже на этом этапе изображение уменьшается в 2 раза)
• Разбить изображение на блоки 8х8. Для каждого канала (Y, Cb, Cr) это делается отдельно. Для я яркости используется разбиение по 16x16 дискретные косинусные преобразования¹
• Значения, получившиеся после преобразования делят на опытным путем найденные числа² . и округляют результат деления до целого. В матрице при этом возникает много нулей - что нам и нужно
• Получившиеся блоки с кучей нулей сжимают алгоритмом сжатия без потерь (отлично подходит RLE). При этом коэффициенты для деления в предыдущем шаге специально подобраны так, чтобы чем ближе к нижнему правому концу матрицы, тем больше нулей, поэтому кодируем под RLE мы не при помощи записи матрицы по строкам, а как бы зигзагом. В конце ставится специальный байт, означающий конец этого блока
• Чтобы еще сильнее сжать информацию, ее переводят в битное представление, после чего применяют алгоритм Хаффмана, чтобы оно занимало как можно меньше места в битах. При этом все таблицы для алгоритма Хаффмана составлены заранее, чтобы не тратить на них место
• Итоговый результат записывается в файл в виде блока. Потом процесс повторяется отдельно для каждого канала (Y, Cb, Cr) отдельно и выходные данные пишутся в файл вместе с другой служебной информацией, которая нужна будет для расшифровки данных

Это тут я еще упростил, но Препод написал и то меньше, так что этого должно хватить на приличный ответ.

MPEG

Фактически базируется на JPEG и разделяет с ним идеи. Помимо них добавляется еще одна:

• Между двумя отдельными кадрами видео изменения как правило малы

Краеугольным камнем всего формата являются кадры двух типов: I - кадры, сжатые полноценно и независимо, и P - кадры, которые построены с ссылкой на предыдущий (при этом учитывается как изменение пикселей, так и смещение отдельных блоков пикселей в пространстве)

Для еще большего сжатия появляются B-кадры, которые вообще говоря генерируются, а не строятся на основе исходного видеоряда. Получаются они некоторым подобием среднего арифметического двух соседних кадров категорий I и P

!Глава 2. Виды данных, их кодирование, команды#^9aa8aa

Степень сжатия можно повысить следующими способами (не очень точный пересказ методички):

!Глава 2. Виды данных, их кодирование, команды#Основные пути повышения степени сжатия

Motion-JPEG

Видео представляет собой последовательность из изображений - кадров. Если закодируете каждый из этих кадров алгоритмом JPEG независимо, то получите Motion-JPEG (M-JPEG). Он применяется при монтаже видео и позволяет реализовывать прикольную прокруту по кадрам, так как обеспечивает одну из самых больших скоростей доступа к произвольному кадру

Работает он быстро так как в наше время во многих процессорах есть аппаратное ускорение различных операций над JPEG

---

1. Дело в том, что было доказано, что все значения в таких матрицах представимы в виде комбинации заранее определенных 64 узоров с разными коэффициентами. Мы делаем это страшное преобразование для того, чтобы эти коэффициенты найти. Подробнее об этом написано в конспекте ↩︎

2. Каждой ячейке соответствует свое число. Их можно записать в виде матрицы, где каждой ячейке получившейся в результате дискретных косинусных преобразований матрицы, будет соответствовать (находящаяся на той же строке и в том же столбце) ячейка другой матрицы. Вторая матрица называется матрицей квантования ↩︎