Лет уж скоро 30 тому, когда я был молодым, а jpeg совсем юным, мы с друзьями за рюмкой кофе придумывали, как оный усовершенствовать. Идея ускорить убывание коэффициентов весьма естественная, собственно, DCT там именно для этого - если рисунок (фрагмент 8х8, имеется в виду) продолжается трансляцией (а продолжается он неявно, по самой сути разложения в ряд Фурье), то на границе, вообще говоря, возникают разрывы, и коэффициенты убывают, как 1/n, где n номер частотной составляющей, а если продолжить, отражая на границе, то полученный фрагмент 16х16 можно рассматривать, как чётную по X и Y функцию без разрывов на краях, и убывание порядка
Вот я и предложил вообще развернуть по кривой Пеано (ну, по пеаноподобной, строго говоря), вообще сняв вопрос о "продолжении на границах". Что, собственно, один из нашей компании сделал, правда, лишь в квадратике 8х8, а не по всему рисунку, как я предлагал, и даже получил некое улучшение (на коррекцию стандарта JPEG не потянуло, но кандидатскую он сделал). Полноценной оценки не было, не усилилась ли при этом "зернистость" (чего не было бы при развёртке по рисунку в целом, но для 8х8 весьма вероятно) - не проверяли.
Дальнейшее улучшение могло быть связано с устранением на полученной кривой разрывов, например, выявлением их, заменой самых крупных на 0 (или на среднее изменение по соседним точкам) с вынесением сведений о таких заменах в отдельный массив, содержащий точку разрыва и его величину, который сопровождает в сжатом файле массив коэффициентов разложения (возможно, также сжатый, хотя бы RLE или там Хаффманом). При этом для того, чтобы последняя точка вернулась бы к первой, надо ещё вводить "дрейф", равный сумме разрывов, делённой на общее число точек. (Это реализовано не было).
Ну и возможности использовать для сжатия наличие трёх цветовых каналов (как правило, коррелированных) и, для сжатия видео, предыдущий (-ие) кадр(-ы) весьма вкусная, но ничего сколько-нибудь проработанного у нас не было (разностное представление, разве что)
Впрочем, до изделия не довели. Если Вам чем-то поможет - буду рад.