2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 
 Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 10:18 
Аватара пользователя
Недавно с мужиками возникла идея сохранить всё наследие человечества в надежных носителях, на случай чего. Договорились скинуться на Blu-Ray с RAID-контроллерами и вакуумными камерами. В общем, купили. Они будут храниться у нас на дачах в этих самых вакуумных камерах, благо у нас вечная мерзлота, так что условия позволяют сделать это без особых проблем. На данный момент в диски уже залиты:
1) Известная библиотека Колхоз (скопирован в августе текущего года)
2) Документы из серверов Sci-hub (то же самое)
Все это добро вместе занимает всего лишь 1,5 Терабайта. Удивительно, что все существенные научные знания человечества помещаются в такой, казалось бы, малый объем.

3) Вся музыка Spotify в качестве very high. Там у них ранжирование по качеству. Здесь есть вся классика.
Вот этот пункт по объему уже занимает порядка дюжины Петабайтов.

4) Кхм... фильмы, видео для взрослых.
Проблема с этим пунктом. Даже если качать в среднем качестве, то база Pornhub весит сильно больше предыдущих пунктов, вместе взятых. Речь идет о тысячах Петабайтов. Мы, к сожалению, не рассчитывали на такие нагрузки. Памяти купленных Blu-Ray попросту не хватает, а докупить, во-первых, для нас дорого (даже если скидываться, это уже другие масштабы), во-вторых, хлопотно присобачивать новые диски к настроенной RAID-системе. Местный парень-программист говорит, что будет необходим ребилдинг RAID и резервное копирование, а это как минимум столько же работы, сколько было до этого. Спрашивали у него насчет возможного сжатия данных, но он про это не знает. Только утверждает, что видео на сайте, возможно, уже сжаты донельзя...

Некоторые из нас отчаялись до такой степени, что уже готовы остановиться только на первых трех пунктах, либо ограничиться видео в плохом качестве. Но гвардия в целом не сдается. Поэтому обращаюсь с надеждой к Вам, дорогие форумчане: возможно ли как-нибудь сжать данные таких объемов хотя бы до сотни Петабайтов?

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 11:07 
Аватара пользователя
SomePupil в сообщении #1699492 писал(а):
возникла идея сохранить всё наследие человечества

SomePupil в сообщении #1699492 писал(а):
4) Кхм... фильмы, видео для взрослых

У Вас и у Ваших друзей... скажем так, довольно необычные представления о "наследии человечества" :-)

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 11:16 
SomePupil в сообщении #1699492 писал(а):
Поэтому обращаюсь с надеждой к Вам, дорогие форумчане: возможно ли как-нибудь сжать данные таких объемов хотя бы до сотни Петабайтов?

Я думаю можно. Для этого надо словесно описать что происходит (т.е. заменить видео-ролики их сценариями), плюс приложить фото персонажей (с нужными подробностями). Словесное описание сжать архиватором. Так, думаю, сотни петабайт вместятся в сотню мегабайт или меньше.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 12:27 
Аватара пользователя
Mihr в сообщении #1699499 писал(а):
У Вас и у Ваших друзей... скажем так, довольно необычные представления о "наследии человечества"

В "Вояджере" отправили золотые пластинки с музыкой Моцарта, Бетховена, Баха... Мы решили взглянуть на дело, скажем так, ширше и глубже

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 12:44 
Аватара пользователя
SomePupil в сообщении #1699508 писал(а):
В "Вояджере" отправили золотые пластинки с музыкой Моцарта, Бетховена, Баха...


Изображение

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 12:49 
SomePupil в сообщении #1699492 писал(а):
фильмы, видео для взрослых.

SomePupil в сообщении #1699508 писал(а):
В "Вояджере" отправили золотые пластинки с музыкой Моцарта, Бетховена, Баха... Мы решили взглянуть на дело, скажем так, ширше и глубже

Это конечно намного ширше и глубже, чем Моцарт. Здесь вся наша биология, психология, социология, демография и философия.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 13:00 
SomePupil в сообщении #1699492 писал(а):
возможно ли как-нибудь сжать данные таких объемов хотя бы до сотни Петабайтов?
В некотором смысле нейросети являются таким способом сжатия. Условному чатгпт скормили весь интернет, и теперь он может ответить на огромное количество вопросов на сотне разных языков, и занимает при этом какие-то смешные несколько гигабайт.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 13:56 
Аватара пользователя
SomePupil
Если владеете спиритизмом, то Вам к Манилову. В вечной мерзлоте его дух, надеюсь, не испортился.
Больше Вам никто не поможет.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 15:05 
SomePupil в сообщении #1699492 писал(а):
Все это добро вместе занимает всего лишь 1,5 Терабайта. Удивительно, что все существенные научные знания человечества помещаются в такой, казалось бы, малый объем.
Выглядит странно. В Anna's Archive на данный момент проиндексировано 159 миллионов файлов. Полный их торрент имеет размер 1.1 петабайта. Как следует из статистики на сайте.

Правда там в том числе сканы разных книг, и не только учебников.

-- 24.08.2025, 15:15 --

wrest в сообщении #1699500 писал(а):
Для этого надо словесно описать что происходит (т.е. заменить видео-ролики их сценариями), плюс приложить фото персонажей (с нужными подробностями). Словесное описание сжать архиватором.
Нужно обучить сетку на такие сжатие-распаковку. Но дипфейки такого качества тут же станут уголовщиной.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 15:16 
Аватара пользователя
realeugene в сообщении #1699532 писал(а):
Правда там в том числе сканы разных книг, и не только учебников.

Угу. Дело, видимо, в том, что в Колхозе в основном книги естественнонаучной направленности, что сильно снижает выборку и объем

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 15:46 
realeugene в сообщении #1699532 писал(а):
Нужно обучить сетку на такие сжатие-распаковку. Но дипфейки такого качества тут же станут уголовщиной.

Ну это сейчас. А ТС же за будущие поколения хлопочет. Когда наступит э... а что тогда наступит? Ну не важно. Срок давности явно пройдет.

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение24.08.2025, 17:44 
Аватара пользователя
wrest в сообщении #1699534 писал(а):
А ТС же за будущие поколения хлопочет.

Которые для нас не сделали ровным счётом ничего, что бы там ни говорил Козьма Прутков. :wink: :D

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение26.08.2025, 20:49 
SomePupil в сообщении #1699492 писал(а):
Blu-Ray с RAID-контроллерами
А какая связь между Blu-Ray и RAID?

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение27.08.2025, 04:34 
Аватара пользователя
sf1 в сообщении #1699759 писал(а):
Blu-Ray и RAID?

Эээ... То, что мы их заказали вместе с вакуумными камерами?
Изначальным вариантом были Blu-ray, потому что они дешевле и гораздо менее заморочены, но по сравнению с RAID у них память оказалась пустяковая, несоразмерно с ценой даже, так что ими можно пренебречь...

 
 
 
 Re: Сжатие видео-данных для долгосрочного хранения
Сообщение27.08.2025, 08:47 
Осталось понять что в этой процедуре делают вакуумные камеры.
Хотя про "RAID-контроллеры" тоже интересно

 
 
 [ Сообщений: 19 ]  На страницу 1, 2  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group