Где хранить бэкап

[arseniiv]

Pavia в сообщении #1319079 писал(а):

Так что если боитесь повреждений, то просто добавьте избыточных кодов.

Поможет ли это от повреждений, характерных для дисков? Понятно, что при передаче файлов было бы полезно избыточное кодирование, но там оно и так уже используется, вот беда.

[Mikhail_K]

Pavia в сообщении #1319079 писал(а):

когда стоит проверить возможность восстановление из бекапа

А вот нельзя ли подробнее, как это возможно сделать?

Просто попытаться открыть архив? Или полностью разархивировать? Или разархивировать, а потом позапускать файлы выборочно? Или проверить диск на ошибки средствами операционной системы или какой-либо утилиты? Или ещё что-либо?

А то вот, у меня много чего сохранено на флэшках. И я понятия не имею, как проверить, не повредилось ли что-нибудь на них. Ведь если какой-то один файл повредился, все остальные могут продолжать работать, и это повреждение может остаться незамеченным.

Или вот ситуация. Есть флэшка, на ней много файлов. Вроде все работают, открываются, вся информация на месте, операционная система ошибок не видит. Но открываются файлы на этой флэшке (а также записываются и удаляются) раз в пять-десять медленнее, чем должны бы. И кто знает, с чем это связано и можно ли доверять такому бэкапу.

[Pphantom]

Mikhail_K, практически все архиваторы умеют работать в режиме тестирования (без непосредственной распаковки содержимого), можно воспользоваться этим.

[arseniiv]

Mikhail_K в сообщении #1319089 писал(а):

Просто попытаться открыть архив? Или полностью разархивировать? Или разархивировать, а потом позапускать файлы выборочно?

Кстати, насчёт архивов: у архиваторов обычно есть опция проверить его на целостность и «разархивируемость» без траты места на распакованное — обычно называется «тестировать» (от исходного test, в командной строке так обычно и зовётся опция). Обычно хранятся контрольные суммы файлов, дающие хоть какую-то гарантию того, что даже если закодированный поток безошибочен, в файле тоже нет ошибок (обычно ошибки меняют контрольную сумму так, что минус на минус не даст плюс, хотя абсолютной гарантии, конечно, дать так нельзя по понятным математическим причинам).

Опоздал.

[Dmitriy40]

В RAR есть опция добавлять информацию для восстановления архива, с выбираемым дополнительным объёмом. Позволяет восстановить до половины добавленного объёма из любого места архива. Царапины не всегда портят абсолютно весь файл, гораздо чаще испорчены будут множество мелких участков, или один-два непрерывных участка небольшого (по сравнению с гигабайтами всего диска) объёма. И то и другое RAR позволит 100% восстановить. Обычно считается достаточно пары процентов от размера архива.
Наличие пароля на архив на восстановление не влияет.
Вот SOLID очень даже влияет, в худшую сторону, потому стоит подумать стоит ли коэффициент сжатия вероятности потерь всего остатка архива после места повреждения. Вместе с SOLID можно применять опцию сброса словаря при смене расширения файлов, это позволит ограничить повреждения лишь до конца файлов заданного типа.
Полезна так же опция SFX - создаёт самораспаковывающийся архив, с расширением .exe, который для безопасности можно распаковывать и обычным образом, архиватором.

Для совместимости ничего лучше ZIP (причём не сильно новых версий!) не придумано. Винда их открывает просто как папки.

-- 11.06.2018, 19:12 --

arseniiv в сообщении #1319088 писал(а):

Поможет ли это от повреждений, характерных для дисков?

Поможет, на это и рассчитано. Повреждения дисков обычно локальны и небольшие в сравнении со всем диском - именно такие и исправляются.
Кстати на самих CD/DVD дисках тоже очень сильное избыточное кодирование, с перемешиванием, по идее уже там должны царапины исправляться. По идее ...

[Mikhail_K]

Pphantom
arseniiv
Спасибо.

Dmitriy40 в сообщении #1319093 писал(а):

В RAR есть опция добавлять информацию для восстановления архива, с выбираемым дополнительным объёмом. Позволяет восстановить до половины добавленного объёма из любого места архива. Царапины не всегда портят абсолютно весь файл, гораздо чаще испорчены будут множество мелких участков, или один-два непрерывных участка небольшого (по сравнению с гигабайтами всего диска) объёма. И то и другое RAR позволит 100% восстановить. Обычно считается достаточно пары процентов от размера архива.

Это ценная возможность. Так что, в итоге RAR всё-таки лучше чем ZIP?

[Dmitriy40]

Mikhail_K в сообщении #1319094 писал(а):

Так что, в итоге RAR всё-таки лучше чем ZIP?

В плане надёжности хранения - думаю да. Именно из-за избыточного кодирования.
Но ZIP - намного совместимее. Не уверен что RAR можно распаковать на какой-нибудь FreeBSD или ещё более редкой ОС. Так что стоит поискать баланс в зависимости от конкретной задачи. Для хранения бэкапов под виндой считаю RAR более предпочтительным. Возможно есть и другие архиваторы с избыточным кодированием или даже отдельные программы для добавления избыточности, но RAR - универсальнее и известнее. ИМХО.

EUgeneUS в сообщении #1319070 писал(а):

Для всяких jpeg и mpeg, архивирирование смысла не имеет.

Не совсем так, имеет: сжатия не будет, зато будет контроль целостности и возможность восстановления (для RAR - существенно бОльшая при наличии заложенной при упаковке избыточности) и тоже с контролем результата. Потому в целях хранения полезно паковать файлы даже с отрицательным сжатием.

[Pphantom]

Mikhail_K в сообщении #1319094 писал(а):

Это ценная возможность. Так что, в итоге RAR всё-таки лучше чем ZIP?

Это смотря как к этому относиться. Чудес не бывает, восстановление утраченных участков возможно только при наличии избыточной информации в архиве. А вот как называть ее создание - дело каждого конкретного архиватора. У RAR задается дополнительный по сравнению с максимальным сжатием размер, у ZIP - степень сжатия, которая не обязательно должна быть максимальной.

-- 11.06.2018, 19:31 --

Dmitriy40 в сообщении #1319097 писал(а):

Не уверен что RAR можно распаковать на какой-нибудь FreeBSD

Можно, unrar там доступен. Проблема скорее в том, что нет гарантии совместимости распаковщика, который окажется под руками через $n$ лет, когда архив понадобится.

[arseniiv]

Dmitriy40 в сообщении #1319097 писал(а):

Потому в целях хранения полезно паковать файлы даже с отрицательным сжатием.

Кроме того архиваторы могут сжимать файлы с разными параметрами и, увидев что-то уже и так сжатое, не трогать. Возможно, это расширенные параметры, уже не помню, но лет десять назад читал API командной строки у одного архиватора и дивился (и потом не использовал этих возможностей всё равно).

[Dmitriy40]

Pphantom в сообщении #1319103 писал(а):

Можно, unrar там доступен. Проблема скорее в том, что нет гарантии совместимости распаковщика, который окажется под руками через $n$ лет, когда архив понадобится.

Спасибо, я не помню где UnRAR доступен.
А про совместимость я специально упомянул создание SFX архивов (с добавкой к архиву исполняемого кода распаковщика и создании не .rar, а .exe), по крайней мере под виндой это будет совместимо ещё долго (пока запускаются Win32 программы, которых в мире наверное под 95% сейчас).

arseniiv в сообщении #1319108 писал(а):

Возможно, это расширенные параметры, уже не помню,

Да, RAR так и поступает, если обнаруживает несжимаемый файл, по списку расширений (можно переопределять) или по реальным данным (тут не уверен), то его и не сжимает, ускоряя работу.

PS. Кстати, в SFX архивах доступна ещё одна красивая возможность, правда для бэкапов не нужная: можно при распаковке выполнить некий скрипт, позволяющий сделать много полезного, от удаления файлов/папок до редактирования реестра - фактически получается почти стандартный установщик программ, средствами практически лишь самого RAR-а, без всяких многомегабайтных фреймворков.

-- 11.06.2018, 20:08 --

Pphantom в сообщении #1319103 писал(а):

У RAR задается дополнительный по сравнению с максимальным сжатием размер,

Не совсем, задаётся объём добавляемой информации, или в $512n$ байтов, или в процентах от размера архива. Не максимального сжатия, а выбранного при упаковке, сколько реально получилось после сжатия - вот к тому и добавляется.

-- 11.06.2018, 20:23 --

Да, ещё RAR умеет разбивать длинный архив на части (тома), удобно для записи на FDD/CD/DVD. В этом случае можно даже создать тома для восстановления, которые позволят восстановить ЛЮБЫЕ утерянные диски в количестве созданных томов восстановления (пример: получили архив 100Г, побитый на 22 DVD, добавили к ним 3 DVD восстановления - и можно потерять любые три диска, всё восстановится). И как я понимаю эти механизмы восстановления независимы и можно их комбинировать.
Хотя работа с многотомными архивами неудобна, часто понадобятся все предыдущие тома, а не только тот в котором лежит нужный файл. Так что тут тоже нужен баланс между удобством и местом/надёжностью.

-- 11.06.2018, 20:34 --

Ещё одно достоинство RAR для создания бэкапов (не хранения): он умеет работать с версиями файлов в архиве. Т.е. можно хранить не только последнюю/текущую версию файлов, но и несколько предыдущих, с доступом к каждой при желании. Существенно повышается надёжность, любые ошибки пользователя (удаление нужного файла, ошибочное исправление, ошибочная перезапись файла) некоторое время будут доступны для отмены (пока не превысится указанный счётчик версий или вообще всегда).

[arseniiv]

Dmitriy40 в сообщении #1319117 писал(а):

средствами практически лишь самого RAR-а, без всяких многомегабайтных фреймворков

Для этого можно взять что-то типа InnoSetup, там хоть язык понятный. Впрочем, не в курсе, живо ли оно ещё и насколько понятнее скриптов WinRAR (их не видел).

Dmitriy40 в сообщении #1319117 писал(а):

Да, ещё RAR умеет разбивать длинный архив на части (тома), удобно для записи на FDD/CD/DVD. В этом случае можно даже создать тома для восстановления, которые позволят восстановить ЛЮБЫЕ утерянные диски в количестве созданных томов восстановления (пример: получили архив 100Г, побитый на 22 DVD, добавили к ним 3 DVD восстановления - и можно потерять любые три диска, всё восстановится).

Хм, аж интересно стало, есть ли такое восстановительное деление на тома у 7z (простое-то есть). Пойду гляну.

[iifat]

arseniiv в сообщении #1319128 писал(а):

скриптов WinRAR

Нет, как понимаю, никаких скриптов WinRar. Там обычный батник.

arseniiv в сообщении #1319128 писал(а):

есть ли такое восстановительное деление

Нет, насколько помню. Восстановление испорченного — только Rar.

[arseniiv]

iifat в сообщении #1319131 писал(а):

Там обычный батник.

Аааа. Ну тогда InnoSetup и подобные может быть весьма сильно уместнее.

iifat в сообщении #1319131 писал(а):

Нет, насколько помню.

Посмотрел справку самой новой версии, действительно.

[Dmitriy40]

Dmitriy40 в сообщении #1319117 писал(а):

Не совсем, задаётся объём добавляемой информации, или в $512n$ байтов, или в процентах от размера архива.

Упс, в версии 5.0 убрали указание в байтах, оставили только в процентах. Не знал.