Přihlásit

NEJSTE PŘIHLÁŠENI

Když se zaregistrujete a přihlásíte, získáte možnost komentovat, vkládat fotografie, nahlížet do katalogu fotoaparátů a objektivů a mnoho dalších výhod.

Inzerce Google

Náhodná fotografie
Nejvíce bodů tento týden
Nejvíce bodů tento měsíc
Poslední fotografie
Nejvíce komentářů

Návod: Jak zálohovat fotografie na pevné disky

Návod: Jak zálohovat fotografie na pevné disky

Pošlete tento článek známým

Vydáno: 21. 4. 2016

JAK ZÁLOHOVAT fotografie na pevné diskyK tomuto článku mě přivedla dlouhá, bolestná cesta testování, zkoušení a laborování, slepých uliček a krachů. Najdete tady návod, jak mít fotografie vždy k dispozici a jak je mít spolehlivě zálohovány. Samozřejmě lze tento postup použít pro zálohování i jiných digitálních dat.

Celý systém a postup zálohování fotografií v digitální podobě jsem nejdříve vyzkoušel, nastavil, používal 5 let a teprve teď jsem si troufnul vám nabídnout postup pro zálohování fotografií.

***Než vstoupíte do článku, přijměte prosím informaci, že jsem nechtěl na tomto místě zatěžovat všemi detaily ohledně různých zálohovacích médií, nastavení, popisy typů a výhod RAIDů, uvádění statistik a porovnávání chybovostí médií, apod. Prostě jsem chtěl napsat stručnou odpověď na jeden z vašich nejčastějších dotazů. A jak vidíte, nestručnější odpověď zabrala několik stránek.

Pevný disk jako zálohovací médium pro fotografie

Chrlíme stále více digitálních fotografií, jen málo jich máme zálohovaných

V době filmů nebo diapozitivů tvořilo samotné médium originální data a záloha se rovnala archivaci, mohla být buď ve formě přefocení filmu na jiný film, sken filmu na skeneru nebo vytvoření fotografií z filmu. Bylo to šíleně pracné a drahé a dneska nepředstavitelné.

V digitálním světě, kdy fotografové chrlí 300 miliónů fotografií denně jenom na Facebook (viz můj článek o publikování fotografií na Facebooku tak, aby vám fotografie nezničil) jsme zahlceni také vlastními fotografiemi. A ruku na srdce, kdo máte tu sílu drsně, nekompromisně a denně promazávat? Objem digitálních fotografií tedy výrazně roste. A kardinální zní je: JAK OMEZIT JEJICH ZTRÁTU?

Prošel jsem si cestu od filmu (těch mám plné šuplíky) až po DVD (které jsem po několika letech nepřečetl a jsou straaaaašššššnnnnněěěěě pomalé). 

Cena média není rozhodující

  DVD HD
Obvyklá kapacita jedné jednotky 4,7 GB 1 TB
Obvyklá cena jedné jednotky 7 Kč 1700 Kč
Obvyklá cena za 1 MB kapacity 0,00148 Kč / MB 0,0017 Kč / MB

DVD disk jako zálohovací médium?

Podle této tabulky je na tom hardisk a DVD médium velice podobně, co rozhoduje je rychlost přístupu k datům (hledat jednu fotografii na 200 DVD discích není vůbec jednoduché, ani rychlé).

Nakonec jsem vymyslel řešení s malým serverem a zálohováním na externí disky.

Rád bych se s vámi podělil o své řešení, které mám zaběhnuté, a zatím  - nechci to zakřiknout - jsem neřešil žádný vážný incident. Dokonce, i disky se všechny točí již mnoho let, 4-6 roků. Mé požadavky se odvíjely od požadavku na zálohu celkového objemu cca 1,5 TB dat s RAW fotografiemi a 1 TB dat vlastních videí, většinou MOV. Celkový počet zálohovaných souborů je 291 000, počet fotoaparátů 79, objektivů 179 (to mi řekl můj Lightroom).

Jaké jsem měl požadavky na zálohy fotografií

Samozřejmě, že v ideálním případě bych si vybrat nějakou metodu zálohování na Cloud (ale stejně bych na to nespoléhal). Dnešní rychlosti internetu jsou takové, že zrovna rychlost připojení není až takový problém. Ale...

Pro zálohy na cloud ale vystupují jiné problémy:

  • objem - Yahoo omezilo rozsah cloudového uložiště, Microsoft to očesal také a Google nic takového nemá - má tedy pouze placené služby. Bavíme se tady o požadovaném prostoru řádově 2-3 TB.
  • objem dat při úpravě snímku - jelikož například RAW má 20 MB a Lightroom pro jeho úpravu potřebuje mít k dispozici originál, Lightroom si ji nejdříve stáhne k sobě, dekóduje do paměti a pak se přepne do modulu Develop. Znamená to pro každou fotku čekat klidně třeba 4,5 sekundy (teoreticky), a to je problém.

Požadavky pro zálohování fotografií - cena rozhoduje

  • Řešení zálohování fotografií mělo být levné - v nejlepší variantě byl měla pořizovací cena být do 10 000 (bez disků)
  • Řešení zálohování fotografií musí být snadno spravovatelné/administrovatelné - chtěl jsem legální řešení takové, abych sám (i na dálku přes internet) byl schopen dosáhnout na libovolný soubor/fotografii
  • Řešení zálohování fotografií mělo byt snadno opravitelné z hlediska hardwaru a softwaru - jakákoliv část musí být snadno opravitelná nebo vyměnitelná v rámci 12 hodin
  • Řešení zálohování fotografií musí být dostupné z internetu

Vybrat si jednoúčelový box pro zálohu? Proč ano/ne.

Nejdříve se mi zalíbilo řešení na míru, takové ty jednoúčelové NAS, které koupíte od 1000 korun výše, ale spíše kolem 4-8 tisíc, dáte do nich prostě dva nebo více disků, nakonfigurujete a pustíte. Umístíte někam do kouta a nestaráte se. Jejich výhody:

  • dají se krásně a rychle spravovat přes webové rozhraní,
  • nízká spotřeba - umí disky uspávat,
  • a jsou docela výkonné.

Já jsem si před 6 lety vybral QNAP model TS-409, který měl uvnitř 4 hot swap sloty na SATA disky. Nakonfiguroval jsem si je tak, že dva disky byly v mirroru - RAID 1 (kdo nevíte, viz tady) a další dva disky volně jen jako uložiště. Krasně to fungovalo. Uložiště jsem používal jako vzdálený disk na síti.

NAS Qnap 409 jak zálohovat fotografie

Problém jednoúčelového řešení pro zálohování fotografií:

  • malá výkonnost pro rsync (to je taková utilitka pro přenos souborů přes síť, ale s inteligencí, takže se přenáší jen část změněná, nikoliv celý soubor)
  • rozšiřování o další disky je omezené - sloty byly jen 4 a dál jsem mohl růst jedině, že jsem prodal straé disky, koupil nové, větší a zaměnil je
  • je problém, když dojde k poruše, protože musíte sehnat podobné zařízení (se stejným řadičem), aby jste se k datům dostali

Jak si sestavit vlastní řešení pro ukládání a zálohování fotografií

Finální řešení vykrystalizovalo po zkušenostech. Malý server s pevnými disky a zálohování na externí pevné disky vypadalo přístupně cenově a z pohledu spolehlivosti.

Postupem času, cca dvou let, jsem došel k závěru, že musím změnit výkon NAS. Na dosah mi bylo řešení založené na PC architektuře (měl jsem zbytky jednoho servříku - desku, procesor, paměti) a Linuxu (zdarma a mám ho rád, protože je to modulární open source řešení). Rozhodl jsem se postavit PC s Linuxem, do něj jsem umístil všechny své potřebné disky (a mám je tam stále). Linux NAS běží de-facto nonstop bez výpadků, nemám ho na UPS (měl jsem).

Hardware: PC architektura, deska, procesor nějaký AMD, paměť 8 GB, SATA disky, celkem mám v NAS 5 disků

  • 1 disk Linux OPENSUSE
  • 2 disky v RAID 1, mirror s nejdůležitějšími fotografiemi a videem
  • 1 disk bez RAID
  • 1 disk bez RAID

Podstatné je, že toto mé řešení dovoluje používat kdykoliv v síti jakoukoliv fotografii, zpracovávat, kopírovat.

Dostupnost fotografií je tedy v reálném čase a současně je mé řešení nastaveno jako zálohovací, fotografie máte online + zálohované.

Postup: jak nahrávám fotografie do počítače do katalogu a jak dělám zálohu fotografií

Celé řešení se tak skládá ze serveru s online fotografiemi dostupnými kdykoliv + sadou externích pevných disků, na které zálohuji.

A teď to nejdůležitější - jak to celé funguje, jaký je workflow? Zde popíšu přesné důvody a postup, jak putují fotografie z fotoaparátu, karty, do Katalogu, jak se dostanou na NAS server, na RAID 1 pole, až na zálohu.

  • Kartu s fotografiemi vždy vyjmu z fotoaparátu a vložím do čtečky (kvůli rychlosti)
  • Čtečka je připojena k pracovní stanici (na stejné gigabitového ethernetové síti jako Linux NAS)
  • Fotografie a videa importuji z karty do katalogu Adobe Photoshop Lightroom, jako kopie (COPY), import do Adobe Photopshop Lightroomu provádím pouze kopírováním, aby na kartě vždy zůstaly fotografie uloženy pro případ problému na disku
  • Katalog (.lrcat) leží na SSD disku
  • Karty po importu založím na spodek stohu SD nebo CF karet, takže na řadu se dostanou za několik měsíců = pořád na nich tedy zůstávají fotografie, které mám v Lightroomu, na NAS a na záloze
  • Zálohu katalogu dělám +- průběžně jednou za měsíc, záloha katalogu (.lrcat) leží na stejném serveru NAS na RAID 1, a tedy také na zálohovaných discích
  • Fotografie se fyzicky kopírují přímo na server NAS na inkriminované pole RAID1, kde jsou přístupné pro Adobe Photoshop Lightroom pro každodenní vyvolávání fotografií

Záloha fotografií na pevné disky

Postup, jak probíhá zálohování fotografií z NAS serveru na externí disky

Na NAS serveru mám 5 disků, 1 systémový (nezálohuju, protože Linux lze obnovit hravě, ani už nevím, co tam je za verze), 1 disk data, 1 disk data, jedno pole RAID 1 se dvěma disky a nejdůležitějšími fotografiemi a videi. V serveru jsou disky s ostrými fotografiemi, se kterými pracuji, pak existují zálohy těchto fotografií (mimo kancelář) a zálohy záloh fotografií (v bance). Postup zálohy fotografií vypadá takto:

  • Disk, kam zálohuji fotografie, vložím do externího USB boxu
  • Externí box připojím k NAS serveru
  • V NAS serveru spustím zálohu z vnitřního disku pomocí rsync a provedu zálohu fotografií (pouze změny) obsahu diskového pole RAID 1 na externí disk
  • To opakuji pro každý interní disk na NAS serveru a zálohu provedu jeho externí záložní disk na USB externím boxu
  • Méně častěji donesu disky z banky a udělám zálohu na ně

Tento postup funguje již 5 let. Kdybych ztratil některé fotografie...

  • mám cca 4měsíční fotografie na kartách - mám jich požehnaně, takže se tam vždycky něco najde
  • fotografie mám na RAID 1
  • fotografie mám na záložních discích mimo kancelář
  • fotografie mám na záložních discích v bance

Nejkrizovější scénář ztráty fotografií (disků)

Jak je řešen výpadek některého disku

  • Výpadek jednoho disku na RAID 1: jelikož nejdůležitější obsah leží na NAS serveru v RAID 1, v případě výpadku některého z disků zůstávají fotografie přístupné na druhém z nich (vadný disk mohu vyměnit za nový a RAID 1 pole obnovit (otázka několika hodin)
  • Výpadek obou disků disku na RAID 1: vezmu zálohu ležící mimo server NAS
  • Výpadek všeho: vezmu disk ze sejfu z banky
  • Ztráta jen některých novějších fotografií - stále mi leží na kartách
  • A nakonec i výpadek disku, který je v sejfu, máme problém Hustone!

Komentáře

Obrázek uživatele Michal Krause

Na FB padl ještě dotaz, jaké řešení je dostatečně jednoduché pro obyčejného smrtelníka. Tady je má odpověď, ať je to tu pěkně pohromadě s původním článkem:

Nejjednodušší jsou a nízké vstupní náklady mají specializované cloudové zálohovací služby – např. CrashPlan nebo Backblaze. Nevýhodou je počáteční pomalý náběh služby (než se poprvé zazálohují všechna data), přírůstkové zálohy jsou pak už většinou v pohodě. Není to samozřejmě vhodná cesta pro někoho, kdo je připojen např. přes LTE modem s relativně nízkým limitem dat.

Jako doplněk k tomu je rozumné mít data zálohovaná na externím disku nebo diskovém poli, což jednak zajišťuje vždy rychlejší provedení záloh i obnovu dat. Dalším důvodem, proč mít lokální kopii, je to, že v případě cloudové služby musíte věřit poskytovateli, že to celé nevypne – stát se to může a v krajním případě nemusíte dostat šanci data stáhnout. Zní to drasticky, ale správně nastavené zálohování vždy počítá s tím, že některá ze záloh může nenávratně a rychle zmizet, přičemž pravděpodobnost, že najednou přestane fungovat cloudová služby i vaše místní kopie je samozřejmě menší, než když máte jen jednu zálohu.

U místních kopií musíte zase myslet na to, že je-li disk ve stejné lokalitě a nebo trvale připojen k počítači, kde jsou primární data, hrozí, že bude v případě krádeže nebo havárie zničen spolu s nimi.

Zálohování se samozřejmě nastavuje úměrně tomu, jak důležitá data chráníme. Já osobně to řeším takto:

1. Primární data leží na diskovém poli Synology s více disky, kdy výpadek jednoho disku neznamená ztrátu žádných dat (toto většina diskových polí umí řešit sama a poměrně jednoduše při zapojení)

2. Automaticky vzniká každodenní záloha na externí disk – toto se dá naklikat na Synology v jeho webovém rozhraní. Počet starších verzí je dán kapacitou úložiště. Pokud se data moc nemění, není potřeba nějaká enormní hodnota.

3. Data ze Synology se zálohují do CrashPlanu – většina je tedy obvykle do cca 24 hodin zazálohovaná do cloudu. Během té doby leží fotky typicky ještě na původní SD kartě. V CrashPlanu je kompletně vyřešeno verzování a možnost vracet se libovolně v historii.

Nejlepší fotky obvykle dávám na svůj web v plném rozlišení (pro návštěvníky se z něj generují menší verze, originál není veřejný), takže v případě relativně málo pravděpodobného kritického souběhu výpadku všech tří umístění fotek (diskové pole, externí disk, CrashPlan) mám ještě full-res JPEGy.

Kdyby selhalo tohle všechno a o fotky jsem přišel, tak budu hrozně smutný, ale svět se nezboří :)

Celkové náklady obdobného řešení jsou cca 10 000 Kč za diskové pole a disky a cca 150 dolarů ročně za CrashPlan (rodinný plán umožňující zálohování až 10 počítačů, tarif pro jeden počítač stojí polovic).

Bylo by docela fajn přidat ještě nějakou úroveň zálohy, která nebude tak moc závislá na třetím subjektu, bude geograficky v jiné lokalitě (chráněná proti krádeži/zničení společně s primárním polem), ale umožní rychlou obnovu dat – ovšem prozatím jsem nepřišel na řešení, které by bylo za rozumnou cenu a bez ručních úkonů (jako třeba přenášení USB disků mezi více lokalitami). Software CrashPlanu jde sice používat k zálohování zdarma na jiný počítač, kde rovněž běží, a Synology umí nějaké varianty záloh na druhé diskové pole, ale jsou tam samozřejmě vždy náklady na HW na druhé straně, které se mi už nechce/nehodí nést :)

Doplním ještě, že kdysi jsem se o zálohování fotek obsáhle rozepsal pro Paladix. Článek je už staršího data, ale obecné teze z něj jsou stále platné: http://www.paladix.cz/clanky/zalohovani-fotografii-obecne-i-konkretne.html

Obrázek uživatele Michal Krause

Martine, Tvůj systém má – pokud jsem to správně pochopil – jednu zásadní chybu. Máš v podstatě čtyři kopie:

1. Na kartách – přirozeně zanikají cca po 4 měsících 2. Na NASu 3. Aktuální kopii z NASu na externích discích přepisovanou relativně často 4. On něco starší kopii z NASu na druhé sadě disků v bance přepisovanou méně často

V praxi to znamená, že jsi poměrně chabě chráněn proti lidské chybě (např. nevědomky smazané soubory) nebo méně zřejmým chybám HW či SW (smazání/poškození souboru bez viditelné havárie disku). Pokud má být záloha v bance k něčemu dobrá, musíš jí občas aktualizovat, takže v relativně krátké době (řádově měsíce?) přepíšeš všude správné soubory poškozenými a máš smůlu. Spolehlivé zálohování musí verzovat a to alespoň progresivně (starší verze mají větší rozestupy), ideálně ale při každé změně. Na problém můžeš přijít klidně po roce nebo dvou.

Pokud jde o cloudové zálohování, nemá cenu se upínat k Dropboxu a spol. – nejsou to zálohovací, ale synchronizační služby, kde starší verze či smazané soubory mizí v příliš krátkém čase (obvykle měsíc). Zálohování nad nimi lze postavit, ale pouhé nahrání souborů na ně jím není. Výjimkou by mohl být francouzský Hubic, který podporuje speciální funkci zálohování a kromě toho má za rozumný peníz potřebnou kapacitu (10 TB za 50 eur ročně).

Cloudové zálohování jsou specializované služby jako Backblaze nebo CrashPlan, které mají většinou cenově dostupné neomezené úložiště, řeší správně verzování, přenos a ukládání velkých souborů (deduplikace) a v neposlední řadě nevyžadují ruční úkony (ze zkušenosti vím, že co se má dělat ručně se nedělá dost často a někdy dokonce vůbec). Prvotní záloha je u nich ale problém, pokud jde o stovky giga až terabajty dat – málokdy na ně jde nahrávat plnou rychlostí vaší linky, takže je to většinou na týdny až měsíce, během kterých je třeba zálohovat jinak. Osobně ostatně doporučuji mít dva systémy záloh i při cloudové variantě, přinejmenším kvůli rychlosti obnovy všech dat – obnovit třeba giga dat z cloudu je v pohodě, ale při kompletní havárii primárního disku už může jít o terabajty a tomu odpovídající dobu obnovy.

Obrázek uživatele Michal Krause

Předchozí komentář jsem sem překopíroval z Facebooku. V dalším komentáři jsem jej na základě reakcí ještě doplnil tímto příkladem:

Jde o situaci, kdy nějakým způsobem dojde k poškození obsahu souboru, aniž by se projevily klasické příznaky havarujícího disku (špatné sektory atd.). Důvodem může být třeba vadná RAM v diskovém poli, ale i triviální chyba aplikace nebo její obsluhy. Poškozený soubor jsi zatím nepotřeboval, takže sis chyby nevšiml. Relativně rychle vadným souborem přepíšeš ten správný na místních externích discích a řekněme, že během pár měsíců pak při rotaci i ten na disku v bance. Po roce Ti někdo napíše, že chce koupit licenci na danou fotku a Ty zjistíš, že už nemáš ani jednu nepoškozenou verzi.

Rsync v tomto nijak nepomůže – pro něj se soubor prostě změnil, takže ho překopíruje. Jedinou záchranou by bylo verzování, kdy změna souboru neznamená jeho nevratný přepis, ale naopak vytvoření nové verze. Rsync obalený nějakým tím skriptováním v shellu by to technicky zvládal, protože umí vytvářet hardlinky nezměněných souborů, ale není to zrovna přímá cesta. Z unixových utilit pro příkazovou řádku se na to zaměřuje například rsnapshot nebo rdiff-backup (ten příliš nedoporučuji, protože ukládá jen rozdíly mezi verzemi souborů, což sice může hodně šetřit místo, ale zároveň je to dost zranitelné, protože poškození některé ze starších verzí znemožní obnovení novějších).

Je možné, že jsem něco v popsaném systému přehlédl, ale pročetl jsem si to dnes ještě jednou a myslím, že proti popsané situaci odolný není. Záleží samozřejmě na tom, jestli je to v kontextu daných dat únosné riziko. Osobně to doporučuji mít podchycené vždy, ale za absolutní nutnost to považuji v případě zakázkového focení, kdy klient může po čase fotky potřebovat znovu.

Fotobazar pouze registrovaným

Na tomto místě se registrovaným a přihlášeným fotografům zobrazuje fotobazar.