Vraag Hoe maak je een back-up van 20 + TB aan gegevens?


We hebben een NAS-server in het bedrijf waar ik werk, dat wordt gebruikt voor het opslaan van fotosessies. Elke sessie is ongeveer 100 gb. In de afgelopen paar jaar heeft deze server meer dan 10 TB aan gegevens verzameld en verhogen we het aantal fotoshoots exponentieel. Ik schat dat tegen het einde van volgend jaar we 20+ TB op deze NAS zullen hebben opgeslagen. Momenteel ondersteunen we deze server tot aan tape met LTO-5-tapes met Symantec BackupExec. Omdat de omvang van deze server is gegroeid, worden de volledige back-ups van deze server niet 's nachts voltooid. Heeft iemand suggesties voor het maken van een back-up van deze hoeveelheid gegevens? Moeten we er een back-up van maken op tape? Zijn er andere opties die misschien beter zijn?


81
2017-12-12 03:50


oorsprong


Waarom voer je elke nacht volledige back-ups uit? Waarom niet een keer per week een volledige back-up uitvoeren en incrementele back-ups de resterende 6 dagen per week uitvoeren? - joeqwerty
Dat is wat we aan het doen zijn, sorry dat ik niet vermeldde dat ... de wekelijkse vol is die niet aan het voltooien is. - Jesus Fidalgo
Heeft een wekelijkse volledige behoefte om 's nachts te voltooien? Het is niet ongebruikelijk dat weekbladen meer dan 24 uur duren voor een voldoende grote dataset. - Stefan Lasiewski
Welk type NAS gebruikt u? - ewwhite
Weet je zeker dat de toename van fotoshoots is exponentiële? - gerrit


antwoorden:


Je moet een stap achteruit doen en stoppen met denken: "Ik heb 20 TB op mijn NAS, ik moet een back-up maken!" en ontwikkel een opslagstrategie die rekening houdt met de aard van uw gegevens:

  • Waar komt het vandaan en hoeveel nieuwe gegevens krijg je? (je hebt dit in je vraag)
  • Hoe worden de gegevens gebruikt als je die eenmaal hebt? Zijn mensen de afbeeldingen aan het bewerken? Bewaar je de originelen en genereer je bewerkte versies?
  • Hoe lang moet je alle gegevens bewaren? Zijn mensen nog steeds bezig met het wijzigen van afbeeldingen van 2 jaar geleden?

Afhankelijk van de antwoorden op de laatste twee vragen, hebt u waarschijnlijk meer a nodig Archiveringssysteem dan een radicaal ander back-upsysteem.

Gegevens die statisch zijn (bijvoorbeeld 2 jaar oude afbeeldingen die u "voor het geval dat" bewaart) hoeven niet elke nacht een back-up te maken, of zelfs elke week, moet deze worden gearchiveerd. Wat u feitelijk doet, is misschien complexer, maar conceptueel kunnen alle oude foto's worden weggeschreven naar tape (meerdere kopieën!) En niet meer worden geback-upt.

Op basis van uw opmerkingen, enkele aanvullende gedachten:

  • Omdat je de originelen van elke shoot onaangeroerd houdt en aan een kopie werkt, en ervan uitgaand dat ten minste enkele van de originele foto's blindgangers zijn, kun je mogelijk de hoeveelheid data die een back-up moet maken in tweeën snijden.

  • Als u nog steeds geen volledige back-up kunt maken binnen een bepaald venster dat u hebt, is een gebruikelijke manier om de snelheid te versnellen eerst een back-up van schijf naar schijf maken en vervolgens de back-upset kopiëren naar tape.


110
2017-12-12 04:19



De originele opname wordt onaangeroerd opgeslagen, waarna een andere kopie van de fotoshoot wordt gebruikt voor bewerking. De gegevens moeten mogelijk ongeveer 2 jaar worden bewaard. - Jesus Fidalgo
+1 Goed gezegd. Het verbaast me hoe het verschil tussen Back-up en Archief over het algemeen slecht wordt begrepen. Ik maak volledige en incrementele back-ups van mijn systeem en efemere gegevens zoals e-mail en documenten, maar archiveer mijn fotografie (1.2TB en groeien :-). Ik wou dat ik nog een +1 kon geven voor de suggestie van schijf naar schijf. - Ex Umbris
+1 Ik durf te wedden dat 80% van de gegevens op de NAS nooit meer dan één keer wordt gebruikt. - Stefan Lasiewski
+1 De beste optie is om dagelijks en zelfs per uur schijf naar delta-overdracht te doen om wijzigingen vast te leggen en vervolgens de volledige of incrementele back-ups wekelijks of semi-wekelijks naar een archief of een externe leverancier / locatie te verzenden. Vroeger maakten we om de 15 minuten deltaback-ups van onze SQL-bestanden om de hoeveelheid gegevensverlies in een DR-scenario te verminderen. - Brent Pabst


Je hebt twee opties:

Optie 1:

  1. Koop een andere NAS
  2. Geef uw gebruikers RO toegang tot de nieuwe_NAS
  3. Verplaats alle bestanden ouder dan 2 jaar naar new_NAS
  4. Blijf zoals gewoonlijk een back-up maken van old_NAS
  5. Verplaats elke 6 maanden bestanden die ouder zijn dan 2 jaar naar new_NAS

Optie 2:

  1. Koop een andere NAS
  2. Rennen rsync elk uur: old_NAS -> new_NAS

    of, gebruik zoiets beter rdiff-backup waarbij rsync + delta's bijhoudt met bestandswijzigingen (je kunt oudere versies van de bestanden herstellen)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. Elke zes maanden maak je oude bestanden schoon met zoiets als:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





Waarom moeten uw back-ups 's nachts worden voltooid? Bestandserverprestaties? U kunt mogelijk de bandbreedte van uw back-up-software beperken om de impact overdag te beperken. Of wijdt een interface op uw NAS aan om met de tapedrive te praten om de impact op ander verkeer te beperken.

Kun je in het weekend volledige stortplaatsen uitvoeren en alleen incrementals doen tijdens de week? Als het probleem verandert van banden in het weekend wanneer er niemand in de buurt is, kost een goedkope bandenbibliotheek / autowisselaar veel minder dan iemand betalen om van band te veranderen.

Kunt u uw gegevens segmenteren in meerdere groepen die klein genoeg zijn om in uw back-upvenster te voltooien?

We hebben ongeveer 50 TB aan gegevens op onze NAS en het duurt meer dan een week om een ​​volledige dump van het hele ding te krijgen met behulp van 2 tapedrives (één volume duurt bijna een week zelf omdat het veel kleine bestanden bevat). Wat we doen is onze gegevens repliceren naar een tweede NAS. Onze secundaire NAS is on-site (maar in een ander datacenter dan de primaire), dus we spoolen de gegevens nog steeds uit naar tape voor externe back-up. We voeren back-ups van die secundaire NAS, dus back-ups vertragen niemand.

Als u uw secundaire NAS ver genoeg weg kunt coloceren, dan kan het uw backup zijn, er zijn geen tapes nodig.


2
2017-12-12 18:47





Ik twijfel alleen aan de grootte van elke opnamesessie, is het echt 100 gb / sessie? Hoeveel sessies doet uw bedrijf elke maand?

Omdat u meestal oude sessies opslaat die niet vaak worden gebruikt, enzovoort, en deze informatie waarschijnlijk niet vaak hoeft te herstellen, raad ik u aan om de services van een bepaald bedrijf te gebruiken om voor u te zorgen. .

Alleen al het opslaan van die 20TB met een online dienst als Amazon Glacier kost iets meer dan $ 200 / maand. Als u die archieven regelmatig moet ophalen of zelfs volledig wilt herstellen, zou dit enige tijd / kostenbeperkingen met zich meebrengen. Als je die dingen gewoon opslaat "om er zeker van te zijn dat ze zijn opgeslagen", kan het gebruik van een derde deel je leven gemakkelijker maken (en zelfs goedkoper dan het kopen van een andere NAS, tapes, enz.)


1
2017-12-12 12:15



100 GB per sessie klinkt een beetje hoog voor me, maar niet onredelijk. We hadden gewoonlijk een sessie van 32+ GB, waar ik vroeger werkte, en onze apparatuur was van gemiddelde duur. - Tom Marthenal


full backups of this server are not completing overnight
Probeer dan incrementele back-ups? Eén volledige back-up om de xx dagen, de rest incrementeel.

Harddisks zijn goedkoop, sneller dan tapes en kunnen worden gebruikt voor back-up.

Er zijn ook goede alternatieven voor cloudback-ups, dus het is niet nodig om steeds meer en snellere tapes toe te voegen.
Bijvoorbeeld:


1
2017-12-12 13:47



Kijk naar de reacties - het zijn de wekelijkse taken die niet worden voltooid. Daarnaast zijn cloudback-ups voor 20TB aan gegevens ... geen goed idee. De "goedkope" optie van Amazon Glacier kost ~ 2500 / jr, en het ophalen van al die gegevens kost ~ $ 36.000. - HopelessN00b
Dat is eigenlijk niet veel. - Sirex
Ik denk dat het een kwestie van mening is als $ 2400 / jr veel is voor 20TB relatief veilige en volledig onderhoudsvrije opslag. Geen stroomverbruik, geen koeling, geen falende hardware, geen SLA, neemt geen rackruimte in beslag. En zoals bij de meeste systemen zou je ongeveer 0 volledige herstelbewerkingen moeten verwachten. En als je een herstel nodig hebt, is de prijs meer $ 1800 dan $ 36000 (niet zeker waar je dat nummer vandaan hebt). - Tedd Hansen
Voor de gletsjer is de $ 36K redelijk dichtbij. Ik bereken het ruwweg als $ 42K voor ophaalkosten van 20TB. Het is echter nog steeds niet veel. De bandbreedte is meer een probleem. - Sirex


Ik denk dat de beste oplossing hiervoor is wat we doen met onze salarisgegevens, die je een minimale inspanning zou moeten leveren.

  • In eerste instantie wordt het bijgehouden met de rest van de servergegevens waarvan dagelijks een back-up is gemaakt. Onze bewaartermijn voor die back-ups is 13 maanden.

  • Zodra we niet langer verwachten dat de gegevens moeten worden aangepast, (twee betaalperiodes later, IIRC), worden de gegevens (via het script) opgeslagen in een archiefvolume dat is uitgesloten van de reguliere back-ups.

  • Het archiefvolume wordt jaarlijks op band opgeslagen en de banden worden naar Cintas gestuurd voor onbeperkte opslag.

Dit stelt ons in staat om gemakkelijke, online toegang te hebben tot die onveranderlijke gegevens (dus we hoeven geen band op te roepen wanneer een accountant ergens naar wil kijken), terwijl we archieven van onbeperkte off-site onderhouden van gegevens die we mogelijk voor altijd moeten bewaren en zonder ons back-upsysteem te verpletteren. Het lijkt erop dat hetzelfde type installatie voor u zou kunnen werken, hoewel u misschien de hoeveelheid gegevens wilt aanpassen die u online bewaart, afhankelijk van uw behoeften om deze gegevens tijdig te raadplegen - 20 TB aan opslag van bedrijfsklasse is een stuk duurder dan het archiveren naar twee of drie sets LTO5-tapes die u opbergt in kluizen buiten de locatie.


1
2017-12-12 16:58





Misschien kunt u uw eigen bouwen Backblaze Pod: 135Tb voor 7384 $
Klik hier voor meer informatie: Backblaze Pod building info

Je kunt de benodigde stukjes kopen en het zelf bouwen.

Misschien kunt u er 3 van maken en 2 ter plaatse en 1 offsite bewaren. Vervolgens kunt u een pod gebruiken als de "online gegevens", de tweede onsite pod als een back-up van de eerste pod, en de derde off-site pod als externe back-up voor noodgevallen.

Met 135 TB aan opslagruimte voor elke pod kunt u zelfs nadenken over het bijhouden van de geschiedenis van de wijziging ...
135Tb / 20Tb = 19 volledige back-upkopie.
Als alternatief kunt u 10 volledige back-up plus een belachelijke hoeveelheid differentiële back-up.

Natuurlijk, als je een externe back-up wilt, heb je een soort grote bandbreedte nodig ... :-)


0
2017-12-18 08:28



Als uw gegevens en uw werk belangrijk voor u zijn, zou u niet moeten proberen om uw eigen backblaze-pod helemaal opnieuw te bouwen. Het lijkt me een goed idee, totdat je je realiseert dat je al je eieren in een hele grote mand stopt. Erger nog, die mand is niet grondig getest als een geïntegreerd geheel. De backblaze-geheime saus is de softwarereplicatie in veel pods, waardoor volledige pods naadloos kunnen mislukken. Ik zou in plaats daarvan een supermicro-opslagserver, centos, xfs en rdiff-backup aanraden. - bugaboo


Mijn collega kocht een Synology 8-disk NAS. Het heeft een hybride RAID. Hij kocht een paar weken geleden acht 3TB Seagate Barracuda van NewEgg voor $ 89 per stuk. U kunt een rsync-mirror maken van de productie-NAS naar deze nieuwe NAS via GigaBit. Aangezien u alleen de verschillen overdraagt, duurt de overdracht korter. Vervolgens kunt u de back-up NAS gebruiken om volledige of incrementele taken uit te voeren. De kosten voor jou zouden lager zijn dan $ 2000 voor een back-up NAS.


-1
2017-12-12 16:38