Vraag Draag 10 TB aan bestanden over van het datacenter van de VS naar het VK


Ik migreer mijn server van de VS naar het Verenigd Koninkrijk van het ene datacenter naar het andere. Mijn gastheer zei dat ik 11 megabytes per seconde zou moeten kunnen bereiken.

Het besturingssysteem is aan beide kanten Windows Server 2008.

Mijn gemiddelde bestandsgrootte is ongeveer 100 MB en de gegevens zijn verdeeld over vijf 2 TB-schijven.

Wat zou de aanbevolen manier zijn om deze bestanden over te zetten?

  • FTP
  • SMB
  • Rsync / Robocopy
  • Andere?

Ik maak me niet al te druk om de beveiliging, dit zijn sowieso openbare bestanden, maar ik wil gewoon een oplossing die de volledige overdrachtssnelheid van 11 Mb / s kan pushen om de totale overdrachtstijd te minimaliseren.


91
2017-10-03 20:03


oorsprong


11 MB / s of 11 Mb / s? - wim
breng de gegevens over naar binaire ponskaart en gebruik een postduif :) - enterzero
Je moet details geven. Hoeveel koeriersduiven denk je dat het zou duren? Laat je werk zien. - Evik James
@Evik Europees of Afrikaans? - wim
Even terzijde, Wolfram Alpha is de handigste manier om de berekening te doen, "10 TB bij 11 MB / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


antwoorden:


Stuur in plaats daarvan harde schijven over de oceaan.

Bij 11 Mbps met volledige benutting, kijk je naar slechts 90 dagen verlegen om 10 TB over te dragen.


11 Mbps = 1,375 MBps = 116.015 GB / dag.

10240 GB / 116.015 GB / dag = ~ 88.3 dagen.


171
2017-10-03 20:14



+1 voor sneakernet. Bovendien bent u TCP / IP-overhead vergeten. Het is meer dan ~ 100 dagen onder ideale omstandigheden. - Chris S
Een wijze man zei ooit: "Onderschat nooit de bandbreedte van een stationwagon vol met banden die over de snelweg razen". Deze vergelijking is zeer waar en wordt niet wezenlijk veranderd door de stationwagen voor een boot te veranderen. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
Het is beter om tapes of Blueray-schijven te verzenden in plaats van schijven. Als u schijven meeneemt, moet u ervoor zorgen dat de originelen veilig en beschikbaar blijven voor het geval dat. Ik zou zelf voor de schijven gaan (tenzij ik Ultrium 4-schijven had) omdat 10 TB = 410 enkellaags Blueray-schijven zijn! - Allen
Ik heb me net gerealiseerd dat ik 11 Mbps getypt heb, maar wat ik eigenlijk bedoelde was 11MB / s. Ik veronderstel dat dit een groot verschil maakt, mijn berekeningen hebben het rond de 11-14 dagen ongeveer ... klopt dit? - Paul Hinett
geloof nog steeds dat het sturen van een man toezicht houdt op de back-up van 10TB terwijl de officiële schijf nog steeds werkt en als de installatie is voltooid, kunt u een rsync lunchen om de nieuwe server bij te werken voor elke wijziging. Je zou je machine binnen ongeveer een dag klaar hebben staan. - Loïc Faure-Lacroix


Ik zou rsync zeggen, bij 11 MB / s kijk je 10-14 dagen en zelfs als je wordt onderbroken, zal rsync gemakkelijk starten waar het de vorige keer is gestopt.

Bij 11 Mbps zou ik de harde schijven verzenden zoals hierboven gesuggereerd :)


25
2017-10-03 22:00



Uw schatting verschilt aanzienlijk van wat anderen hebben gepost (en ik weet niet wie het goed heeft). Kunt u uw methodiek leveren om tot die cijfers te komen? - John Gardeniers
Het verschil ontstaat doordat het OP 11 Mbps misstapte terwijl hij in feite 11 MBps betekende - wat 8 keer sneller is. Trouwens, het opnieuw opstarten van een rSync van 10 TB zal waarschijnlijk een tijdje duren, nietwaar? Uren of langer? - Frank Farmer
@FrankFarmer: ik zou me geen zorgen maken over het opnieuw opstarten van rsync; Ik bewaar een offsite-kopie van ~ 20TB via een draadloze 30Mbps-lijn en het opnieuw opstarten bevindt zich binnen het bereik van seconden. de eerste kopie duurde een paar weken, maar de nachtelijke update duurt meestal een paar uur. - Javier
@FrankFarmer - rsync lijkt erg goed te schalen. Ik heb een ~ 2TB via een landelijke ADSL1-lijn die met sneakernet werd geïnititaliseerd, maar het kost ~ 5 min om rsync elke nacht als er niets is veranderd. - Flexo
rsync herstart tijdschalen met aantal bestanden (voornamelijk van stattijd, in mijn ervaring), niet met totale gegevens. Ik verwacht geen significante wachttijd (hoogstens enkele minuten). Hoewel mijn ervaring met rsync bovenaan een kleine 5TB is. - derobert


Rsync natuurlijk.

Je kunt ten minste op elk moment na een pauze verdergaan, en het is zonder enige pijn.


14
2017-10-03 20:07



3+ maanden om te kopiëren bij 100% gebruik. Sorry, maar dat is een vreselijke manier om zoveel gegevens over te zetten. - Chris S
Ik moet het eens zijn met @ChrisS, met rsync gewoon om grote bestanden te kopiëren is niet efficiënt. Voor mijn spullen die ik uiteindelijk heb gebruikt tar over- netcat of ssh voor de eerste overdracht. Het is veel sneller en begint meteen over te zetten, terwijl rsync zal eerst alle bestanden scannen, wat tijd kost. Als dit wordt onderbroken, kunt u het nog steeds gebruiken rsync daarna. Sterker nog, ik doe dit soms na tar hoe dan ook om ervoor te zorgen dat alle machtigingen, socketbestanden, enz. correct zijn. - Martin Scharrer
Nadat de OP gecorrigeerd heeft dat hij ~ 100Mb verbinding heeft, niet 11Mb, maakt rsync veel meer zin. +1 voor de eerste om het te vermelden. - Chris S


Onderschat nooit de bandbreedte van een stationwagon vol met banden

- Trad.

In uw geval worden schijven of tapes verzonden per koerier, maar het principe is nog steeds van toepassing. Als u zich geen zorgen maakt over latentie, is dit aanzienlijk goedkoper dan de bandbreedte van het netwerk om 10TB aan gegevens binnen een redelijke tijdsduur over te zetten.


11
2017-10-04 11:32



Jeff Atwood had de cijfers in een van zijn oude Coding Horror-berichten .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


Gebruik rsync. Het zal samenpersen de gegevens en de-dupliceren het voor verzending. Het kan ook gedeeltelijke overdrachten hervatten, wat erg belangrijk is voor grote transfers.

Het is waarschijnlijk dat het geen 10 TB overdraagt; als het logs en tekst is en dergelijke, zou dit best onder de 1 TB kunnen liggen; misschien wel onder de 1 TB.

Er zijn tools die compressie beter uitvoeren dan rsync en waarschijnlijk meer overeenkomsten vinden. Je zou kunnen gebruiken lrzip, enz.

Er zijn specifieke soorten gegevens die niet goed comprimeren en geen letterlijke duplo's bevatten - video's en andere media bijvoorbeeld. In die gevallen doen FTP en rsync ongeveer hetzelfde.


9
2017-10-04 08:02



RSync dedupliceert gegevens? Ik denk dat dit alleen op bestandsniveau gebeurt, wat betekent dat deduplicatie in dit geval meestal nutteloos is. - devicenull


Ik weet dat dit al is geaccepteerd maar heb je overwogen om je schijven naar een datacenter / provider / host te brengen waar je meer bandbreedte kunt krijgen? Het kost je waarschijnlijk wat geld, maar het kopiëren van 10240 GB naar back-upschijven en het verzenden van zal ook zowel tijd als geld kosten (2 x geld).

Ook weet u zeker dat uw schijven niet breken tijdens het transport.


5
2017-10-04 07:13



Hoe is dit antwoord anders dan het geaccepteerde antwoord? - Chris S
@Chris Dit antwoord suggereert dat de schijven naar een grotere pijp op hetzelfde continent moeten worden getransporteerd. - Alex Jasmin


11Mbps? Dit is nogal een beperking die je hier hebt. In jouw situatie zou ik eenvoudig:

  • Kloon de gegevens
  • Comprimeer het
  • Huur servers aan beide kanten met minstens 10 keer meer bandbreedte (in dezelfde datacenters of aan uw kant in een datacenter bij u in de buurt).
  • Overdracht van de bestanden
  • Pas de gegevens toe op de nieuwe server.

Als je echt geen oplossing hebt om de bandbreedte te verhogen ... dan is het verzenden van een fysieke schijf veel sneller.

Vanuit mijn pijnlijke ervaring hebben harde schijven de neiging om in de e-mail te breken ... USB-flashstations zijn een veel betere oplossing voor frequente gegevensoverdrachten. In uw geval zou het een paar van hen vereisen :) Stuur dus 2 kopieën van uw gegevens op meerdere harde schijven.

Gezien de hoeveelheid gegevens die u hebt, kunt u ook schijven uit een RAID 5- of RAID 6-array verzenden als u dezelfde hardware / software aan de andere kant hebt om uw stations aan te sluiten. Vergeet echter niet om de volgorde van uw schijven te markeren en hun serienummers, dus bij het herconfigureren raken ze niet in de war.


4
2017-10-04 00:15



sorry, de 11Mbps was een mistype, het is 11MB / s ... ik heb in een van bovenstaande opmerkingen genoemd. - Paul Hinett