Come eliminare il backup di nastro e il servizio di archiviazione fuori sede?

LEGGERE L'AGGIORNAMENTO AL FONDO. GRAZIE! 😉

Informazioni sull'ambiente (tutte le windows):

  • 2 siti
  • 30 siti server # 1 (3TB di dati di backup)
  • 5 siti server # 2 (1 TB di dati di backup)
  • Il sito di collegamento # 1 del tunnel della spina dorsale MPLS e il sito # 2

Processo di backup corrente:

Backup in linea (disco a disco)

Il sito # 1 ha un server che esegue Symantec Backup Exec 12.5 con quattro dischi USB 2.0 da 1TB. I lavori di BE per i backup completi eseguiti each notte su tutti i server nel sito # 1 a questi dischi. Il sito # 2 torna su un file server centrale usando il software che avevano già quando li abbiamo acquistati. Un lavoro BE tira i dati di notte al sito # 1 e li memorizza su tali dischi.

Backup fuori sito (nastro)

Collegato al nostro server di backup è un'unità nastro. BE support i dischi esterni a nastro una volta alla settimana che viene prelevato dalla nostra società di storage fuori sede. Ovviamente abbiamo ruotato due librerie a nastro, uno è sempre qui e uno è sempre lì.

Requisiti:

  • Eliminare la necessità di un servizio di archiviazione a nastro e off-site facendo disk-to-disk in each sito e replicando il sito # 1 al sito # 2 e viceversa.
  • La soluzione basata su software come opzioni hardware è stata troppo costosa (ad esempio, SonicWall, Arkeia).
  • Agenti per Exchange, SharePoint e SQL.

Alcune idee finora:

Conservazione

DroboPro in each sito con un iniziale 8 TB di archiviazione (questi sono espandibili fino a 16 TB attualmente). Mi piacciono perché sono rack-mountable, consentono dischi diversi e hanno interfacce iSCSI. Sono anche relativamente economici.

Software

Symantec Backup Exec 12.5 dispone già di tutti gli agenti e le licenze necessari. Vorrei continuare ad usarlo a less che non esista una soluzione migliore, altrettanto costosa, che fa tutto BE, più deduplicazione e replica.

server

Poiché non esiste più bisogno di una scheda SCSI (per l'unità a nastro), stiamo virtualizzando il nostro server di backup in quanto è l'unica macchina fisica salvata per le caselle SQL.

I problemi:

  • Quando si replica tra i siti vogliamo il minor numero di dati possibili per attraversare il pipe. Non c'è alcuna deduplicazione o compressione in quanto ho fin qui messo.
  • I file che vengono replicati sono le librerie a nastro virtuali di BE dal nostro backup su disco. A causa di questo ognuno di quei file enormi passerà attraverso il filo each settimana perché cambiano each giorno.

E infine, la domanda:

C'è un software là fuori che fa deduplicazione, o alless compressione, per gestire solo la nostra replica sito-to-site? O, guardando la nostra configuration, c'è un'altra soluzione che mi manca che potrebbe essere più conveniente, più veloce e migliore?

Grazie. Mi dispiace tanto.

UPDATE 2:

Ho impostato una bontà su questa domanda per get più attenzione. Sto cercando software che gestisca la replica dei dati tra due siti utilizzando la minima quantità di dati possibili (compressione, deduplicazione o altro metodo). Qualcosa di simile al rsync functionrebbe, ma deve essere nativo in Windows e non una port che coinvolge i dodanti per alzarsi e correre. Preferisco un prodotto basato su GUI e non mi dispiace bombardare alcune ossa se funziona.

Per favore, risposte che soddisfano solo i criteri di cui sopra. Se non pensi di esistere o se pensi di essere restrittivo, tenerlo a te stesso. Se dopo sette giorni non esiste alcuna risposta, così lo sia. Grazie ancora a tutti.

UPDATE 2:

Apprezzo veramente tutti coloro che vengono avanti con suggerimenti. Non c'è modo di provare tutte queste cose prima che scada la bontà. Per ora ho intenzione di lasciare che questa bounty esaurisca e chi ha più voti otterrà i 100 punti rep. Grazie ancora!

  • È ansible la replica in tempo reale o sincrona sul collegamento WAN?
  • Replica MySQL per-database?
  • task remoto Powershell task pianificato
  • MySQL: replica del database MySQL
  • Opzioni per la replica continua in una sola volta di decine di milioni di file su Windows Server?
  • Come forzare la replica di directory triggers da una CC all'altra
  • mirroring filesystem su alcuni server
  • DFSr ha rilevato che un file è stato modificato su più server, ma il file "vincente" e quello spostato nella cartella di conflitti hanno lo stesso hash
  • 18 Solutions collect form web for “Come eliminare il backup di nastro e il servizio di archiviazione fuori sede?”

    Windows Server 2003 R2 e versioni successive hanno il supporto per DFSR, che ho usato ampiamente per sincronizzare e sostenere grandi quantità di dati su un pipe piuttosto piccolo in tre siti (80GB + sopra una topologia T1 <-> T1 <-> T1).

    msdn.microsoft.com/en-us/library/bb540025(VS.85).aspx

    La replica dei dati a più server aumenta la disponibilità dei dati e dà agli utenti in siti remoti un accesso veloce e affidabile ai file. DFSR utilizza un nuovo algorithm di compressione denominato Remote Differential Compression (RDC). RDC è un protocollo "diff over the wire" che può essere utilizzato per aggiornare in modo efficiente i file su una networking a banda limitata. RDC rileva inserzioni, rimozioni e riordini di dati nei file, consentendo al DFSR di replicare solo i delti (modifiche) quando i file vengono aggiornati.

    DFSR è completamente multimaster e può essere configurato comunque. Questo manterrà i tuoi dati in sincronia sulla posizione di backup, per una piccola quantità di width di banda e CPU. Da qui è ansible utilizzare il servizio Copia Shadow Volume.

    technet.microsoft.com/en-us/library/cc785914.aspx

    Il servizio di copia shadow volume può produrre copie shadow coerenti, coordinando con applicazioni aziendali, servizi di file system, applicazioni di backup, soluzioni di recupero veloce e hardware di archiviazione. Diverse funzionalità dei sisthemes operativi Windows Server 2003 utilizzano il servizio di copia shadow volume, incluse copie shadow per cartelle condivise e backup.

    Le copie shadow risiedono sul disco e non hanno "spazio" a parte i file modificati da un'istantanea allo snapshot. Questo è un process che può essere eseguito su un set di dati dal vivo senza effetti negativi, oltre ad aumentare leggermente l'I / O del disco mentre viene creata l'istantanea.

    Ho usato questa soluzione per un bel po 'di tempo con grande successo. Le modifiche ai file sono state scritte negli altri siti in pochi secondi (anche sui collegamenti a bassa width di banda), anche nei casi in cui solo alcuni byte di un file molto grande cambiano. Le istantanee possono essere accessibili in modo indipendente da qualsiasi altra istantanea presa in qualsiasi momento, che fornisce sia i backup in caso di emergenza e molto poco sovraccarico. Ho impostato le istantanee a fuoco a intervalli di 5 ore, oltre a una volta prima del giorno lavorativo iniziato, una volta durante l'ora di pranzo e una volta dopo il giorno era finita.

    Con questo, potresti memorizzare tutti i dati in parallelo in entrambi i luoghi, mantenendolo relativamente aggiornato e "eseguito il backup" (che è veramente versato, veramente) quanto spesso lo desideri.

    Il client di copia Shadow può essere installato nei computer client per consentire loro di accedere ai file di versione.

    http://www.microsoft.com/downloads/details.aspx?FamilyId=E382358F-33C3-4DE7-ACD8-A33AC92D295E&displaylang=en

    Se un utente elimina accidentalmente un file, può fare clic con il button destro del mouse sulla cartella, sulle properties;, sulle copie in ombra, select l'ultima istantanea e copiarla dall'istantanea e nella copia dal vivo, a destra where appartiene.

    I backup di MSSQL possono essere scritti in una specifica cartella (o condivisione di networking) che verrà automaticamente sincronizzata tra i siti e versioni in un programma definito.

    Ho scoperto che la ridondanza dei dati e la versione con questi possono agire come un sistema di backup impressionante. Inoltre ti dà l'opzione di copiare un determinato snapshot in fuori sede senza interferire con il stream di lavoro, in quanto i file da cui si legge non sono in uso …

    Questo dovrebbe funzionare con la configuration, in quanto il secondo sito di backup può essere configurato come un solo sync / mirror di sola lettura.

    Windows non è la mia area di competenza, ma rsync può aiutare a get i backup da un sito all'altro. Rsync funziona riducendo i file in blocchi più piccoli e quindi trasferisce solo i blocchi che sono stati modificati in tutta la networking. Può anche comprimere i dati mentre lo invia.

    Ci sono alcune versioni per Windows là fuori, ma non li ho mai utilizzati in modo da non posso commentare su come funzionano bene. Con cygwin è ansible get rsync sulle windows ma questo può rendere le cose un po 'disordinate. Ma idealmente si dovrebbe trovare un client rsync per le windows che ti permetterà di utilizzare le attività pianificate per automatizzare l'esecuzione.

    Edit:

    Stiamo usando "SureSync" da Software perseguimento (vedi http://www.softwarepursuits.com/SureSync/SureSync.asp ) per replicare i dati tra un server di produzione e standby nel sito remoto di un cliente con grande successo. Si tratta di un'applicazione Windows nativa, che funge da servizio per le macchine editori e abbonati, copia deltas, mantiene la sicurezza, segue il diario di cambiamento di NTFS e in generale si è scosso per le nostre esigenze.

    (Il nostro cliente particolare che lo fa ancora ha la tradizionale rotazione del backup del nastro off-site. Penso che tu abbia ancora bisogno di backup offline e non posso rispondere alla tua domanda in buona coscienza senza lasciare intatta la parte della mia risposta, ma io posso dirvi che SureSync è stato grande. Leggi alcuni dei changelogs sul prodotto – è chiaro a me che il produttore è davvero, molto attento ai dettagli.)


    Un'osservazione: se elimini il nastro, stai eliminando l'archiviazione offline. Off-site è una cosa, ma offline è una cosa diversa. Quando un attaccante a distanza distrugge il tuo sistema di produzione, è veramente bello avere un divario tra i nastri e l'unità a nastro per impedire loro di distruggere i backup.

    È necessario disporre di backup di siti esterni, e hai bisogno anche di backup in modalità offline.

    E 'anche molto difficile avere un terzo indipendente fare un ripristino di test e verifica dei dati senza qualcosa di simile a nastro. Forse nel tuo settore non è una preoccupazione, ma ho lavorato per le istituzioni finanziarie che hanno inviato i propri dati, via nastro, fuori sede a una terza parte per verificare indipendentemente l'integrità dei loro dati, sia in termini di "restaurazione" e da un "vediamo se i tuoi totali si confrontano correttamente con i totali che calcoleremo in un'installazione attendibile della tua applicazione utilizzando solo i tuoi dati come input".

    Se vuoi aumentare la velocità del tuo sito alla replica del sito, puoi guardare in un acceleratore WAN. Ci sono diversi sul mercato. Un altro amministratore ha appena consigliato quelli da Riverbed a me: http://www.riverbed.com/index.php?cnt=1

    Essenzialmente comprimono i dati prima di inviarli e decomprimono i dati dopo la ricezione. E 'perfetto per l'utente.

    BackupExec non rende questo facile. Idealmente, dovresti avere la possibilità di copiare un backup in qualche luogo e non sono sicuro che BE lo abbia .

    Ecco cosa dovrei build se utilizzo HP Data Protector in questo ambiente. Ha una copia per i lavori. Ha anche un'opzione di de-duplicazione, ma sarei molto attento a quello sui file system con più di 500K di file su di esso.

    • Unità disco in entrambe le posizioni Sarà necessario per la replica DR
    • Continuare i backup in entrambe le posizioni
    • Utilizza un lavoro di copia il lunedì per copiare i lavori di fine settimana sul sito remoto Una volta alla settimana, copia il tuo backup completo dal nastro all'allineamento del disco remoto del data center. Il database DP tiene traccia di entrambi i processi di backup.
    • Impostare la scadenza del lavoro B2D in modo appropriato Determinare quante copie remote necessarie nella posizione remota e impostare correttamente il periodo di conservazione dei dati nel process di copia. Questo può essere un intervallo separato rispetto alla ritenzione della rotazione del nastro.

    Credo che puoi impostare i backup dei dischi per utilizzare la compressione, ma questo rallenterà veramente le velocità di backup, come farà nel software.

    Il DataProtector dedupe funziona solo per i server di file su Windows e Linux. Non eliminerà Exchange / MS-SQL / Sharepoint.

    IBM ha acquisito una società precedentemente denominata "Softek" che ha una soluzione software chiamata Replicator. È la replica del livello di block che viene eseguito su TCP / IP. Una volta completata la sincronizzazione iniziale, solo i blocchi modificati vengono copiati sul sito remoto. Quindi, solo perché uno dei tuoi file BE enormi viene modificato in qualche modo non sarebbe necessario copiare l'integer file. Si tratta di un'applicazione Windows nativa, di una console di facile utilizzo ed è un ottimo modo per gestire la sincronizzazione dei dischi su una networking.

    Replicatore IBM / Softek

    Ho avuto un'edizione simile circa un anno fa e ho guardato tutto da robocopy e rsync agli acceleratori Cisco WAAS e WAN. Alla fine mi sono imbattuto in una stupida soluzione economica che funziona ottimamente per una sicura e veloce delta di sincronizzazione di file tra siti. La sincronizzazione del Delta è la chiave. La maggior parte, se non tutti, i client P2P eseguono solo sincronizzazione file completi.

    PowerFolder
    Ha una modalità LAN-only, che consente di specificare quali set di IP consentiranno ai clienti di connettersi. Ha anche un ottimo mix di modalità di trasferimento.

    C'era un po 'di scavo per get le cose esattamente come volevo. I ragazzi del Powerfolder non sono sicuramente sviluppatori UI, ma il supporto è stato estremamente utile e la loro documentazione wiki è ottima anche se la function di ricerca sul wiki non è. 🙂

    Non siamo ancora in una soluzione in linea per Exchange, SQL e Sharepoint, ma salvare un backup dei database su disco e aver Powerfolder sincronizzati è abbastanza tranquilla per noi.

    Questa soluzione funziona bene e la società lo ama in quanto costa less di $ 100 (esclusi gli orari di lavoro per la ricerca e l'installazione) da implementare.

    Sorprende che Powerfolder non sia più noto.

    PS – mi dispiace per la mancanza di collegamenti (Modalità solo LAN, modi di trasferimento, ecc.). "i nuovi utenti possono submit un massimo di un collegamento ipertestuale"

    Per quanto mi odio dirlo, il modo più semplice e veloce per eseguire backup multi-sito è con una buona archiviazione di archiviazione. Sia Dell / EqualLogic che HP / LeftHand hanno software incorporato nei loro prodotti SAN che consentiranno backup costanti costanti in più SAN. Sono veloci e facili da configurare, ma non possono essere la soluzione più economica.

    Aggiunta di una nuova opzione a questo thread in esecuzione.

    Il software che abbiamo iniziato ad utilizzare è stato realizzato da AppAssure (ora acquistato da Dell). Il nome del prodotto è chiamato Replay.

    è progettato per i server Windows che esegue il backup su disco e c'è un'opzione di replica che consente di copiare automaticamente le istantanee in un sito remoto.

    Comprende la deduplicazione automatica, il rollup automatico della versione e la replica è abbastanza efficiente e può essere programmata in caso di fuori orario anche se le istantanee di backup stanno accadendo tutto il giorno a partire da 15 minuti o each ora.

    Solo le modifiche vengono inviate sulla WAN non una copia completa dei dati e se avete bisogno di una nuova copia completa di dati è ansible scaricare il backup iniziale su un disco esterno e spedire questo verso il sito remoto da importre a ti salva dal wherer submit un backup completo sulla WAN per la sincronizzazione iniziale.

    Per i dischi di backup un compagno perfetto è il sistema Drobo B800i Iscsi san. È relativamente a buon mercato, prende la merce dagli scaffali SATA e dispone di performance ragionevoli per fare i backup (ma non abbastanza buoni per fare qualcosa di troppo pesante come gli host VMWare ESX o l'hosting di dati SQL). C'è un motivo per cui Drobo non pubblica i dati sulle performance B800i, è abbastanza bassa rispetto a qualcosa come un PS di Equalogic PS, o qualsiasi cosa dai grandi produttori di SAN come EMC o HP. Ma è grande come l'archiviazione di un disco a disco.

    Una cosa da considerare. Quanto tempo dovrai tenere istantanee / backup su disco? Il nastro è generalmente usato per l'archiviazione a lungo termine. Se devo ripristinare un'email che è stata eliminata un anno fa, vado a nastro. A less che non continui a conservare il disco in quel momento senza eliminare, stai eliminando una gran parte della tua capacità di ripristinare i dati.

    Per la velocità, la facilità d'uso e il prezzo dovreste veramente guardare un apparecchio di deduzione target come ExaGrid. Funzionamento veloce e veloce, con replica a un sito DR. Eliminare completamente il nastro. http://www.exagrid.com

    Abbiamo due server A e B.

    Server A Esegue un nodo primario per SQL Server (primario) IIS 6.0 Bilanciamento del carico di networking (NLB) Servizio file replicato

    Server Nodo Secondario (Failover per Server A) per SQL Server IIS 6.0 NLB Servizio file replicato

    Se A scende allora tutti i dati sono su B e viceversa. I file vengono replicati tramite l'agente di replica che si occupa dei nostri siti web e questo viene aggiornato each volta che i file sono cambiati in un server. I dati vengono rispecchiati alla macchina di failover, quindi se A scende, B assume automaticamente il ruolo del DB primario. Con NLB l'utente finale non ha bisogno di sapere quale server stanno colpendo, in modo da ridurre al minimo i tempi di inattività e la necessità di preoccuparsi di molte problematiche di configuration.

    Oltre a questo, abbiamo ancora un backup del DB regolarmente e i file vengono salvati fuori sede. Se i dati sono molto cari, probabilmente dovrai considerare un mezzo hardware per il tuo backup, ma se i cambiamenti sono scarsi each giorno, allora potresti considerare un servizio di backup online in quel caso.

    I tuoi dati sono la tua reputazione e la tua attività Qualunque cosa tu fai spendere i soldi per garantire che i tuoi dati siano sicuri al giorno in cui lo sciolga tutto o è corrotto il costo di una solida soluzione di backup ora sembrerà penny allora.

    La prima cosa che cercherò di fare in questo ambiente è eliminare i server del sito più piccolo. La fattibilità di fare questo dipende da molti fattori, come il numero di utenti, la disponibilità della width di banda, il tipo di dati che andrebbe attraverso il collegamento e così via. Suppongo che con 5 server stiamo parlando di un numero relativamente piccolo di utenti, quindi indagando su una soluzione Riverbed o equivalente (eventualmente eseguito il backup di un dispositivo di printing hardware e utilizzando il router per gestire DHCP e la cache DNS locale) può essere economicamente più vincente rispetto al mantenimento di server / etc, semplificherebbe notevolmente il tuo setup e complessivamente porterebbe ad una riduzione del sovraccarico amministrativo, dei livelli di servizio migliori e così via.

    Dovresti dare un'occhiata alla robocoppia , o, se hai bisogno di una gui, richcopy . Entrambi gli strumenti sono multithreaded, veloci, efficienti e hanno molte opzioni per la fusione e la sincronizzazione. È ansible utilizzare in combinazione con il command di database di backup di osql (per il backup DB) e l'esmerge (per il backup di scambio a livello di mattone) e può creare un'operazione semplice pianificata per l'automazione.

    Questo può sembrare un po 'folle, ma ho ricorso a un sistema di controllo di versione per spingere i file di backup in un unico repository che mi salva in modo religioso. Si tratta di un model a razzo e hub (non distribuito come git) e ho trovato una moltitudine di clienti. La cosa veramente buona è la pista di controllo e facile get i backup utilizzando i clienti quasi onnipresenti per il sistema di controllo delle versioni. La duplicazione è qualcosa che è stato un objective fondamentale per i sisthemes di controllo delle versioni e alcuni di loro eseguono vari controlli e copie poco profonde quando gli stessi dati arrivano più di una volta.

    Utilizzo personalmente di Unison per sincronizzare i siti. È ben supportto sulle windows, sincronizza solo blocchi di dati modificati come rsync, ha una GUI facile da usare e è libera sia come discorso e birra. Ho impostato per backup di 16TB e funziona bene.

    Potresti semplicemente replicare i tuoi backup VTL da ciascun sito all'altro e questo è il problema.

    Se non hai già guardato, controlla Data Protection Manager (DPM).

    http://www.microsoft.com/systemcenter/dataprotectionmanager/en/us/default.aspx

    Sono in fase di messa a punto per uso interno. Non conosco ancora tutti gli insetti. Non sapevo che Microsoft avesse offerto un simile prodotto fino a poco tempo fa.

    So che farà il delta diff, ma non è sicuro delle tue esigenze di replica.

    Controllare EVault Express Recovery Appliance

    http://www.i365.com/disaster-recovery/index.html

    Si tratta di un sistema basato su disco che fa offsite come un servizio o è ansible utilizzare il proprio sistema di evault. E 'facile sulla width di banda e backup veloci / ripristini.

    Ho usato alcune soluzioni di backup popolari e questo è stato di gran lunga il più facile da imparare / utilizzare. Il servizio era anche 10 volte migliore.

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.