Come aggiornare uno specchio del sito web creato con `wget –mirror`?

Un mese fa, ho usato " wget -mirror " per creare uno specchio del nostro sito pubblico per uso temporaneo durante una prossima window di manutenzione programmata. Il nostro sito primario esegue HTML, PHP e MySQL, ma lo specchio deve solo essere HTML, non è necessario alcun contenuto dinamico, PHP o database.

Il seguente command creerà un semplice mirror online del nostro sito web:

wget --mirror http://www.example.org/ 

Si noti che il manuale di Wget dice --mirror "è attualmente equivalente a -r -N -l inf --no-remove-listing " (L'equivalente leggibile dall'uomo è `–recursive –timestamping –level = inf – no-remove-listing.

Ora è un mese dopo, e molti dei contenuti del sito web sono cambiati. Voglio wget controllare tutte le pagine e scaricare tutte le pagine che sono cambiate. Tuttavia, questo non funziona.

La mia domanda:

Cosa devo fare per aggiornare lo specchio del sito, a less che non elimina la directory e non riesco a eseguire lo specchio?

Il file di livello superiore a http://www.example.org/index.html non è cambiato, ma ci sono molti altri file che sono stati modificati.

Ho pensato che wherevo solo eseguire wget --mirror , perché --mirror implica le bandiere --recursive "specificare il download ricorsivo" e --timestamping "non recuperare i file a less che non sia più nuovo di quello locale". Ho pensato che questo avrebbe controllato tutte le pagine e solo recuperare i file più recenti delle mie copie locali. Ho sbagliato?

Tuttavia, wget non recurse il sito al secondo tentativo. 'wget –mirror' verificherà http://www.example.org/index.html , nota che questa pagina non è cambiata e quindi si interrompe.

 --2010-06-29 10:14:07-- http://www.example.org/ Resolving www.example.org (www.example.org)... 10.10.6.100 Connecting to www.example.org (www.example.org)|10.10.6.100|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Server file no newer than local file "www.example.org/index.html" -- not retrieving. Loading robots.txt; please ignore errors. --2010-06-29 10:14:08-- http://www.example.org/robots.txt Connecting to www.example.org (www.example.org)|10.10.6.100|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 136 [text/plain] Saving to: “www.example.org/robots.txt” 0K 100% 6.48M=0s 2010-06-29 10:14:08 (6.48 MB/s) - "www.example.org/robots.txt" saved [136/136] --2010-06-29 10:14:08-- http://www.example.org/news/gallery/image-01.gif Reusing existing connection to www.example.org:80. HTTP request sent, awaiting response... 200 OK Length: 40741 (40K) [image/gif] Server file no newer than local file "www.example.org/news/gallery/image-01.gif" -- not retrieving. FINISHED --2010-06-29 10:14:08-- Downloaded: 1 files, 136 in 0s (6.48 MB/s) 

  • come scaricare il certificato ssl da un sito web?
  • Utilizzo dei certificati client con wget
  • Come faccio a pizzicare l'output di uptime / df per arricciarsi?
  • Trascina il file tar.gz dal server FTP
  • Come faccio a correggere gli errori di certificato quando si esegue wget su un URL HTTPS in Cygwin Windows?
  • wget funziona per tutti i siti sul web, ma non quello ospitato su quel server
  • Riavviare se il servizio tomcat7 non risponde
  • "Certificato rilasciato non ancora valido" con wget?
  • 4 Solutions collect form web for “Come aggiornare uno specchio del sito web creato con `wget –mirror`?”

    La soluzione seguente sembra funzionare per ora. Elimina forzatamente /index.html, che obbliga wget a controllare nuovamente tutti i collegamenti dei bambini. Tuttavia, non dovrebbe controllare automaticamente tutti i collegamenti dei bambini?

     rm www.example.org/index.html && wget --mirror http://www.example.org/ 

    wget -mirror -w 3 -p -P c: \ wget_files \ example2 ftp: // nomeutente: password@ftp.yourdomain.com

    questo è come faccio su Windows based machine http://www.devarticles.com/c/a/Web-Services/Website-Mirroring-With-wget/1/

    È ansible modificare il path della struttura della directory, provare a scaricare tutti i contenuti tramite ftp e vedere se ciò aiuta.

    Utilizzo anche un'altra utility su Windows "AllwaySync" funziona superba.

    Utilizzo l'interruttore -mirror per fare esattamente quello che stai chiedendo, cosa che fa sì che wget possa solo scaricare file più recenti in modo ricorsivo. In particolare, la linea di command (sanitizzata) è:

     /usr/bin/wget -v --mirror ftp://user:password@site/ -o /var/log/webmirror -P /var/WebSites 

    Puoi provare a utilizzare:

     wget -r -l inf -N http://www.example.org/ 
    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.