Come faccio a valutare la limitazione del google di indagine del mio block IP?

Ho diversi siti in una networking /24 che tutti vengono scansionati da google su una base piuttosto regolare. Normalmente questo va bene. Tuttavia, quando Google inizia a eseguire la scansione di tutti i siti contemporaneamente, il piccolo set di server che support questo block IP può richiedere un grande successo sul carico.

Con gli strumenti di webmaster google, è ansible definire il limite del googlebot su un determinato dominio, ma non ho trovato un modo per limitare il bot in una networking IP ancora. Chiunque ha esperienza con questo? Come hai risolto?

4 Solutions collect form web for “Come faccio a valutare la limitazione del google di indagine del mio block IP?”

Se si esegue BGP si potrebbe semplicemente limitare il limite AS15169 (AS-GOOGLE), ma la realizzazione a mano è probabile che sia troppo soggetta a errori.

Ho trovato queste note interessanti da perseguire

  1. Prendi un robots.txt intelligente e altri post di robots.txt
  2. Un post sul Dirty Little Secret di Google da parte di qualcuno in difficoltà con google bot
  3. Google crawler

Puoi andare a google e creare un account con lo strumento webmaster e quindi puoi controllare la frequenza di ricerca per each sito. Vai alla pagina Configurazione sito :: Impostazioni :: Crawl Rate. Questo non ti consente di programmare i tuoi siti in un certo ordine che non credo, ma puoi alless rallentarlo per tutti.

No, non roble. Hai voglia di metterlo in un robots.txt su each sito. Google – giustamente – non ha bisogno di un terreno per "proprietari di indirizzi IP", per così dire. Tutto il controllo viene dal robots.txt sui siti web.

Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.