Splunk è incredibilmente costoso: quali sono le alternative?

Possibile duplicazione:
Alternative a Splunk?

Questo è stato discusso, ma è passato parecchi mesi, quindi potrebbe essere il momento di rivisitarlo:

Discussioni precedenti RE Alternative Splunk

Per il record, splunk rocce. Ma il prezzo è semplicemente al di là di quello che possiamo considerare (quando ho parlato con Splunk oggi, il costo per un sistema di indexing di 5 GB / giorno di dati è superiore a $ 30.000.)

Ciò è più che spendiamo su SQL Server (da un grande multiplo), più che spendiamo su un rack di server (da un multiplo), ecc.

Il team di vendita splunk è corretto (che per $ 30K ottieniamo più valore e funzionalità rispetto a se spendiamo lo stesso edificio il nostro sistema), ma non import. Il costo di splunk è semplicemente troppo alto (da un multiplo).

Soooooo, stiamo guardando intorno!

Qualcuno là fuori costruendo un sistema di splunk come un sistema?

Il nostro bisogno fondamentale:

  • In grado di ascoltare messaggi di syslog su porte multiple di udp
  • In grado di indirizzare i dati in ingresso in modo asincrono
  • Qualche tipo di motore di ricerca
  • Un tipo di UI
  • Un API al motore di ricerca (da incorporare nella nostra console)

Attualmente abbiamo bisogno di indicizzare 3-5 gb / giorno, ma dobbiamo essere in grado di scalare fino a 10 gb / giorno o più. Non abbiamo bisogno di molta storia (30 giorni sono soddisfacenti).

Usiamo i server Windows 2008 e 2003.

Grazie per i tuoi pensieri!

UPDATE : Abbiamo trascorso due settimane a studiare opzioni commerciali e open source. La nostra conclusione: Scrivi il nostro (siamo una società di software … sappiamo scrivere le cose). Abbiamo costruito un grande sistema basato su mongodb e .NET che ci dà le funzioni che abbiamo bisogno di MongoDB in circa una settimana di ingegneria. Ora abbiamo completato la nostra implementazione. Utilizziamo due server Mongodb (master e slave) e sono in grado di registrare e indicizzare qualsiasi quantità di dati di log (5gb / day, 15gb / day, ecc.) Limitati solo dallo spazio su disco.

AGGIORNAMENTO ALLA AGGIORNAMENTO (dicembre, 2012) : Continuiamo ad utilizzare la nostra soluzione mongodb e funziona ottimamente! Se l'avessimo costruito oggi, avremmo deciso di costruirlo in cima all'elasticità.

OSSERVAZIONI : Questo spazio richiede una solida soluzione che è di $ 1000-3000 flat rate. I templates di licenza utilizzati dalle aziende commerciali si basano su templates di "milk the data center ops guys". Questo è il loro diritto (naturalmente!), Ma lascia uno spazio enorme aperto per qualcuno che entri sotto di loro. La mia ipotesi è che in un altro anno o due ci sarà una buona soluzione open source che sarà veramente utilizzabile.

Grazie a tutti per il tuo contributo (anche se è stato auto promozione).

  • rsyslog: come faccio a submit messaggi da tutte le macchine remote a un file?
  • Postfix - email di ricerca (logstash, greylog o altre soluzioni)
  • Registrazione di informazioni ssh usando il daemon syslog-ng in Cygwin
  • Come si usano le variables patterndb in syslog-ng?
  • Utilizzo del command di spegnimento del registro / messaggio
  • Alternative a Splunk?
  • Sono stati eseguiti tutti i registri di if / when "at" jobs?
  • Inconsueta crash server su EC2, syslog ha linea di ^ @ ^ @ ^ @ ^ @ ^ @
  • 2 Solutions collect form web for “Splunk è incredibilmente costoso: quali sono le alternative?”

    logstash è uno strumento per gestire events e registri. Puoi utilizzarla per raccogliere i registri, analizzarli e memorizzarli per un uso successivo (ad esempio, per la ricerca). Parlando di ricerca, logstash è dotato di un'interface web per la ricerca e la perforazione in tutti i registri.

    https://www.elastic.co/products/logstash

    E 'ancora piuttosto presto in fase di sviluppo, ma suona molto promettente e si muove velocemente.

    Non ho una matrix di confronto per quanto segue nella mia mente, specialmente quando si tratta di confronto con splunk:

    Questi sono alcuni strumenti completamente operativi:

    Octopussy http://www.octopussy.pm

    Logreport http://www.logreport.org/

    Snare: http://www.intersectalliance.com/projects/index.html

    Registro surfer: http://www.crypt.gen.nz/logsurfer/

    Analizzatore di registro: http://loganalyzer.adiscon.com/

    Timeline di log 2: http://log2timeline.net/#download (questo è più di uno strumento di analisi "timeline")

    Infine, se si desidera eseguire una codifica, ma possibilmente avere una soluzione più scalabile: (i seguenti sono strumenti per raccogliere i dati del registro, non è necessario distriggersre tutte le funzionalità della casella per cercare i dati.)

    Honu https://github.com/jboulon/Honu

    Chukwa http://wiki.apache.org/hadoop/Chukwa

    Flume http://archive.cloudera.com/cdh/3/flume/

    Modifica: Aggiunto questo link di confronto: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

    Modifica: Aggiunto Graylog2 : Aggiunto Logstash . Logstash è probabilmente il miglior posizionamento al giorno per diventare la "sostituzione splunk open source".

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.