Vraag Splunk is fantastisch duur: wat zijn de alternatieven? [duplicaat]


Mogelijke duplicaten:
Alternatieven voor Splunk? 

Dit is besproken, maar het is al enkele maanden geleden, dus het is misschien tijd om het opnieuw te bekijken:

Eerder discussie RE Splunk alternatieven

Voor de goede orde, Splunk schommelt. Maar de prijsstelling gaat gewoon verder dan wat we kunnen overwegen (toen ik vandaag met Splunk sprak, zijn de kosten voor een systeem om 5 gb / dag aan gegevens te indexeren meer dan $ 30.000.)

Dat is meer dan we uitgeven aan SQL Server (door een groot aantal), meer dan we uitgeven aan een rack met servers (meerdere), enz.

Het splunk verkoopteam is correct (dat we voor $ 30K meer waarde en functionaliteit krijgen dan wanneer we hetzelfde gebouw ons eigen systeem uitgeven), maar dat doet er niet toe. De kosten van de splunk zijn gewoon te hoog (door een veelvoud).

Zoooooo, we zijn aan het rondkijken!

Is er iemand die een splunk-achtig systeem bouwt?

Onze basisbehoefte:

  • In staat om te luisteren naar syslog-berichten op meerdere udp-poorten
  • In staat om de binnenkomende gegevens op een asynchrone manier te indexeren
  • Een soort zoekmachine
  • Een soort gebruikersinterface
  • Een API naar de zoekmachine (om in onze console te embedden)

We moeten momenteel 3-5 gb / dag indexeren, maar moeten kunnen opschalen naar 10 gb / dag of meer. We hebben niet veel geschiedenis nodig (30 dagen is prima).

We gebruiken servers van Windows 2008 en 2003.

Bedankt voor je gedachten!

BIJWERKEN: We hebben twee weken lang onderzoek gedaan naar commerciële en open source-opties. Onze conclusie: schrijf de onze (we zijn een softwarebedrijf ... we weten hoe we dingen moeten schrijven). We hebben een geweldig systeem gebouwd op mongodb en .NET gebouwd dat ons de functies biedt die we nodig hebben van MongoDB in ongeveer één engineeringweek. We hebben nu onze implementatie voltooid. We gebruiken twee Mongodb-servers (master en slave) en kunnen elke hoeveelheid loggegevens (5 gb / dag, 15 gb / dag, enz.) Registreren en indexeren, alleen beperkt door schijfruimte.

UPDATE NAAR DE UPDATE (december 2012): We blijven onze mongodb-oplossing gebruiken en het werkt geweldig! Als we het vandaag aan het bouwen waren, zouden we sterk overwegen om het op de top van elasticsearch te bouwen.

OPMERKINGEN: Deze ruimte heeft een solide oplossing nodig die $ 1000-3000 vast is. De licentiemodellen die worden gebruikt door de commerciële bedrijven zijn gebaseerd op een "melk het datacenter ops" -modellen. Dat is hun recht (natuurlijk!), Maar het laat een ENORME ruimte open voor iemand om onder hen te komen. Mijn gok is dat er over een jaar of twee een goede open source-oplossing zal zijn die echt bruikbaar zal zijn.

Bedankt voor uw inbreng (zelfs als het om zelfpromotie ging).


49
2018-02-23 20:28


oorsprong


Het spijt me, maar je genereert echt 5 gb / dag van 4-8 servers (wat krijg je voor 30k, afhankelijk van de specificaties)? Ik zou willen voorstellen terug te gaan en echt te kijken naar wat u indexeert, ongeacht welke oplossing u kiest. - Zypher
Deze gegevens komen van een app (onze code), niet van een OS .... - samsmith
Ik vind Splunk eigenlijk heel goedkoop voor wat ik zelf ben, hoe dan ook, dit is een duplicaat, probeer in ieder geval eerst om de volgende keer te zoeken. Sluitend. - Chopper3
Hé, deze draad is eerlijk! Het linkt naar de andere thread, het bespreekt meer alternatieven dan de andere thread, en het is de enige thread die de harde kosten van de alternatieven bespreekt. Ik denk dat je haast hebt. - samsmith
Dit gaat allemaal goed en wel, ervan uitgaande dat je behoeften extreem gefocust zijn en niet zullen veranderen. Hoe meer ik echter over Splunk te weten kom, hoe meer ik de waarde ervan zie. Kan uw systeem gegevens uit een bestand importeren? Syslog? Een TCP-stream? Een crashrapport? Een REST-webservice? Een database? Kan het dan dat alles samen correleren en visualisaties bieden? Kan het meldingen maken? Kan het exporteren? Hoeveel kost het u om hiervoor aangepaste software te ontwikkelen? Disclaimer: Ik heb geen relatie met Splunk - Wade Williams


antwoorden:


logstash is een hulpmiddel voor het beheren van gebeurtenissen en logboeken. U kunt het gebruiken om logboeken te verzamelen, te parseren en op te slaan voor later gebruik (zoals voor zoeken). Over zoeken gesproken, logstash wordt geleverd met een webinterface voor zoeken en boren in al uw logboeken.

https://www.elastic.co/products/logstash

Het is nog vrij vroeg in ontwikkeling, maar klinkt veelbelovend en gaat snel.


25
2018-02-23 22:42



logstash ziet er interessant uit, maar ziet eruit als een hoop werk om te implementeren. Ook zijn er geen actuele downloads in de downloadsectie? - samsmith
Logstash wordt gedistribueerd als een rubygem. Dus je kunt het gewoon zeggen gem install logstash. Zien rubygems.org/gems/logstash en code.google.com/p/logstash/wiki/GettingStartedCentralized - Holger Just
U kunt ook andere zoekhulpmiddelen gebruiken voor de gegevens die door Logstash zijn verzameld, zoals Graylog2, die een interface heeft die sommige mensen prefereren. - Martijn Heemels
Ik raad Logstash aan met Kibana ( kibana.org ), een zeer schaalbare interface voor Logstash. Ja, het is ook open source :) - Paulo Coghi
@Paulocoghi Aangezien de eerste verbintenis met Kibana ongeveer drie maanden na de laatste opmerking plaatsvond, weet ik zeker dat je me kunt excuseren omdat ik het hier niet heb opgenomen. Dat gezegd hebbende, Kibana is inderdaad nogal geweldig, in het bijzonder. de nieuwe Ruby-versie. - Holger Just


Ik heb geen vergelijkende matrix voor het volgende in mijn gedachten, vooral als het gaat om vergelijking met splunk:

Dit zijn enkele volledig operationele hulpmiddelen:

Octopussy http://www.octopussy.pm

Logreport http://www.logreport.org/

Strik: http://www.intersectalliance.com/projects/index.html

Log surfer: http://www.crypt.gen.nz/logsurfer/

Log Analyzer: http://loganalyzer.adiscon.com/

Tijdlijn log 2: http://log2timeline.net/#download  (dit is meer een analysehulpmiddel voor "tijdlijnen")

Eindelijk, als je zelf wat codering wilt doen maar misschien een meer schaalbare oplossing hebt: (de volgende zijn hulpmiddelen om loggegevens te verzamelen, ze hoeven niet alle functionaliteit uit de doos te hebben om door de gegevens te zoeken.)

Honu https://github.com/jboulon/Honu

Chukwa http://wiki.apache.org/hadoop/Chukwa

Fluim http://archive.cloudera.com/cdh/3/flume/

Bewerk: Deze vergelijkingslink toegevoegd: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

Bewerk: Toegevoegd Graylog2: Toegevoegd Logstash. Logstash is waarschijnlijk de best gepositioneerd om de "open source splunk replacement" te worden.


9
2018-03-03 03:02



We hebben al deze hulpmiddelen beoordeeld. Ze zijn ofwel $$$ of ze zijn feature-weak / under devevelopment, etc. - samsmith
Heb je Spark ontdekt? Ik weet dat dit een paar jaar later is, en dat heb je misschien wel, maar we staan ​​voor soortgelijke beslissingen, dus we zouden heel graag willen weten waarmee je bent gegaan. - PKHunter