Vraag Is greylisting nog steeds een efficiënte methode om spam te voorkomen?


Ik heb gebruikt greylisting op mijn servers voor vele jaren, maar ik weet niet hoe effectief het tegenwoordig is.

Is het nog steeds goed voor het bestrijden van spam in 2012?

Of is de typische spammer MTA nu in staat grijze e-mails opnieuw te verzenden?


50
2017-10-09 09:35


oorsprong


@Michael: voor het bestrijden van spam. Lees de vraag :) - neu242
We kunnen omgaan met de voors en tegens van greylisting in een andere vraag :) - neu242
Ik heb de titel iets gewijzigd. Ziet het er nu beter uit? - neu242
@MichaelHampton Eh, aandachtspunt ... welke maatregelen voor spampreventie gebruikt u dat niet doen de CEO laten klagen? Of misschien, indien toepasselijker, wat voor soort CEO heb je, dat is niet een verwende, zeurderige $ # ^ & * @ die in iets absoluut iets te klagen zal vinden? - HopelessN00b
@ HopelessN00b Onze CEO is niet zo. Ik zou iemands persoonlijkheid of gedrag niet uitsluitend op basis van zijn beroep beoordelen. - darvids0n


antwoorden:


Een update van 2018:

Ik was altijd een grote fan van greylisting. Om deze redenen:

  • Het markeert niet alleen spam, het blokkeert het ook.
  • Het is legaal om te gebruiken als een serviceprovider in Duitsland (in tegenstelling tot het verwijderen van spam-mails na ontvangst)
  • Het is eenvoudig en effectief.
  • Het voegt belasting toe aan de spammer en niet aan uw ontvangende mailserver. Dus ook al kunnen de spammers je greylisten doorkomen, je hebt hun machine gedwongen harder te werken en dus kunnen ze in totaal minder spam versturen.
  • Het blokkeert bijna geen legitieme mail, in tegenstelling tot op IP gebaseerde RBL's enz.
  • Het introduceert vertragingen, maar u kunt clients (verzendende servers) van frequente contactpersonen en ontvangers op de witte lijst die echt e-mail nodig hebben met minimale vertraging, op de witte lijst plaatsen. Vergeet niet dat het gebruik van een spamfilter als Spamassasin direct op al uw mail (zonder greylisting) ook vertragingen kan introduceren bij legitieme mail: sommige spammers sturen zoveel mails naar uw server dat het spamfilter overbelast raakt. Dus zal het een tijdelijke storing (bijvoorbeeld 451) naar de verzendende server sturen van verdere inkomende mails. Dit veroorzaakt dezelfde effecten als greylisting, dat wil zeggen mails worden vertraagd, met de uitzondering dat whitelisting niet zo eenvoudig is. Natuurlijk kunt u een cloud-spamfilter gebruiken dat zich schikt naar de macht van de spammer, maar dat kan duurder zijn.
  • Beperkt of geen onderhoud vereist. Geen blacklist die moet worden bijgewerkt en in de loop van de tijd moet worden gewijzigd. Geen op patronen gebaseerde regels die moeten worden bijgewerkt.

Maar helaas zie ik in mijn statistieken dat greylisten in dit jaar steeds minder effectief worden. Het aantal vertraagde berichten benadert het aantal greylist-berichten nogal snel, waardoor de hoeveelheid geblokkeerde spam vermindert.

In het laatste jaar (365 dagen) maakte 55% van de greylists het uiteindelijk door greylisting, d.w.z. 45% werd geblokkeerd.

mailgraph stats jaar

mailgraph stats year

Let op: deze grafiek bevatte een tijdspanne waarin greylist-berichten niet werden geteld vanwege een configuratiefout van mailgraph, alleen vertraagde berichten. Dit betekent dat deze berekening de vertraagde berichten een beetje overschat, in feite werden iets meer mails geblokkeerd.

In de afgelopen maand werd 64% uitgesteld en slechts 36% werd geblokkeerd.

mailgraph stats maand

mailgraph stats month

In de laatste week werd 75% uitgesteld en slechts 25% geblokkeerd.

mailgraph stats week

mailgraph stats week

Bovendien, kijkend naar het totale aantal geblokkeerde berichten: Deze maand blokkeerde greylisting 4 411 berichten, maar Amavisd (spamassasin) blokkeerde 22 763 berichten. Dit betekent dat slechts 16% van de spam wordt geblokkeerd door greylisting, en de rest door amavisd.

Bovendien verzenden steeds meer cloud-versturende providers van een aantal honderden IP-adressen. Ze proberen elke verzendpoging van een ander IP. Dus greylists kan deze mails zelfs dagen blokkeren. Daarom moet u alle "goede" mailproviders op de witte lijst zetten. Dit introduceert nieuwe onderhoudsinspanningen.

Ik ben altijd een grote fan geweest van greylisting, maar helaas merk ik dat het steeds minder effectief wordt, en ik denk dat ik het binnenkort zal uitschakelen, omdat het 14% van mijn mails onnodig vertraagt ​​zonder veel spam te blokkeren .

De missleading stats

Het aantal geblokkeerde mails in mijn (en uw) statistieken kan ook grotendeels misleidend zijn. Laten we een e-mail sturen die afkomstig is van een grote cloudmailprovider (zoals Microsoft * .outbound.protection.outlook.com) die nog niet op de witte lijst staat. De eerste poging mislukt. De tweede en derde transmissiepogingen komen van twee andere servers (IP's), dus het mislukt opnieuw, omdat het triplet niet overeenkomt. Nu komt de vierde poging weer van de eerste server en slaagt. Dit wordt geteld als één uitgestelde verzending en vier grijze berichten. Mijn berekeningen hierboven zouden aangeven dat 1/4 = 25% greylists werd vertraagd en 3/4 = 75% werd geblokkeerd. Maar in feite werd geen enkel bericht geblokkeerd. Nu hebben we de servers van deze e-mailproviders op de witte lijst gezet, zodat ze niet meer worden gedaglist. Wat er zal gebeuren, is dat het aantal greylist-berichten meer zal dalen dan het aantal vertraagde berichten. Dit betekent dat het aantal geblokkeerde berichten dat we berekenen zal dalen. Maar het is niet waar dat minder berichten werden geblokkeerd.

In feite heb ik sinds februari 2017 steeds meer cloudmailproviders toegevoegd aan de whitelist om het probleem van lange wachttijden als gevolg van greylisting te bestrijden. Dit kan (gedeeltelijk?) Verklaren waarom het aantal geblokkeerde mails dat ik bereken snel daalt. Dus misschien, gewoon gedachte de hele tijd dat greylisting veel spam blokkeert, maar de hoeveelheid geblokkeerde spam was de hele tijd een stuk minder, het werd gewoon verkeerd berekend. Dus wees voorzichtig bij het interpreteren van uw statistieken.


6
2017-08-22 10:06



Dat is heel interessant - bedankt voor het plaatsen van het onderzoek! - Jenny D
+1 van mij - tijd om mijn gegevens opnieuw te bekijken. Ik ben het ermee eens dat deze bloederige irritante mensen die e-mail rond hun interne serverlandingen sturen, zodat elke poging van een andere server komt, de gegevens scheef trekken. Ik weet niet zeker of ik je laatste sectie koop, wat lijkt te betogen dat alle of de meest duidelijke voordelen van greylisting worden veroorzaakt door het overlopen van inkomende e-mails daardoor. - MadHatter


Ik heb dit voor het laatst gekeken in juli van dit jaar (2012). In juli ontving mijn mailserver ongeveer 46.000 pogingen om e-mail te bezorgen; daarvan werden ongeveer 1.750 geretourneerd en toegestaan ​​door de greylisting (en passeerden een geldig afzenderdomein, SPF en een aantal andere niet op inhoud gebaseerde tests). Daarvan werden ongeveer 1.500 gefilterd door mijn op inhoud gebaseerde filtering ..

Ervan uitgaande dat die 44.250 e-mails spam waren (aangezien ze geen greylisting konden doorgeven, denk ik dat dat een juiste veronderstelling is), als het niet voor de greylisting was, had mijn op inhoud gebaseerde filtering 46.000 mails in plaats van 1.750 moeten verwerken.

Een vijfentwintigvoudige toename van de belasting van mijn filtering op basis van inhoud zou vereisen dat ik veel krachtigere CPU's en meer geheugen zou hebben. Dat zou op zijn beurt mijn maandelijkse hostingkosten verhogen, vanwege het extra stroomverbruik (en waarschijnlijk de grootte van de server).

Dus in het kort, de laatste keer dat ik telde, ja, greylisting maakte nog steeds heel, heel goed gevoel als onderdeel van een compleet spamfiltersysteem. Ik heb het de afgelopen weken voor klanten geactiveerd en dat zijn ze allemaal uiterst blij met de daling van de belasting van hun op inhoud gebaseerde filtersystemen ook.

Bewerk: Ik merk dat ik de vraag niet heb beantwoord of dit in de loop van de tijd minder effectief wordt. Toen ik het aangaf, eind 2006, was mijn schatting in die tijd dat het 95% van de spam eruit filterde. 1.750 als een percentage van 46.000 is ongeveer 4%, dus mijn gegevens suggereren dat het gedurende die periode niet minder effectief is geworden.


55
2017-10-09 11:34



Precies het soort antwoord dat ik zocht. Bedankt! - neu242
Ik denk dat het heel zinvol is om dit kwantitatief te bekijken in uw specifieke situatie. Ik heb net gekeken, en mijn mailserver ziet heel andere cijfers: totaal voor augustus en september, 460214 5xx afwijzingen, 12331 4xx afwijzingen en 22665 accepteert. Dus 4,6% geaccepteerd en slechts 2,6% van spam (op zijn best) geblokkeerd door greylisting. De 5xx-afkeuringen worden gedomineerd door 8,4% onbekende gebruiker en> 90% RBL. (En ik loop zelfs geen extreem agressieve RBL's. Een overgrote meerderheid van de RBL-blokken is dat wel XBL.) Nogmaals, het verkeer dat door RBL's wordt gepakt, haalt het nooit naar greylisting. - α CVn
Interessant, maar ik kan geen directe vergelijking maken omdat ik in principe geen enkele RBL als een brightline-test voor ontvangst gebruik; Ik gebruik ze alleen als bijdragers aan een score voor spamassassin. Ik ben zelf te vaak op RBL's geweest, om volledig valse redenen, om de werking van mijn eigen mail toe te vertrouwen aan de grondgedachte van iemand anders. Als we echter zouden aannemen dat al die XBL-afwijzingen afkomstig zijn van vuur-en-vergeet botnets, dan zou je, als je als eerst grijs hebt gemaakt, vergelijkbare percentages zien. - MadHatter
Ja, ik heb er sterk over nagedacht om het te veranderen in alleen maar een bijdrage voor spamscore en te vertrouwen op greylisting, precies om de reden die u noemt. Dat neemt echter niet weg dat verschillende servers zeer verschillende verkeerspatronen kunnen zien en de enige manier om echt te weten of greylisting effectief is, is ernaar kijken vanuit het oogpunt van uw specifieke opstelling. - α CVn
Ik was het weer oneens, maar ik ben het helemaal met je eens. Voor alle gebruikers is de beste manier om erachter te komen of het een effectieve techniek in uw e-mailstroom is probeer het in uw e-mailstroom en meet - Michael spreekt verstandig! - MadHatter


Spambots doen meestal nog steeds geen bericht in de wachtrij, maar sommigen sturen de spam met een paar minuten vertraging tweemaal naar elke ontvanger om greylisting te verslaan. tegenwoordig is spam van spambots niet meer het echte probleem, spam van aangetaste Yahoo-accounts enz. is veel moeilijker te vangen.

Vanuit dat oogpunt is greylisting niet zo effectief als het vroeger was. In combinatie met andere antispamtechnieken kan het nog steeds helpen, bijvoorbeeld als uw domein zich vaak in de "eerste batch" van spam-campagnes bevindt, kan greylisting het bericht lang genoeg vertragen om domein- / ip-blacklists bij te houden, dus als de spam zou bij de eerste verbindingspoging door je filters zijn geglipt, mogelijk wordt deze bij de tweede poging gedetecteerd.


8
2017-10-09 09:59



De overgrote meerderheid van de Spam-bezorgpogingen die ik ontvang, is afkomstig van Spambots. Ik gebruik andere technieken om Spambots te ontmoedigen en de meesten geven op voordat ze grijs kunnen worden gemaakt. Op mijn server blokkeert Greylisting nog steeds ongeveer de helft van de afzenders, het verwerkt. Ik geef vrijgestelde afzenders waarvan kan worden vastgesteld dat ze zeer waarschijnlijk greylisting zullen passeren. - BillThor


Als tangentiële kwestie hou ik er niet van om in de positie te zijn dat ik een techniek zoals greylisting heb ingezet zonder de effectiviteit ervan te kunnen meten. Op Debian, met postfix als de MTA en postgrijs als de grexyisting-beleidsengine, kunt u gewoon apt-get install mailgraph om een ​​eenvoudige grafiek te krijgen van geaccepteerde of geweigerde post. Mailgraph is een beetje een oude school en staat volledig op zichzelf, maar het werkt, en de gegevens of technieken ervan kunnen gemakkelijk worden geïntegreerd in een complexer modern monitoringsysteem.


5
2017-10-14 22:18





Ontvang een op reputatie gebaseerd e-mailfilter. Greylisting is een beetje ouderwets en is geen alomvattende oplossing. Er zijn oplossingen (vanuit het perspectief van de spammer), en onvoorspelbare verzendtijden voor uw gebruikers ...

U kunt de filtering uitbesteden aan een cloudservice of een apparaat kopen dat toegang heeft tot een dergelijke lijst en heeft andere methoden voor het valideren van spam. Mijn aanbeveling is meestal Barracuda voor hun toestel of voor hun cloudfilteroplossing. Beide opties hebben schaalvoordelen en volwassen heuristieken die een schonere algehele oplossing bieden.

Toen ik keek naar een rapport van Barracuda Spam Filter van mijn cliënt voor september 2012, waren er van de 16.457 berichten 1.623 afgebroken voordat ze zelfs de mailserver hadden geraakt vanwege slechte ontvangers ... 34.488 werden geblokkeerd als SPAM. Slechts 96 twijfelachtig berichten hebben het gehaald. Degenen die zijn beoordeeld als SPAM waren een combinatie van reputatie, score, intentie, drie RBL's, Bayesiaanse filtering en aangepaste regelsets. Alles in één eenheid ... Alles verwerkt voordat het de relatief kleine mailserver raakt.

enter image description here

Zie ook: Spam bestrijden - Wat kan ik doen als: e-mailbeheerder, domeineigenaar of gebruiker?


3
2017-10-09 11:33



Interessant, maar je beantwoordt mijn vragen over greylisting niet. En uw statistieken zonder greylisting-nummers zijn hier niet erg relevant :) - neu242
@ neu242 Het punt is dat 1). Greylisting heeft bekende nadelen, 2). kan niet worden beschouwd als een geheel oplossing en 3). er zijn betere manieren om spam te detecteren, aangezien de processen zich de afgelopen jaren hebben ontwikkeld. - ewwhite
Greylisting is natuurlijk slechts een deel van mijn toolkit voor spampreventie. Mijn setup lijkt veel op @ MadHatter's. Maar omdat ik specifiek had gevraagd naar greylisting, verwachtte ik een soort van antwoorden op de greylist. - neu242
@ewwhite: eigenlijk zie ik niet hoe het niet vrij duidelijk was. Ter referentie: ik heb de vraaggeschiedenis gecontroleerd. Ik heb geen verandering gezien die dit op enige manier heeft beïnvloed. - Jürgen A. Erhard
@ JürgenA.Erhard Je bent hier een beetje te laat voor. En je bericht is onbeschoft. Elke professionele spamfilteroplossing geïmplementeerd vandaag zou niet alleen op greylisting moeten vertrouwen. Als u nog andere problemen hebt, raadpleegt u de canoniek Server Fout spamvraag hier. - ewwhite