Erkennen von SPAM

Spam ist ein Problem. Am goldfisch laufen etliche Spamfilter, um das Problem in den Griff zu bekommen und Spam als solchen zu erkennen, zu markieren und eventuell auch gleich zu löschen. (technische Details für Interessierte am Ende)

Die Filter können jedoch nie zu 100% sagen, ob eine mail spam oder nicht-spam ist, sondern nur eine Art Wahrscheinlichkeit (einen spam-score) angeben.

Die Grenze, ab welchem spamscore der goldfisch eine mail als spam markiert ist hier wesentlich. Je kleiner die Grenze, desto weniger SPAM kommt durch, aber desto höher ist auch die Wahrscheinlichkeit, dass einige wenige gute mails (HAM) fälschlich markiert werden.

Der Goldfisch setzt die Grenze mittlerweile relativ niedrig an. Statt dem empfohlenen Grenzwert von 5 werden mails schon ab 2.5 als SPAM markiert. Der Goldfisch markiert die Mail aber nur. Wenn er sie auch löschen oder verschieben soll, muss man ihm das auch sagen, wie im nächsten Schritt beschrieben.

Ich selbst bekomme an meine Adresse pro Tag ca. 1000 spammails und der goldfisch filtert ca. 90-95% davon aus. Den Rest erledigt der Thunderbird-JUNK-Filter (s.u.) und 10 pro Tag erledige ich selbst.

automatisches Löschen

Der Goldfisch markiert die mails nur, aber löscht sie nicht automatisch. Das will und darf er gar nicht. Aber JedeR kann ganz einfach eine sogenannte Regel am goldfisch definieren, die den SPAM automatisch löscht oder in einen eigenen Unterordner verschiebt (Verschieben geht nur wer den IMAP-Zugang benutzt, siehe mailaccess).

Das automatische Löschen hat den Vorteil, dass die Mail weg ist und man nie mehr daran denken muss.Wenns allerdings doch kein SPAM war, dann ist sie weg für immer.

Das Verschieben in einen speziellen Unterordner hebt die mails noch eine Weile auf und man kann gelegentlich reinschauen, ob doch eine gute mail auch dabei ist. Allerdings muss man diesen Unterordner regelmässig ausleeren. (Bitte !!)

Wer die mails also in einen Unterordner verschieben statt löschen will, muss in seinem Mailprogramm so einen Unterordner erstellen. Am besten benennt man ihn spam. Und nicht zum Ausleeren vergessen !!

Im nächsten Schritt erstellen wir eine Regel, die den SPAM automatisch löscht oder verschiebt.

SPAM-Regel am goldfisch

Für das Erstellen von mailregeln am goldfisch gibts das (schon etwas alte) webinterface:

web-interface mit verschlüsseltem Zugang
oder web-interface mit unverschlüsseltem Zugang

Das Erstellen einer SPAM-Regel ist ganz einfach und dauert nur vier Schritte:

  • Schritt 1 : Anmelden mit eurem Benutzernamen und passwort.
  • Schritt 2 : Clicken des Buttons ADD NEW = neue Regel erstellen
  • Schritt 3 : als Type wählen wir spam und Adresse lassen wir auf alle. Dann clicken wir auf WEITER
  • Schritt 4 : Im Feld SUBBOX geben wir den Namen des Unterordners ein, wo die Spammails hinverschoben werden sollen. Wollen wir die mails löschen, dann geben wir hier *delete* ein. (mit dem stern/asterix vorne und hinten). Die restlichen Felder lassen wir unberührt. (aktiv bleibt auf ja, term auf nein und rank auf 1). Dann klicken wir FERTIG und sind fertig.


Das wars. ehrlich. Alles was jetzt kommt, ist das Fein-Tuning, um noch weniger SPAM zu bekommen.
Wer das nicht will/braucht, kann gleich mit dem Lesen aufhören, oder sich das Kapitel über den JUNK-Filter von Thunderbird ansehen.

individuelle SPAM-Regel am Goldfisch


für Fortgeschrittene und Neugierige:

Die Grenze, ab welchem SPAM-Score der goldfisch eine mail als spam markiert ist derzeit bei 2.5. Man kann diese Grenze nun auch für sich persönlich in einer Regel anpassen, um zB allen SPAM mit einem score ab 7 zu löschen und den mit einem score ab 2.5 in einen unterordner zu geben. Oder man hat Angst, dass bei 2.5 doch zuviele gute mails wegkommen und will die Grenze für sich auf 5 stellen.

Man erstellt die Regel wie oben, nur fügt man nach dem namen des unterordners noch ein Leerzeichen und die persönliche Spamgrenze an.

Beispiel: wir wollen allen spam ab score=7 löschen und allen mails ab score=2 in einen unterordner:

Regel1:

type=spam  adresse=alle
aktiv=Ja term=Ja rank=1
subbox=*delete* 7



Regel2:

type=spam  adresse=alle
aktiv=Ja term=Ja rank=2
subbox=spam 2


Nutzen des JUNK-Filters von Mozilla-Thunderbirds

Wer den Thunderbird als Emailprogramm benutzt, was ich nur zu 100% empfehlen kann, kann zusätzlich zur SPAM-Regel am Goldfisch die Thunderbird-interne JUNK-Erkennung benutzen. Junk ist hier das gleiche wie SPAM. Dieser ebenfalls selbstlernende Filter erkennt nach ein bisschen Übung sehr zuverlässig einen guten Teil der SPAM-mails, die der goldfisch durchlässt.\

aktivieren des Junk-Filters

Als erstes erstellt man einen Unterordner für den Junk mit dem namen junk und aktiviert den JUNK-Filter unter tools -> Junk Mail und setzt folgende Einstellungen:

  • :OK: move incoming messages determined as junk to
    • :OK: other : junk on my@mailadress
    • :OK: delete junk-mails older than 5 days
  • :OK: when I manually mark a mail as junk
    • :OK: move to JUNK-folder

Trainieren des junk-Filters

Jetzt schiebt man allen Junk, den man schon hat, in den Junk-Ordner und lässt alle guten mails in der Inbox. Dann markiert man alle mails in der Inbox (das sind nur gute jetzt !!) und clickt auf messages -> mark -> NICHT JUNK. Jetzt weiss der Filter was wir für gute mails halten. Dann markieren wir alle mails im junk-folder (das sind nur SPAM) und markieren alle und clicken auf messages -> mark -> JUNK. Der Filter weiss jetzt, was wir für böse mails halten.

Wenn nun eine neue SPAM-mail kommt, die der goldfisch übersehen hat, dann erkennt der Thunderbird sie im besten Fall und verschiebt sie von selbst in den junk-ordner. Wenn er sie nicht erkennt, dann erkennen wir sie und markieren sie und drücken entweder die Taste J, oder clicken den JUNK-button oder clicken auf messages -> mark -> JUNK. Dann lernt der Filter dazu und verschiebt die mail automatisch in den Junk folder. Und wenn mal eine gute mail versehentlich in den Junk-Folder rutscht, dann markieren wir sie dort und markieren sie als nicht JUNK.

Die offizielle Dokumentation findet sich unter http://developer.mozilla.org/en/docs/Fighting_Junk_Mail_with_Netscape_7.1

Tips & Tricks

Thunderbird kennt SpamAssassin

Thunderbird erkennt das SPAM-Flag von SpamAssassin. Es gibt dafür ein Setting in den JUNK-mail-controls. Man kann sich die Serverregel am goldfisch also auch sparen. Allerdings mit dem Preis, dass der client die spam-mails vom server laden muss, was zeit und Bandbreite beansprucht.

Helping improve the SPAM-Detection

If you maintain a clean spam/junk-folder that contains only spammail including spammails that has not been detected by goldfisch. (a maintained thunderbird-junk-folder would be excellent) we can include this folder in the autolearning-process for the spam-filter on goldfisch. If you are willing to share, please let me know. (pilsl@goldfisch.at)

technical details


used anti-spam-tools


goldfisch uses the following tools to detect spam:

  • spamassassin with autolearning bayes-database at a current treshold of 2.5 !!
  • DCC
  • PYZOR
  • Razor2
  • realtime honeypot-adresses


However detecting spam is difficult and lot of spam is coming through. Goldfisch does not afford any commercial anti-spam-tools like gmail or gmx do.

Spam-Statistics


The Distribution of spam-score on serveral classes of mails on goldfisch can be viewed at The HamSpam-Statistic.
The statistic is updated daily. Please note that the different mail-classes are collected from different samples for technical reasons. So dont compare the number of mails, but only the distribution !!
At the moment there is no statistic to show the absolut values of mailclasses like spam/ham/unadressed ...

 
goldfisch/tech/spam_old.txt · Last modified: 2008/03/03 16:33 by peter