Apfelinsel

Mac-Software => Thema gestartet von: Jochen am August 01, 2006, 21:53:33

Titel: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Jochen am August 01, 2006, 21:53:33
die ewig gleichen Spam Mails mit gleichem Inhalt als Spam zu erkennen.

Hi,
 
Ambijen
Vijagra from 3, 35 $
Cijalis from 3, 75 $
Valijum from 1, 25 $

usw.

Immer der gleiche Mist im normalen Posteingang, den ich dann als Werbung definiere.

Aber dann ist irgend wann wieder der Mist im normalen Posteingang.

Ich nahm an der Bayes-Filter ist da clever oder kann ich dem auf die Sprünge helfen

Jochen
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Alexander am August 02, 2006, 00:17:12
Papa du spricht mir aus der Seele  ;D

Fast genau die gleichen Sachen bekomm ich ich auch.

Alex  ;) (hofft auch auf Hilfe)
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am August 02, 2006, 09:57:10
Der Filter ist schon clever und lernt bei jedem Klick von Dir auf "Ist Werbung" hinzu.

Nur die andere Seite ist auch clever. Die kennen ja den Bayes-Filter und verändern ihren Spam immer so, daß ein kleiner Teil doch durch die Maschen schlüpft. Bei mir sind das aktuell so 5% des Spams.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Jochen am August 02, 2006, 10:22:51
Mal konkrete Frage für einfache Gemüter.

Kommen in der Mail der Begriffe

"Sex" und "Viagra" vor und definiere ich das als Spam, wird diese Art Mail beim nächsten mal automatisch als Spam definiert.

So weit so gut, oder ?

Stehen aber dann in einer der nächsten Mails

"Sexx" und Vviagra" so ist das erst mal kein Spam oder ist der Bayes Filter schon so clever, dass er das als Spam erkennt?

Oder vesagt er bei

"Selx" und "Fviakra"

Jochen

Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: warlord am August 02, 2006, 10:30:28
Ich kann mir nicht vorstellen, dass der Filter ein allzu grosses Gewicht auf einzelne im Text vorkommende Wörter legen kann. (Und wenn sie abweichend geschrieben werden, schon gar nicht.) So würden viel zu viel falsche Mails aussortiert. Viel wichtiger dürften da Header-Daten sein, die Du vermutlich gar nicht siehst.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am August 02, 2006, 10:34:44
So, jetzt komme ich ins Schwimmen. ;)

Alles AFAIK:
Es gibt glaube ich keine genau fest gelegten Grenzen, wann etwas erkannt wird und wann nicht. Der Filter versucht anhand der von Dir markierten Mails verschiedenste Kriterien festzulegen anhand der er eine Mail als Spam erkennt. So einfach wie Du es Dir jetzt vorstellst ist es ja auch nicht. Wenn eine Mail fälschlicherweise nicht als Spam erkannt wird, ist es zwar ärgerlich, aber nicht weiter schlimm. Wenn aber eine Mail fälschlicherweise als Spam erkannt wird, dann ist das ganz schlimm. Daher arbeiten diese Filter nciht nach so einfachen Prinzipien.
Es kann durchaus Mails geben, die die Wörter Sex und Viagra enthalten und die aber kein Spam sind. Also einfach nach Suchbegriffen durchsuchen und dann zuordnen, ist kein geeignetes Mittel. Sieht man auch an vielen Filterprogrammen zum Schutz von Kindern, die einfach alles mit dem Wort "Sex" filtern und dabei dann auch für Kinder gewünschte Seiten sperren.
Zu "Sexx, Vviagra, Selx und Fviakra": Ja, andere Schreibweisen helfen teilweise gegen solche Filter. Deshalb bekommt man ja auch so oft Mails mit falsche Schreibweise. Oder das ist gar nicht geschrieben, sondern das Wort ist als Grafik eingebettet usw. usf.
Der Filter wertet aber auch sowas wie Häufigkeit, Absender, Struktur der Mail usw. aus. Wenn man bedenkt, wie schwierig es ist, Spam sicher zu erkennen und vor allem keine Mail fälschlich als Spam einzuordnen, dann ist die Erekennungsleistung schon erstaunlich.
Man muß immer daran denken, daß auf der anderen Seite auch schlaue Menschen sitzen, die den Filter austricksen wollen.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: fränk am August 03, 2006, 12:55:24
Der Filter ist schon clever und lernt bei jedem Klick von Dir auf "Ist Werbung" hinzu.

Lernt der Filter auch dazu, wenn sich Mail nicht im "Lernmodus" befindet?

Diese Woche scheint es einen kleinen Durchbruch, was Spam angeht, bei mir gegeben zu haben.
Ich bekomme den Müll jetzt ständig. Ca. 15 Stück am Tag und sie kommen durch!
Waren es bis vor kurzem die wenigsten Spams, die mein Postfach erreicht haben, so sind sie jetzt eindeutig in der Überzahl.

Übrigens alle auf meinen ".Mac-Account" und alle seit dem ich am Wochenende im Applestore zwei Bestellungen gemacht habe.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am August 03, 2006, 13:13:41
Lernt der Filter auch dazu, wenn sich Mail nicht im "Lernmodus" befindet?

Ja, wäre sonst auch sinnlos, da der ständig lernen muß.
Der einzige Unterschied zwischen den beiden Modi ist, daß er im Lernmodus die Mails nicht automatisch verschiebt.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: warlord am August 03, 2006, 13:19:04
Ich bekomme den Müll jetzt ständig. Ca. 15 Stück am Tag und sie kommen durch!
Waren es bis vor kurzem die wenigsten Spams, die mein Postfach erreicht haben, so sind sie jetzt eindeutig in der Überzahl.

Gut möglich, dass die einschlägigen Spammer eine neue "Evolutionsstufe" gezündet haben. Ich habe bei mir in letzter Zeit ein ähnliches Phänomen beobachtet. Nachdem die Zahl der Spam-Mails im Frühling/Frühsommer merklich zurück gegangen war, steigt sie seit einigen Tagen wieder werklich an und es rutschen in der Tat viele durch den Filter.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: warlord am August 03, 2006, 18:48:40
Hier noch ein ganz spezieller Link für Spam-Geplagte: Blumiger Spam. (http://www.sq.ro/spamplants.php)

Oder hier (http://newsgrist.typepad.com/underbelly/2006/07/alex_dragulescu.html) noch ein Bericht darüber auf einem Blog, dessen Design mich irgendwie an eine bestimmte Site erinnert. Ich frage mich nur gerade, welche Site das wohl ist...  ;)
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Jochen am November 04, 2006, 07:23:20
Nun habe ich mir mal SpamSieve auf einen Rechner geladen
Läuft seit ca. 3 Tagen.
Auf dem anderen Rechner ist es nicht installiert.

Und siehe da, die Trefferquote bei SpamSieve ist wesentlich höher im Erkennen von Spam als der Spamfilter von Apples Mail.
Auf beiden Rechnern natürlich gleiches OS.
Beide Mail Programme arbeiten ja mit Bayes Filtern, offensichtlich arbeitet der in SpamSieve aber besser

Jochen
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Thyrfing am November 04, 2006, 09:49:48
Spam Sieve hat nicht so viel zu lernen, wie der Filter von Mail. Dort sind bestimmte Kriterien schon voreingestellt. Wenn ich mich nicht täusche.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Jochen am November 04, 2006, 10:25:33
Spam Sieve hat nicht so viel zu lernen, wie der Filter von Mail. Dort sind bestimmte Kriterien schon voreingestellt. Wenn ich mich nicht täusche.

Der Filter von Apples Mail hat aber die Grundschule schon durch.  ;D ;D

Langsam müsste er mal begreifen, einfache Spams raus zu filtern.

Ich kann ihm nicht auch noch eine Nachhilfe bezahlen.

Jochen
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am November 04, 2006, 11:04:48
Der Filter von Apples Mail hat aber die Grundschule schon durch.  ;D ;D
Langsam müsste er mal begreifen, einfache Spams raus zu filtern.

macht er bei mir auch sehr gut. Von gut 200 Spams pro Tag kommen nur 3-4 täglich durch. Falsche Einordnungen hatte ich schon seit Monaten nicht mehr.

Zitat
Ich kann ihm nicht auch noch eine Nachhilfe bezahlen.

Da die Spamer auch dazulernen, muß auch ein Spamfilter sein Leben lang dazu lernen. Je länger er beim Lernen aussetzt, desto schlechter wird er. Ich kann mir gut vorstellen, daß das Anfangswissen von SpamSieve aktueller als das von Mail ist. Was in ein paar Monaten aber dann auch überholt ist.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: warlord am November 04, 2006, 11:21:43
Von gut 200 Spams pro Tag

Whow.  :o 
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am November 04, 2006, 12:17:36
Whow.  :o 

Gut, ne?
OK, mal sind es nur 150, aber manchmal auch knapp 300. Meine E-Mail-Adresse habe ich halt schon sehr lange (gut 10 Jahre) und die ist öffentlich bekannt und wird auch in Mailing-Listen benutzt. Dadurch hat die sich soweit verstreut, daß da nix mehr zu retten ist. Zum Glück funktioniert der Filter so gut. Sonst würde ich wahnsinnig.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Jochen am Dezember 04, 2006, 21:43:17
Mal ein kurzes feedback

Hatte nun SpamSieve ab 04. November laufen.

Hier auf dem Mac mit 10.4.6

Und heute denk ich, so gut ist Spam Sieve doch nicht, da wieder ein Haufen Mist im normalen Posteingang war.

Denkste  ;D

Demo Modus war zu Ende.

Was sagt mir das ? ganz pragmatisch ?

Den meisten Mist hat Spam Sieve erkannt.

Und Apples Mails ist da wesentlich schlechter im Erkennen von:

Viagra
Sex
Watches
Stocks
Nigeria

Jochen
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am Dezember 05, 2006, 09:22:01
Naja, von mittlerweile gut 300 Spams pro Tag gehen nur ca. 5 bei Mail durch. Das finde ich schon gut.

Kann es sein, daß SpamSieve von extern eine Filterliste nachlädt, d.h. gar nicht darauf angewiesen ist, daß Du ihm mit der Zeit was beibringst?
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: mbs am Dezember 05, 2006, 10:38:56
Ich habe auch circa 300 Spams pro Tag und kann ebenfalls nicht über Mail meckern. Die Erkennungsrate ist so gut wie bei MacFlieger.

Vielleicht bekommt Jochen nicht genug Spam  ;D , so dass sein Mail-Programm nicht so viel Gelegenheit zum Lernen hat?
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: tertinator am Dezember 05, 2006, 12:02:22
wäre es nicht interessant, wenn mail bei jedem start kurz auf eine zentrale datenbank zugreifen würde, wo die aktuelle schwarze Liste liegt?
diese könnte in echtzeit aktualisiert werden, sobald beispielsweise 10 Leute eine bestimmte Mail als "Spam markieren.
Noch besser wäre es, diese Liste vor jedem Empfang kurz abzugleichen.

So wären im idealfall jedes mal nur 10 Leute auf der ganzen Welt von dieser Mail betroffen ...
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: tertinator am Dezember 05, 2006, 12:03:58
(…)Viagra
Sex
Watches
Stocks
Nigeria

Jochen

Was ist an "Jochen" spammig?
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Florian am Dezember 05, 2006, 12:09:00
wäre es nicht interessant, wenn mail bei jedem start kurz auf eine zentrale datenbank zugreifen würde, wo die aktuelle schwarze Liste liegt?
diese könnte in echtzeit aktualisiert werden, sobald beispielsweise 10 Leute eine bestimmte Mail als "Spam markieren.
Noch besser wäre es, diese Liste vor jedem Empfang kurz abzugleichen.

So wären im idealfall jedes mal nur 10 Leute auf der ganzen Welt von dieser Mail betroffen ...

Das eröffnet aber das Problem, daß kleine Gruppen legitime Emails, also z.B. Newsletter oder von Mailing Lists, mal eben aus dem Verkehr ziehen könnten. Oder sie schicken sich eine einzelne Mail gegenseitig und markieren sie jeweils als Spam um einem Absender zu schaden.
 
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: tertinator am Dezember 05, 2006, 12:16:52
das stimmt schon, aber das ganze ist ja u.U. auch Absender-abhängig.

so würden die ja ihre eigene adresse als spam markieren.

außerdem könnte die adresse ja soweit lernfähig sein, dass man durch drücken von "kein Spam" die adresse wieder freischaltet
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Florian am Dezember 05, 2006, 12:23:50
Kann mir nicht vorstellen, daß man Mißbrauch wirklich verhindern könnte. Wenn man das geschickt anstellt, kann man durchaus jemand anderen als Absender vorgeben und das geschieht ja auch mit echtem Spam.
Und das Demarkieren funktioniert auch nur, wenn die Benutzer in den Junk-Ordner schauen. Und wer macht das schon immer gleich? Wenn man immer gleich reinschaut, braucht man ihn ja nicht.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: warlord am Dezember 05, 2006, 12:29:11
Na ja, absenderabhängig lässt sich die Spam-Bekämpfung mit den derzeit geltenden E-Mail Standards ohnehin nicht durchführen. Absolut hoffnungslos, das so lösen zu wollen. Dort würde man erst dann ansetzen können, wenn es in dem System E-Mail verifizierte Absender gäbe.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: MacFlieger am Dezember 05, 2006, 12:49:47
wäre es nicht interessant, wenn mail bei jedem start kurz auf eine zentrale datenbank zugreifen würde, wo die aktuelle schwarze Liste liegt?

Die Idee ist an sich nicht schlecht. In dieser einfachen Form aber wie die anderen ja schon anmerkte stark problembehaftet. Nicht nur die Möglichkeit der absichtlichen Manipulation ist da, auch welche Mail Spam ist, ist stark unterschiedlich. Ich z.B. habe auch die üblichen Rundmails von GMX, Web.de etc. für mich(!) als Spam eingeordnet, weil ich die nicht sehen will. Richtig betrachtet sind das keine Spams, ist mir aber egal. ;)

Interessant wäre evtl. ein mehrteiliges System. D.h. der eine wichtigere Teil läuft weiterhin wie jetzt auch mit meinen lokalen Einstellungen und Lernhilfen. Zusätzlich könnte ein etwas weniger wichtigerer Teil von Regeln/Wissen gesteuert werden, die ab und zu über einen öffentlichen Dienst aktualisiert werden. Dabei müßte dann aber dieser Dienst tatsächlich ein redaktionell betreuter sein. Ich möchte dann aber nicht den Aufschrei auf diversen Sites lesen: "Gemein! Apples Mail telefoniert nach Hause! Liest Apple Deine Mails?"

Ganz wichtig für mich ist, daß möglichst wenig Mails fälschlicherweise als Spam deklariert werden. Besser ein bisschen Spam wird nicht erkannt, dafür wird aber keine richtige Mail falsch eingeordnet. Ich überfliege im wahrsten Sinne des Wortes den Inhalt des Spam-Ordners jeden tag kurz, bevor ich die ungelesen lösche. Je mehr richtige Mails da reinkämen, desto konzentrierter müßte ich schauen.
Titel: Re: Muss Mail wieder in die Schule gehen, damit es wieder lernt...
Beitrag von: Patrick am Dezember 05, 2006, 14:09:34
wäre es nicht interessant, wenn mail bei jedem start kurz auf eine zentrale datenbank zugreifen würde, wo die aktuelle schwarze Liste liegt?
Sowas in der Richtung gibt' schon, und kann mit SpamAssassin genutzt werden. Neben Gray- und Blacklists von URIs gibt es dann noch Checksumbasierte Filter wie Razor oder Pyzor und DCC.

Näheres findet sich hier (http://de.wikipedia.org/wiki/Spamassassin).