Suspekte Mails schießen PostMasterMailbox.pl ab

[baumbuwe]

In der bisher bei uns betriebenen Version 3.2.9 hatten wir die letzten Wochen das Phänomen, dass beim Lesen und Bearbeiten der OTRS-Eingangspost via

bin/otrs.PostMasterMailbox.pl -f 1

der Job bei bestimmten, "suspekten" Mail hängen blieb und dann mit "Terminated" abbrach.

Bei Analyse der entsprechenden mbox-Datei wurde am Inhalt klar, dass die nächste anstehende Mail Spam ist.
Nach manueller Löschung dieser Mail lief der Job normal - bis zum nächsten bösen Kandidaten.

Das hat uns zu einem Update auf das aktuelle Release 3.3.6 bewogen.
Das Phänomen bleibt.

Leider finden wir im OTRS-Log keine Einträge zur Art des Problems im Job bzw. wo genau der Job hängen bleibt.

Derartige Mails werden im Mailserver vom Spam Assassin getaggt und im OTRS normalerweise stabil anhand des Headers einer Queue "Spam-Verdacht" zugeordnet - wenn sie denn hineinkommen.

Die Mails, die zu den Abstürzen führen, sind allerdings gar nicht getaggt.
Sie sind zu groß für den Assassin gewesen...


Gibt es Ideen zur Behandlung bzw. Stabilisierung?

[reneeb]

Gibt es irgendwelche Meldungen? Kannst Du mal eine solche Mail zur Verfügung stellen?

[baumbuwe]

Gibt es irgendwelche Meldungen? Kannst Du mal eine solche Mail zur Verfügung stellen?

Meldungen: außer dem "Terminated" bzw. "Killed" (bei Admin-Eingriff) nix.

Anbei eine der "bösen Mails"

[baumbuwe]

Und noch eine weitere:
heute kam bereits wieder eine, die der Job nicht verkraftetete...

[baumbuwe]

Es kommen relativ häufig weitere Mails, die den Job abschießen bzw. zum Hängen bringen.
Leider finden wir keine Meldungen vom Job, die das Verarbeitungsproblem genauer beschrieben würden.

Im Anhang weitere Beispiele.

[schulmann]

Es kommen relativ häufig weitere Mails, die den Job abschießen bzw. zum Hängen bringen.
Leider finden wir keine Meldungen vom Job, die das Verarbeitungsproblem genauer beschrieben würden.

Das Parsen von HTML scheint in OTRS grundsätzlich verbesserungsbedürftig zu sein.
Wir haben auch mindestens einen Fall bei dem es Probleme gibt.

In Deinen letzten vier Beispielen läuft die Verarbeitung (OTRS 3.3.7) nach spätestens 2 Minuten Rechenzeit immer an der gleichen Stelle in eine Endlos-Schleife: In /opt/otrs/Kernel/System/HTMLUtils.pm in der Zeile

Code: Select all

# remove style tags
$Param{String} =~ s/\<style.*?\>.*?\<\/style[^>]*\>//gsi;

Nach meiner Meinung dürfte das nicht vorkommen, auch wenn die Mails kein vernünftiges HTML enthalten.
Ein Bug-Report wäre wohl das Richtige.

Testen kannst Du das z. B. mit "perl -d /opt/otrs/bin/otrs.PostMaster.pl <otrs_2014-05-17".

Eine Lösung habe ich aber auch nicht.

[reneeb]

Lösungen zumindest für einen Teil der Probleme:

* https://github.com/OTRS/otrs/pull/168
* https://github.com/OTRS/otrs/pull/169