Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Hilfe zu OTRS Problemen aller Art
Post Reply
supertux
Znuny newbie
Posts: 3
Joined: 11 Jul 2022, 15:31
Znuny Version: 6.0.44
Real Name: r. merz

Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by supertux »

Hallo zusammen.

Ich bin jetzt zwar neu hier in der Community, aber ich hatte vor sehr langer Zeit schon mal mit OTRS 2/3 gearbeitet gehabt.

Jetzt haben wir uns entschieden hier OTRS abzulösen und Znuny zu installieren. Leider Habe ich trotz Fehlersuche noch keine Lösung gefunden, um das Problem abzustellen.

Ich habe das Problem, das in unregelmäßigen Abständen immer ein Error 500 auf der Weboberfläche kommt.
Desweiteren werden die E-Mails über Imaps abgerufen, aber nicht vollständig abgespeichert und beim nächsten Cronjob durchlauf probiert er es nochmals bis wir jede 5 Minuten ein neues halb angelegtesTicket haben.
Halb angelegt heißt, ich sehe Sie in der Ticketübersicht (Wenn ich mal keinen Error 500 hab), aber beim drauf klicken gibt es keinen Inhalt.
Manchmal schafft er es auch die identische E-Mail aus dem Postfach abzurufen und vollständig im Ticketsystem zu speichern.

An einem Zeichensatzfehler glaube ich jetzt nicht so ganz, da eigentlich alles auf UTF8 eingestellt ist.

Vielleicht habt ihr jetzt noch ein paar Ideen, wonach ich suchen kann. Die einzigste gemeinsamkeit, welche ich als Ursache ausgemacht habe, ist die genannte Zeile 264 in der Datei /opt/znuny-6.0.44/Kernel/System/Log.pm.



Ein paar Daten zu dem Server:

# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 22.04 LTS
Release: 22.04
Codename: jammy


# uname -r
5.15.0-40-generic

# echo $LANG
C.UTF-8



==> var/log/otrs.log <==
[Wed Jul 13 16:56:03 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53547/Rechnung RE2022] created (TicketID=548,Queue=EDV::Support,Priority=3 normal,State=new)
[Wed Jul 13 16:56:03 2022][Error][Kernel::System::MailAccount::IMAP::_Fetch][446] Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

[Wed Jul 13 16:56:04 2022][Error][Kernel::System::State::StateLookup][570] No State for open found!

==> /var/log/apache2/error.log <==
ERROR: OTRS-CGI-53 Perl: 5.34.0 OS: linux Time: Wed Jul 13 14:56:04 2022

Message: No State for open found!

RemoteAddress: 172.29.21.22
RequestURI: /otrs/index.pl?Action=AgentDashboard

Traceback (1595):
Module: Kernel::System::State::StateLookup Line: 570
Module: Kernel::Output::HTML::Dashboard::TicketQueueOverview::Run Line: 99
Module: Kernel::Modules::AgentDashboardCommon::_Element Line: 984
Module: Kernel::Modules::AgentDashboardCommon::Run Line: 611
Module: Kernel::System::Web::InterfaceAgent::Run Line: 1144
Module: ModPerl::ROOT::ModPerl::Registry::opt_otrs_bin_cgi_2dbin_index_2epl::handler Line: 39
Module: (eval) (v1.99) Line: 207
Module: ModPerl::RegistryCooker::run (v1.99) Line: 207
Module: ModPerl::RegistryCooker::default_handler (v1.99) Line: 173
Module: ModPerl::Registry::handler (v1.99) Line: 32

[Wed Jul 13 16:56:04.282052 2022] [:error] [pid 1595] Wide character in shmwrite at /opt/otrs/Kernel/System/Log.pm line 264.\n

==> /var/log/apache2/other_vhosts_access.log <==
ticket.<Domain>.eu:443 172.29.21.22 - - [13/Jul/2022:16:56:03 +0200] "GET /otrs/index.pl?Action=AgentDashboard HTTP/1.1" 500 1359 "https://ticket.<Domain>.eu/otrs/index.pl?Action=AdminMailAccount" "Mozilla/5.0 (X11; Linux x86_64; rv:102.0) Gecko/20100101 Firefox/102.0"






MariaDB [(none)]> SHOW CREATE DATABASE otrs;
+----------+------------------------------------------------------------------+
| Database | Create Database |
+----------+------------------------------------------------------------------+
| otrs | CREATE DATABASE `otrs` /*!40100 DEFAULT CHARACTER SET utf8mb3 */ |
+----------+------------------------------------------------------------------+
1 row in set (0.001 sec)

MariaDB [(none)]> SELECT * FROM INFORMATION_SCHEMA.SCHEMATA;
+--------------+--------------------+----------------------------+------------------------+----------+----------------+
| CATALOG_NAME | SCHEMA_NAME | DEFAULT_CHARACTER_SET_NAME | DEFAULT_COLLATION_NAME | SQL_PATH | SCHEMA_COMMENT |
+--------------+--------------------+----------------------------+------------------------+----------+----------------+
| def | information_schema | utf8mb3 | utf8mb3_general_ci | NULL | |
| def | mysql | utf8mb4 | utf8mb4_general_ci | NULL | |
| def | performance_schema | utf8mb3 | utf8mb3_general_ci | NULL | |
| def | otrs | utf8mb3 | utf8mb3_general_ci | NULL | |
| def | sys | utf8mb3 | utf8mb3_general_ci | NULL | |
+--------------+--------------------+----------------------------+------------------------+----------+----------------+
5 rows in set (0.004 sec)
root
Administrator
Posts: 3934
Joined: 18 Dec 2007, 12:23
Znuny Version: Znuny and Znuny LTS
Real Name: Roy Kaldung
Company: Znuny
Contact:

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by root »

supertux wrote: 13 Jul 2022, 17:21 ==> /var/log/apache2/error.log <==
ERROR: OTRS-CGI-53 Perl: 5.34.0 OS: linux Time: Wed Jul 13 14:56:04 2022

Message: No State for open found!

RemoteAddress: 172.29.21.22
RequestURI: /otrs/index.pl?Action=AgentDashboard

Traceback (1595):
Module: Kernel::System::State::StateLookup Line: 570
Module: Kernel::Output::HTML::Dashboard::TicketQueueOverview::Run Line: 99
Module: Kernel::Modules::AgentDashboardCommon::_Element Line: 984
Module: Kernel::Modules::AgentDashboardCommon::Run Line: 611
Module: Kernel::System::Web::InterfaceAgent::Run Line: 1144
Module: ModPerl::ROOT::ModPerl::Registry::opt_otrs_bin_cgi_2dbin_index_2epl::handler Line: 39
Module: (eval) (v1.99) Line: 207
Module: ModPerl::RegistryCooker::run (v1.99) Line: 207
Module: ModPerl::RegistryCooker::default_handler (v1.99) Line: 173
Module: ModPerl::Registry::handler (v1.99) Line: 32
Hallo,

das es sich hier immer um andere Fehler handelt (die mit Sicherheit schon vorhr da waren) fangen wir mal mit dem ersten an. Der Fehler Message: No State for open found! bei der Ticket Queue Overview auf dem Dashboard kommt vermutlich von einem nicht mehr (gültigen) Status open. Die Konfiguration für das Widget erfolgt über die Einstellung DashboardBackend###0270-TicketQueueOverview in der Systemkonfiguration. Da den Key States prüfen.
Und für den Fall das keiner weiss wofür das Widget ist: Einstellung zurücksetzen (Reset setting) und auf ungültig stellen ;-)


Für die 500er internal server error müssen im ErrorLog noch andere Einträge sein, der hier jedenfalls gibt keinen 500er. Interessant wäre noch welches MPM-Modul Du nutzt.

- Roy
Znuny and Znuny LTS running on CentOS / RHEL / Debian / SLES / MySQL / PostgreSQL / Oracle / OpenLDAP / Active Directory / SSO

Use a test system - always.

Do you need professional services? Check out https://www.znuny.com/

Do you want to contribute or want to know where it goes ?
supertux
Znuny newbie
Posts: 3
Joined: 11 Jul 2022, 15:31
Znuny Version: 6.0.44
Real Name: r. merz

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by supertux »

Hi Roy

Gerne fangen wir mal von vorne an. Sich einmal nochmal zu sammeln und den Wald vor lauter Bäumen nicht sehen, den Status habe ich gerade schon ;)

Teil 1:
Nach einem Reboot kam ich wieder in das Webbackend von Znuny . Die Einstellung war laut Znuny auf der Default einstellung gewesen. Habe es jetzt trotzdem zurück gesetzt und den Wert deaktiviert und diese Einstellung übernommen.

DashboardBackend###0270-TicketQueueOverview
Image



Teil 2:
Hier stellte ich fest das hier das Modul libapache2-mpm-itk installiert ist. Welches in anderen Server dringend benötigt wird und hier wohl durch Copy& Paste auch einfach installiert worden ist. Da dies in der offiziellen Installationsanleitung nicht aufgeführt ist, habe ich es mal entfernt und deinstalliert.


# apt-cache show libapache2-
libapache2-authcassimple-perl libapache2-mod-authn-sasl libapache2-mod-gnutls libapache2-mod-mono libapache2-mod-python-doc libapache2-mod-uwsgi
libapache2-authcookie-perl libapache2-mod-authn-yolo libapache2-mod-intercept-form-submit libapache2-mod-musicindex libapache2-mod-qos libapache2-mod-uwsgi-dbg
libapache2-mod-apparmor libapache2-mod-authn-yubikey libapache2-mod-jk libapache2-mod-neko libapache2-mod-r-base libapache2-mod-vhost-ldap
libapache2-mod-apreq2 libapache2-mod-authnz-external libapache2-mod-ldap-userdir libapache2-mod-netcgi-apache libapache2-mod-removeip libapache2-mod-watchcat
libapache2-mod-auth-cas libapache2-mod-authnz-pam libapache2-mod-ldap-userdir-dbg libapache2-mod-parser3 libapache2-mod-rivet libapache2-mod-wsgi-py3
libapache2-mod-auth-gssapi libapache2-mod-authz-unixgroup libapache2-mod-lisp libapache2-mod-passenger libapache2-mod-rivet-doc libapache2-mod-xforward
libapache2-mod-auth-kerb libapache2-mod-bw libapache2-mod-log-slow libapache2-mod-perl2 libapache2-mod-rpaf libapache2-mod-xsendfile
libapache2-mod-auth-mellon libapache2-mod-defensible libapache2-mod-log-sql libapache2-mod-perl2-dev libapache2-mod-ruid2 libapache2-mpm-itk
libapache2-mod-auth-openid libapache2-mod-dnssd libapache2-mod-log-sql-dbi libapache2-mod-perl2-doc libapache2-mod-ruwsgi libapache2-reload-perl
libapache2-mod-auth-openidc libapache2-mod-encoding libapache2-mod-log-sql-mysql libapache2-mod-php libapache2-mod-ruwsgi-dbg libapache2-request-perl
libapache2-mod-auth-pgsql libapache2-mod-evasive libapache2-mod-log-sql-ssl libapache2-mod-php7.4 libapache2-mod-security2 libapache2-sitecontrol-perl
libapache2-mod-auth-plain libapache2-mod-fcgid libapache2-mod-lookup-identity libapache2-mod-php8.0 libapache2-mod-shib
libapache2-mod-auth-pubtkt libapache2-mod-form libapache2-mod-mapcache libapache2-mod-php8.1 libapache2-mod-svn
libapache2-mod-auth-radius libapache2-mod-form-dev libapache2-mod-md libapache2-mod-proxy-uwsgi libapache2-mod-tile
libapache2-mod-auth-tkt libapache2-mod-geoip libapache2-mod-mime-xattr libapache2-mod-python libapache2-mod-upload-progress



# apt-cache show libapache2-mpm-itk
Package: libapache2-mpm-itk
Architecture: amd64
Version: 2.4.7-04-1
Priority: optional
Section: universe/libs
Source: mpm-itk
Origin: Ubuntu
Maintainer: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>
Original-Maintainer: Steinar H. Gunderson <sesse@debian.org>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 44
Depends: libc6 (>= 2.4), libcap2 (>= 1:2.10), apache2-api-20120211, apache2-bin (>= 2.4.16)
Breaks: apache2 (<< 2.4.9-2~)
Replaces: apache2 (<< 2.4.6-4~)
Filename: pool/universe/m/mpm-itk/libapache2-mpm-itk_2.4.7-04-1_amd64.deb
Size: 10768
MD5sum: 7904d8a14f6fc7a5392143f0b9ad7e66
SHA1: 04a68b38f80a70a9e80fa2b6054741c22a5d0329
SHA256: 9d9018e9ba027394d4496f62534d0d025a085583a9a794a98e9f0cff6c99b9e2
SHA512: ef567fe4423cd35c3afe667f0a41dddaad4c625a07df5b544b14bc4a111d18b6c0454abedb98123e4b8d0e8269b974c02c9ccbd982acb3b264ed36b5873395b7
Homepage: http://mpm-itk.sesse.net/
Description-en: multiuser module for Apache
The mpm-itk module, although not technically a Multi-Processing Module (MPM)
(although it used to be) enhances the classical "prefork" module (that is,
without threads), in such a way that it allows you to constrain each
individual vhost to a particular system user and group. This allows you to run
several different web sites on a single server without worrying that they will
be able to read each others' files. mpm-itk is largely independent of e.g.
what scripting technology is in use on your server; in particular, it does not
require you to run your scripts as CGI to get the extra security benefit.
Description-md5: b644c5fc7698218780d7e4130a4d369b


# aptitude purge libapache2-mpm-itk



Teil 3:
Ich werde die Logfiles nochmals genauer anschauen, was ich übersehen habe, aber was ich im Anfangspost zitiert hatte, war die reproduzierte Ausgabe nach einem Reload der Seite, welche ich im Terminal nebenher laufen lies.

# cd /opt/otrs; tail -f var/log/Daemon/* var/log/otrs.log /var/log/apache2/*



Teil 4:
Kann das Repo hier auch Probeme verursachen?
2022-07-14_10-25.png
You do not have the required permissions to view the files attached to this post.
root
Administrator
Posts: 3934
Joined: 18 Dec 2007, 12:23
Znuny Version: Znuny and Znuny LTS
Real Name: Roy Kaldung
Company: Znuny
Contact:

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by root »

supertux wrote: 14 Jul 2022, 10:31 Teil 1:
Nach einem Reboot kam ich wieder in das Webbackend von Znuny . Die Einstellung war laut Znuny auf der Default einstellung gewesen. Habe es jetzt trotzdem zurück gesetzt und den Wert deaktiviert und diese Einstellung übernommen.

DashboardBackend###0270-TicketQueueOverview
Image
Hallo,

wenn es die Defaultsettings waren dann gibt es keinen State der open heisst. Ich vermute mal der wurde dann umbenannt.



supertux wrote: 14 Jul 2022, 10:31 Teil 2:
Hier stellte ich fest das hier das Modul libapache2-mpm-itk installiert ist. Welches in anderen Server dringend benötigt wird und hier wohl durch Copy& Paste auch einfach installiert worden ist. Da dies in der offiziellen Installationsanleitung nicht aufgeführt ist, habe ich es mal entfernt und deinstalliert.
Znuny benötigt auf jeden Fall das MPM-Modul prefork. Auch wenn das itk Modul auf dem Prefork basiert würde ich das Wechseln bis geklärr ist woher die 500er Fehler kommen.

Aktivieren kann mn das Prefork-Module mit
a2enmod mpm_prefork
dann muss nur der Apache restartet werden.

Die 500er Fehler landen immer im error_log, je nach Konfiguration kann das aber auch der ssl_error_log sein. Du musst da auch nicht dauern draufsehen. Schau rein wenn der Fehler kommt.
supertux wrote: 14 Jul 2022, 10:31 Teil 4:
Kann das Repo hier auch Probeme verursachen?
2022-07-14_10-25.png
Das Repo kann es sein wenn vergessen wurde nach der Installation den Webserver neu zu starten. Sonst gibt es da nichts.

- Roy
Znuny and Znuny LTS running on CentOS / RHEL / Debian / SLES / MySQL / PostgreSQL / Oracle / OpenLDAP / Active Directory / SSO

Use a test system - always.

Do you need professional services? Check out https://www.znuny.com/

Do you want to contribute or want to know where it goes ?
supertux
Znuny newbie
Posts: 3
Joined: 11 Jul 2022, 15:31
Znuny Version: 6.0.44
Real Name: r. merz

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by supertux »

root wrote: 14 Jul 2022, 12:31 Hallo,

wenn es die Defaultsettings waren dann gibt es keinen State der open heisst. Ich vermute mal der wurde dann umbenannt.
Nehme ich jetzt einfach mal als gegeben hin, da ich es nicht nachvollziehen kann und ich den Rat suche ;)

root wrote: 14 Jul 2022, 12:31 Aktivieren kann mn das Prefork-Module mit
a2enmod mpm_prefork
dann muss nur der Apache restartet werden.
Das Modul war wohl schon aktiv gewesen.

# a2enmod mpm_prefork
Considering conflict mpm_event for mpm_prefork:
Considering conflict mpm_worker for mpm_prefork:
Module mpm_prefork already enabled

# apache2ctl -M
Loaded Modules:
core_module (static)
so_module (static)
watchdog_module (static)
http_module (static)
log_config_module (static)
logio_module (static)
version_module (static)
unixd_module (static)
access_compat_module (shared)
alias_module (shared)
auth_basic_module (shared)
authn_core_module (shared)
authn_file_module (shared)
authz_core_module (shared)
authz_host_module (shared)
authz_user_module (shared)
autoindex_module (shared)
cgi_module (shared)
deflate_module (shared)
dir_module (shared)
env_module (shared)
filter_module (shared)
headers_module (shared)
mime_module (shared)
mpm_prefork_module (shared)
negotiation_module (shared)
perl_module (shared)
reqtimeout_module (shared)
rewrite_module (shared)
setenvif_module (shared)
socache_shmcb_module (shared)
ssl_module (shared)
status_module (shared)
root wrote: 14 Jul 2022, 12:31 Znuny benötigt auf jeden Fall das MPM-Modul prefork. Auch wenn das itk Modul auf dem Prefork basiert würde ich das Wechseln bis geklärr ist woher die 500er Fehler kommen.
root wrote: 14 Jul 2022, 12:31 Die 500er Fehler landen immer im error_log, je nach Konfiguration kann das aber auch der ssl_error_log sein. Du musst da auch nicht dauern draufsehen. Schau rein wenn der Fehler kommt.
Seit der hier dokumentierten Änderung und deinstallation des itk Modules gibt es keine Einträge mehr in der Datei /var/log/apache2.error.log und ich hatte jetzt den ganzen Vormittag auch keine 500 Fehler mehr.
Aber das war die Tage schonmal so, das es Zeitweise bei jedem Laden der Seite kam und dann eine Zeitlang nicht mehr. Ich würde es einfach nochmal beobachten.


Die letzten Einträge sind:

# cat /var/log/apache2.error.log
[Thu Jul 14 10:00:24.532620 2022] [:error] [pid 25747] Wide character in shmwrite at /opt/otrs/Kernel/System/Log.pm line 264.\n
[Thu Jul 14 10:00:31.119402 2022] [:error] [pid 25749] Wide character in shmwrite at /opt/otrs/Kernel/System/Log.pm line 264.\n
[Thu Jul 14 10:00:33.731706 2022] [:error] [pid 25748] Wide character in shmwrite at /opt/otrs/Kernel/System/Log.pm line 264.\n
[Thu Jul 14 10:00:36.786096 2022] [:error] [pid 25750] Wide character in shmwrite at /opt/otrs/Kernel/System/Log.pm line 264.\n
[Thu Jul 14 10:01:07.657564 2022] [mpm_prefork:notice] [pid 25743] AH00170: caught SIGWINCH, shutting down gracefully
[Thu Jul 14 10:01:38.292252 2022] [mpm_prefork:notice] [pid 1366] AH00163: Apache/2.4.52 (Ubuntu) OpenSSL/3.0.2 mod_perl/2.0.12 Perl/v5.34.0 configured -- resuming normal operations
[Thu Jul 14 10:01:38.295762 2022] [core:notice] [pid 1366] AH00094: Command line: '/usr/sbin/apache2'
ERROR: OTRS-CGI-53 Perl: 5.34.0 OS: linux Time: Thu Jul 14 08:02:18 2022

Message: No State for open found!

RemoteAddress: 172.29.21.22
RequestURI: /otrs/index.pl?

Traceback (1379):
Module: Kernel::System::State::StateLookup Line: 570
Module: Kernel::Output::HTML::Dashboard::TicketQueueOverview::Run Line: 99
Module: Kernel::Modules::AgentDashboardCommon::_Element Line: 984
Module: Kernel::Modules::AgentDashboardCommon::Run Line: 611
Module: Kernel::System::Web::InterfaceAgent::Run Line: 1144
Module: ModPerl::ROOT::ModPerl::Registry::opt_otrs_bin_cgi_2dbin_index_2epl::handler Line: 39
Module: (eval) (v1.99) Line: 207
Module: ModPerl::RegistryCooker::run (v1.99) Line: 207
Module: ModPerl::RegistryCooker::default_handler (v1.99) Line: 173
Module: ModPerl::Registry::handler (v1.99) Line: 32




root wrote: 14 Jul 2022, 12:31 Das Repo kann es sein wenn vergessen wurde nach der Installation den Webserver neu zu starten. Sonst gibt es da nichts.
Da der Server mehrmals neugestartet worden ist, kann mandas ignorieren.





Teil 5
Ich habe um 11:50 Uhr das IMAP Postfach wieder aktiviert und gültig gemacht, so das die E-Mails wieder aus dem Postfach abgerufen werden.
Da ruft er die E-Mails aus dem Postfach auch ab, aber es kommt wieder zu dem Ursprungsfehler. Er löscht die E-Mails auch nicht aus dem Postfach und probiert es beim nächsten Intervall wieder.

Im Backend sieht es dann so aus.
2022-07-14_13-26.png
Und im Log sehe ich dies hier.
# cat /opt/otrs/var/log/otrs.log
[Thu Jul 14 11:26:58 2022][Notice][Kernel::System::AuthSession::DB::RemoveSessionID] Removed SessionID PTy5TNYo0jDmoULf0aNODaHK5HMIIG2Y.
[Thu Jul 14 11:27:06 2022][Notice][Kernel::System::Auth::DB::Auth] User: supertux authentication ok (Method: sha256, REMOTE_ADDR: 172.29.21.22).
[Thu Jul 14 11:52:06 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53564/Rechnung RE2022] created (TicketID=565,Queue=EDV::Support,Priority=3 normal,State=new)
[Thu Jul 14 11:52:07 2022][Info][Kernel::System::Ticket::Article::Backend::Email::ArticleSend] Queued email to 'Sales <sales@*******.de>' from 'EDV <edv@*******.com>'. HistoryType => SendAutoReply, Subject => [Ticket#53564] RE: Rechnung RE20221840 [...];
[Thu Jul 14 11:52:07 2022][Info][Kernel::System::Ticket::Article::Backend::Email::SendAutoResponse] Sent auto response (SendAutoReply) for Ticket [53564] (TicketID=565, ArticleID=234) to 'Sales <sales@******.de>'.
[Thu Jul 14 11:52:07 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53565/Outlook Problem] created (TicketID=566,Queue=EDV::Support,Priority=3 normal,State=new)
[Thu Jul 14 11:52:08 2022][Info][Kernel::System::Ticket::Article::Backend::Email::ArticleSend] Queued email to 'M <M****.****@********.com>' from 'EDV <edv@*******.com>'. HistoryType => SendAutoReply, Subject => [Ticket#53565] RE: Outlook Probleme bei der [...];
[Thu Jul 14 11:52:08 2022][Info][Kernel::System::Ticket::Article::Backend::Email::SendAutoResponse] Sent auto response (SendAutoReply) for Ticket [53565] (TicketID=566, ArticleID=236) to 'M <M*****.******@*********.com>'.
[Thu Jul 14 11:52:08 2022][Error][Kernel::System::MailAccount::IMAP::_Fetch][446] Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

[Thu Jul 14 11:53:05 2022][Debug][Kernel::System::Email::SendExecute][747] Trying to send the email using backend 'Kernel::System::Email::Sendmail'.
[Thu Jul 14 11:53:06 2022][Debug][Kernel::System::Email::SendExecute][747] Trying to send the email using backend 'Kernel::System::Email::Sendmail'.
[Thu Jul 14 11:54:07 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53566/Rechnung RE2022] created (TicketID=567,Queue=EDV::Support,Priority=3 normal,State=new)
[Thu Jul 14 11:54:07 2022][Error][Kernel::System::MailAccount::IMAP::_Fetch][446] Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

[Thu Jul 14 11:56:06 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53567/Rechnung RE2022] created (TicketID=568,Queue=EDV::Support,Priority=3 normal,State=new)
[Thu Jul 14 11:56:06 2022][Error][Kernel::System::MailAccount::IMAP::_Fetch][446] Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

[Thu Jul 14 11:58:06 2022][Info][Kernel::System::Ticket::TicketCreate] New Ticket [53568/Rechnung RE2022] created (TicketID=569,Queue=EDV::Support,Priority=3 normal,State=new)
[Thu Jul 14 11:58:06 2022][Error][Kernel::System::MailAccount::IMAP::_Fetch][446] Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.
You do not have the required permissions to view the files attached to this post.
rolandjaeger
Znuny newbie
Posts: 5
Joined: 29 Aug 2018, 09:48
Znuny Version: 5.0.29
Real Name: Roland Jäger

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by rolandjaeger »

Hallo,

das Problem hat bei uns gestern nach einem Update auf von Ubuntu 20.04 auf 22.04.1 auch zugeschlagen.
Mit dem Update einher ging ein Perl Update von 5.30 auf 5.34.

Eine schnelle Lösung für die gröbsten Probleme (500er Error, Email Processing) ist erstmal, die betreffende Zeile in Log.pm durch folgende zu ersetzen:
shmwrite( $Self->{IPCSHMKey}, utf8::decode($Data . $String), 0, $Self->{IPCSize} ) || die $!;

Das bisschen UTF Decodieren reicht schon aus. Das Lob gebührt übrigens nicht mir: https://giters.com/Centuran/OTRS-Commun ... n/issues/3

Unsere OTRS Version ist schon historisch, aber der Logging Code ist identisch und der Fix sollte somit auch in einer aktuellen Version helfen.

So richtig rund läuft es an vielen, zum Glück aber nicht kritischen Stellen aber immer noch nicht: beispielsweise ist die Volltextsuche plötzlich unglaublich langsam, der Logviewer im Admin Bereich (der ja auf ein im Speicher abgelegtes Log zugreift) funktioniert nicht mehr, etc. Keine dramatischen Dinge, aber schon komisch.

Perl 5.34 ist ja jetzt nicht so neu. Liegt das Problem vielleicht tiefer bzw. ist das ein Problem mit der Perl Version, die bei Ubuntu dabei ist?

Grüße
Roland
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

Hi,

ich hatte das Problem jetzt auch schon 2x. Bisher war die Ursache immer eine "alte" Config.pm.

Könnt ihr mal checken ob Eure Config.pm die korrekten Header holt?

Also Z. 21-25
https://github.com/znuny/Znuny/blob/dev ... m.dist#L21

und Z:: 95-102

Ein fehlendes use utf8 reicht hier schon.

Gruß
Johannes

Edit:
Ich bin dazu über gegangen die Config.pm aus dem DIST zu nehmen und nur die relevanten Werte aus der alten Config zu kopieren
rolandjaeger
Znuny newbie
Posts: 5
Joined: 29 Aug 2018, 09:48
Znuny Version: 5.0.29
Real Name: Roland Jäger

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by rolandjaeger »

Hallo,

bei mir ist es das leider nicht. Sieht wie die Vorlage aus und "use utf8;" ist drin.

Aber der Hinweis ist gut. Bin gar nicht auf die Idee gekommen, dass da was fehlen könnte.

Grüße
Roland
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

Hallo Roland,

im Rahmen des Community Supports können wir uns das gern nächste Woche mal ansehen.

Bitte mit Link zu dem Thread an community@znuny.com wenden.

Gruß
Johannes
rolandjaeger
Znuny newbie
Posts: 5
Joined: 29 Aug 2018, 09:48
Znuny Version: 5.0.29
Real Name: Roland Jäger

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by rolandjaeger »

Hallo Johannes,

vielen Dank für das Angebot. Qualifziert sich denn auch ein OTRS 5 noch dafür?
Wir sind ja noch ein wenig hinterher und müssen noch ein paar Altlasten loswerden, bevor es dann hoffentlich im Winter den Umstieg gibt.

Grüße
Roland
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

Hallo Roland,

community support ist versions unabhängig. Kein Problem.

Allgemeine Info zur Transparenz: Ich habe die Antwort von hkais hier gelöscht, da du sicher weißt wie man Google benutzt, es hier nicht um ein Udpate von 5 nach 6 geht und es sonst nichts mit dem Thema mit dem eigentlichen Thema zu tun hatte.
bschmalhofer
Znuny newbie
Posts: 12
Joined: 30 Apr 2020, 15:16
Znuny Version: 6.0
Real Name: Bernhard Schmalhofer
Company: Bernhard Schmalhofer
Location: Munich
Contact:

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by bschmalhofer »

The error message "Wide character in shmwrite" is an effect of a bugfix in Perl 5.34.0. Search for shmget in https://perldoc.perl.org/5.34.0/perldel ... -Bug-Fixes.
semop() now downgrades the OPSTRING parameter, msgsnd() now downgrades the MSG parameter and shmwrite now downgrades the STRING parameter to treat them as bytes. Previously they would be left upgraded, providing a corrupted structure to the underlying function call.
This means the shmwrite implicitly calls utf8::downgrade() on the argument. This fails for strings with wide character und in consquence Kernel::System::Log() throws an exception. The error occurs when the log message contains codepoints outside the iso-8859-1 range.

The work around proposed by rolandjaeger is IMHO not the correct fix:

Code: Select all

 shmwrite( $Self->{IPCSHMKey}, utf8::decode($Data . $String), 0, $Self->{IPCSize} ) || die $!;
The function

Code: Select all

utf8::decode() 
returns a return code that can apparently written by

Code: Select all

shmwrite()
. But this means that the message won't be visible in the AdminLog frontend.

I had success in working around this issue by encoding the log string to UTF-8 before giving it to shmwrite.

Code: Select all

      
       $Kernel::OM->Get('Kernel::System::Encode')->EncodeOutput( \$NewString );
        shmwrite( $Self->{IPCSHMKey}, $NewString, 0, $Self->{IPCSize} ) || die $!;
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

Nice find!
rolandjaeger
Znuny newbie
Posts: 5
Joined: 29 Aug 2018, 09:48
Znuny Version: 5.0.29
Real Name: Roland Jäger

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by rolandjaeger »

Thank you very much bschmalhofer!

This is indeed the solution that fixes both the exception as well as the empty log in the AdminLog frontend:

Code: Select all

        my $LogString = $Data . $String;
        $Kernel::OM->Get('Kernel::System::Encode')->EncodeOutput( \$LogString );
        shmwrite( $Self->{IPCSHMKey}, $LogString, 0, $Self->{IPCSize} ) || die $!;
Johannes: as far as I can see, even with the most recent Znuny relases this will affect others upgrading to Perl 5.34. I'm not deep enough in the code to know if this warrants to raise an issue (to be honest, my "native" language is PHP....).

With regards to the other issues we were facing after the Ubuntu LTS 22.04 Upgrade, I could trace all of them down to a totally messed up mariadb config, which had basically all caches removed or set to ridicously low values and was overriding our config.
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

Hi Roland,

we are testing this at the moment and think this fix is safe enough for the next release.
There will be an issue on GH for this soon.

regards
Johannes
Moderator
Posts: 391
Joined: 30 Jan 2008, 02:26
Znuny Version: All of them ^^
Real Name: Hannes
Company: Znuny|OTTERHUB

Re: Exception while processing mail: Wide character in shmwrite at /opt/znuny-6.0.44/Kernel/System/Log.pm line 264.

Post by Johannes »

I created an issue for this:
https://github.com/znuny/Znuny/issues/286
Post Reply