OTRS CloneDB

[appu]

Moin moin,

ich versuchen gerade unsere OTRS 3.3.3 Installation (Ubuntu 10.04) zu migrieren. Ziel ist die Aktuelle OTRS Appliance. Bei der aktuellen Installation wird eine MySQL DB verwendet.
Da die Appliance eine Postgresql DB verwendent, muss halt konvertiert werden und habe es mit dem CloneDB Plungin versucht.
Vorgegangen bin ich nach dieser Anweisung: OTRS on Windows
Beim aufrufen auf der Linux CLI bekomme ich dann leider diesen Fehler:

Code: Select all

Type of arg 1 to push must be array (not hash element) at /opt/otrs-3.3.3/Kernel/System/CloneDB/Backend.pm line 330, near ");"
Type of arg 1 to push must be array (not hash element) at /opt/otrs-3.3.3/Kernel/System/CloneDB/Backend.pm line 332, near ");"
Type of arg 1 to push must be array (not hash element) at /opt/otrs-3.3.3/Kernel/System/CloneDB/Backend.pm line 387, near ");"
Type of arg 1 to push must be array (not hash element) at /opt/otrs-3.3.3/Kernel/System/CloneDB/Backend.pm line 388, near ");"
Compilation failed in require at bin/otrs.CloneDB.pl line 39.
BEGIN failed--compilation aborted at bin/otrs.CloneDB.pl line 39.

Habe dann eine Konvertierung mittels MySQL2Psql durchgeführt, welche im ersten Augenblick auch gut aussah. Leider waren bei dieser Methode die Dateianhänge, welche leider auch in der DB liegen, nicht mehr lesbar.

Hat jemand zum obrigen Fehler einen Tip / Hinweis ?

Gruss
Andreas

[Rooobaaat]

Ziehe dir mal das CloneDB-Skript in Version 1.0.10 von ftp://ftp.otrs.org/pub/otrs/packages/. Das sollte deine Probleme beheben, da gab es einen kleinen Bug, der in neueren Perl-Versionen tolerriert wurde, aber in älteren Versionen nicht.

[appu]

Moin Rooobaaat,

besten Dank für die Info. Habe ich gerade gemacht und ein Testlauf gestartet.
Bei einer Tabelle tauchten dann noch diese Meldungen auf:

Code: Select all

Use of uninitialized value $TmpResult in pattern match (m//) at /opt/otrs-3.3.3/Kernel/System/CloneDB/Driver/Base.pm line 270.
Use of uninitialized value $TmpResult in concatenation (.) or string at /opt/otrs-3.3.3/Kernel/System/CloneDB/Driver/Base.pm line 275.
Use of uninitialized value in subroutine entry at /opt/otrs-3.3.3/Kernel/System/CloneDB/Driver/Base.pm line 336.

Desweiteren sind wohl unsere Blobs nicht UTF8 codiert, obwohl die DB und Tabelle auf UTF-8 steht.

Code: Select all

[Thu Dec 11 09:18:54 2014] otrs.CloneDB.pl: Malformed UTF-8 character (unexpected non-continuation byte 0x33, immediately after start byte 0xfa) in print at /opt/otrs-3.3.9/Kernel/System/CloneDB/Driver/Base.pm line 292.
[Thu Dec 11 09:18:54 2014] otrs.CloneDB.pl: Code point 0x0000 is not Unicode, may not be portable at /opt/otrs-3.3.9/Kernel/System/CloneDB/Driver/Base.pm line 292.

Die Anhänge in den Tickets sind zwar dann in der Appliance vorhanden, haben aber dann einen defketen Header und werden von den passenden Programmen nicht mehr erkannt.

[Rooobaaat]

Re-Moin,

schau mal in das CloneDB::LogFile (konfigurierbar via Sysconfig), default in /tmp/OTRSCloneDB.log und poste mal den Ouput.

[appu]

Hi Robert,

das File ist 33 MB gross und "file" gibt den Typ data aus.

Code: Select all

$ file /tmp/OTRSCloneDB.log
/tmp/OTRSCloneDB.log: data

Plain Text vom Logfile wäre z.B. folgendes:

Code: Select all

On table: article_attachment, column: content, id: 8345 - exists an invalid utf8 value.

(nicht lesbarer Teil)

is replaced by :  .

----
Da wir die Anhänge eh gerne aus der DB haben wollen, würde ich noch einen Versuch machen und vorher von ArticleStorageDB auf ArticleStorageFS umstellen und einmal von der Konsole aus das Script starten:

Code: Select all

$ bin/otrs.ArticleStorageSwitch.pl -s ArticleStorageDB -d ArticleStorageFS

Die Anhänge dann in die Appliance kopieren, danach halt CloneDB aufrufen und hoffen das der Rest ohne Probleme konvertiert wird.

[jojo]

ist article_attachment auch als blob Tabelle konfiguriert?

[appu]

Wenn ich das richtig sehen ist die Spalte als Blob konfiguriert

Code: Select all

#	Spalte	 Typ			Kollation	Attribute	Null	Standard	Extra
8	content	longblob					 BINARY		Nein	kein(e)	

Die "uninitialized value" Fehler sind nach dem Update auf 1.0.11 behoben.

[jojo]

Zeig mal Deine sysconfig settings

[appu]

Hi jojo,

hoffe das ist der richtige Teil.

[Julian0o]

Seit ihr in der Sache weitergekommen? Hänge an der selben stelle. Allerdings von Windows(MySQL) nach Appliance

[beastmoar]

Bei mir gab es 2 Fehlerquellen, einmal das FAQ-Modul deinstallieren, dann hat cloneDB gefunzt aber ohne Anhänge Dann habe ich einfach die Anhänge von DB auf FS umgestellt und auf das neue System kopiert uns siehe da alles hat gepasst...

Grüße
Alex

[appu]

Sorry,

habe ganz vergessen zu antworten.
Wir haben es dann auch so wie beastmoar gemacht.
Faq Modul deinstalliert und alle Anhänge in das FS gepackt. Dort hatten wir mehrere ( <5 ) Fehler gehabt, z.B. Anhänge ohne Namen oder Doppelte Datenbankeinträge.
Nachdem das durchwar, konnten wir CloneDB verwenden und fahren jetzt die Appliance seit dem 19. Dez ohne größere Probleme.

[Julian0o]

Danke euch schonmal. Jetzt komme ich bei der Überprüfung schonmal bis zur Tabelle standard_attachment. Jetzt kommen da die "Malformend UTF-8" Fehler da. Was kann ich jetzt noch tuen?

EDIT: Habe die DB jetzt trotzdem mal geclont. Wie zu erwarten sind die Anlangen alle defekt. diese müssen also noch irgendwie umkonvertiert werden denke ich. Nur habe ich keine Ahnung wie ich da weiter vorgehen soll...

[Rooobaaat]

Was sind das für Anhänge mit dem malformed UTF-8 character?
Sind das Inline-Attachments oder Anhänge?

[Julian0o]

Hi! Alles PDFs

EDIT: Zusätzlich sind auch noch die Tabellen standard_attachment und web_upload_cache betroffen.

Beide sind aber auch unter CloneDB::BlobColumns definiert.

[beastmoar]

Stelle für die Anhänge von DB auf FS um dann kannst du die einfach rüberkopieren

[Julian0o]

Hab ich gemacht, aber die standard_attachment und web_upload_cache kann man nicht ins FS verschieben.Zumindest nicht das ich wüsste.

[Julian0o]

So die standard_attachment habe ich jetzt auch so hinbekommen das ich alle Daten da drin im alten System runtergeladen, und im neuen hochgeladen habe.

Jetzt ist nurnoch die Frage: Was steht in der web_upload_cache? Kann ich die einfach leeren?

[appu]

Kurz OT: Die Appliance hat eine Random System ID - die sollte man mit der Orignal Installation ID ersetzen, damit der Betreff mit der Ticket Nummmer wieder passt.