utf8mb4 auf uberspace

Es war vor gut zwei Jahren, dass mir das Thema utf8mb4 auffiel. Ein Thema, das auch meinen Hoster uberspace betrifft, denn dort kommt – CentOS 6 sei “Dank” – MySQL 5.1.73 zum Einsatz, und utf8mb4 gibt es erst ab 5.5.3. Was ich leidvoll feststellen musste, als WordPress einen Post nur bis zu einem eingefügten Emoji gespeichert hat, alles darüber hinaus war (stillschweigend!) flöten. Damals wurde ich auf CentOS 7 vertröstet, das das dann können sollte.

Am 16.2. dieses Jahres kam dann der erlösende Blogpost: uberspace unterstützt MariaDB, und zwar in der “zu MySQL 5.5 kompatiblen” Version 10.0 – trotz CentOS 6:

eine Übergangslösung, die nur für Leute gedacht ist, die zwingend hier und jetzt unbedingt MySQL 5.5 bzw. etwas dazu Kompatibles brauchen.

“Hier und jetzt”, eh, ja. In dem Zusammenhang:

Sobald unsere CentOS-7-Hosts am Start sind […]

Dazu gibt es immer noch keinen Zeitplan, Stand 8. April 2016. Aber zurück zum Thema: Das Wiki sagt

Mit dem Befehl uberspace-setup-mariadb kannst du dir eine Datenbank auf dem Host anlegen. Die Zugangsdaten werden in ~/.my.mariadb.cnf abgelegt.

, was bei mir zuerst nicht geklappt hat:

[crusy@circinus ~]$ uberspace-setup-mariadb
ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)

1 2	[crusy@circinus ~]$ uberspace-setup-mariadb ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)

Nachdem der Support tätig wurde, war der Fehler zwar weg, aber erwähnte .my.mariadb.cnf leer. Inzwischen läuft das aber rund (Danke an den Support an dieser Stelle für die schnelle Reaktion), deshalb hier die vollständige Migration:

// 1. Datenbank aus MySQL exportieren:
[crusy@circinus ~]$ mysqldump -u crusy -pMeinMysqlPasswort crusy_blog > blog.sql

// 2. Datenbank in MariaDB anlegen:
[crusy@circinus ~]$ uberspace-setup-mariadb 
[crusy@circinus ~]$ mysql --defaults-file=~/.my.mariadb.cnf 
mysql> CREATE DATABASE crusy_blog CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
mysql> exit

// 3. MySQL-Dump in MariaDB importieren:
[crusy@circinus ~]$ mysql --defaults-file=~/.my.mariadb.cnf crusy_blog < blog.sql

// 4a. Zugangsdaten für MariaDB ansehen:
[crusy@circinus ~]$ vi .my.mariadb.cnf

// 4b. WordPress auf MariaDB umschalten:  
[crusy@circinus ~]$ vi virtual/blog.crusy.net/wp-config.php
// zu ändern ist konkret:
// define('DB_HOST', '127.0.0.1:3307'); // NICHT localhost:3307
// define('DB_PASSWORD', 'Passwort aus .my.mariadb.cnf');
// define('DB_CHARSET', 'utf8mb4');
// define('DB_COLLATE', 'utf8mb4_unicode_ci'); // '' scheint auch zu funktionieren

// 5. dump löschen:
[crusy@circinus ~]$ rm blog.sql

// 1. Datenbank aus MySQL exportieren:

[crusy@circinus ~]$ mysqldump -u crusy -pMeinMysqlPasswort crusy_blog > blog.sql

// 2. Datenbank in MariaDB anlegen:

[crusy@circinus ~]$ uberspace-setup-mariadb

[crusy@circinus ~]$ mysql --defaults-file=~/.my.mariadb.cnf

mysql> CREATE DATABASE crusy_blog CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

mysql> exit

// 3. MySQL-Dump in MariaDB importieren:

[crusy@circinus ~]$ mysql --defaults-file=~/.my.mariadb.cnf crusy_blog < blog.sql

// 4a. Zugangsdaten für MariaDB ansehen:

[crusy@circinus ~]$ vi .my.mariadb.cnf

// 4b. WordPress auf MariaDB umschalten:

[crusy@circinus ~]$ vi virtual/blog.crusy.net/wp-config.php

// zu ändern ist konkret:

// define('DB_HOST', '127.0.0.1:3307'); // NICHT localhost:3307

// define('DB_PASSWORD', 'Passwort aus .my.mariadb.cnf');

// define('DB_CHARSET', 'utf8mb4');

// define('DB_COLLATE', 'utf8mb4_unicode_ci'); // '' scheint auch zu funktionieren

// 5. dump löschen:

[crusy@circinus ~]$ rm blog.sql

Et voilà: Von 💩 zu 👍 in fünf einfachen Schritten! 😊 ~~Dasselbe jetzt noch für meinen Feedreader! 💪~~

UPDATE

Meh: Fever “kann” das nicht. Erstens ist utf8 dort hart im Code verdrahtet, zweitens ist bsplw. der Titel eines Eintrags ein varchar(255) – und ein Key:

255 mal 4 Byte (wie in utf8mb4) sind aber mehr als 1000 Byte, und das ist das Limit für einen Schlüssel m( Change Request bei Fever läuft.

UPDATE

Ich empfehle Super Emoji Plus+!

UPDATE

uberspace zum Thema “~~CentOS~~ uberspace 7″ und Zeitplänen – für solche Ansagen mag ich die Jungs 😉

Java/Velocity, XML/JSON: UTF-8 [UPDATE]

Wer Velocity auf ‘nem Tomcat laufen hat, stolpert vielleicht mal über das Problem, dass das Character Encoding falsch gesetzt ist. Sprich, dass Umlaute falsch gerendert werden.

Nun könnte man vermuten, dass das am String selbst liegt. Tut es nicht: In Java sind Strings UTF-16.

Dann könnte man den Fehler in Velocity suchen. Etwa könnte man die Templates explizit als UTF-8 öffnen:

Template template = Velocity.getTemplate( name, "UTF-8" );
// statt Template template = Velocity.getTemplate( name );

1 2	Template template = Velocity.getTemplate( name, "UTF-8" ); // statt Template template = Velocity.getTemplate( name );

Das hat bei mir nicht geholfen. Allerdings kann man Velocity das Default-, Input- und Output-Encoding vorgeben:

Velocity.setProperty( Velocity.ENCODING_DEFAULT, "UTF-8" );
Velocity.setProperty( Velocity.INPUT_ENCODING, "UTF-8" );
Velocity.setProperty( Velocity.OUTPUT_ENCODING, "UTF-8" );

Velocity.setProperty( Velocity.ENCODING_DEFAULT, "UTF-8" );

Velocity.setProperty( Velocity.INPUT_ENCODING, "UTF-8" );

Velocity.setProperty( Velocity.OUTPUT_ENCODING, "UTF-8" );

Das scheint schon mal was zu bewirken. Allerdings wird einem hier auffallen, dass die meisten (wenn nicht alle) Umlaute nicht im Template liegen, sondern dort nur reingeschrieben werden. In unserem Fall wurden zum Beispiel zum Teil Daten eines Webservice, zum Teil aber auch lokal gespeicherte XMLs verwendet. Die XMLs müssen UTF-8-kodiert gespeichert worden sein:

XmlOptions options = New XmlOptions();
options.setCharacterEncoding("UTF-8");

org.apache.xmlbeans.XmlTokenSource document;
String xml = document.xmlText(options);

org.apache.commons.io.FileUtils.writeStringToFile( myFile, xml, "UTF-8" );

XmlOptions options = New XmlOptions();

options.setCharacterEncoding("UTF-8");

org.apache.xmlbeans.XmlTokenSource document;

String xml = document.xmlText(options);

org.apache.commons.io.FileUtils.writeStringToFile( myFile, xml, "UTF-8" );

Und sie müssen vor allem auch UTF-8-kodiert gelesen werden:

XmlOptions options = New XmlOptions();
options.setCharacterEncoding("UTF-8");

org.apache.xmlbeans.XmlTokenSource document = org.apache.xmlbeans.XmlObject.Factory.parse(myFile, options);

XmlOptions options = New XmlOptions();

options.setCharacterEncoding("UTF-8");

org.apache.xmlbeans.XmlTokenSource document = org.apache.xmlbeans.XmlObject.Factory.parse(myFile, options);

Update

Kommen die XML-Daten (hier als ZIP) aus der Schnittstelle, müssen sie als UTF-8 in einen String konvertiert werden:

String unzipped = new String( myByteArrayOutputStream.toByteArray(), "UTF-8" );

1	String unzipped = new String( myByteArrayOutputStream.toByteArray(), "UTF-8" );

So. Last but not least müssen die Daten, die serverintern jetzt in UTF-8 vorliegen sollten, auch als solches an den Browser ausgegeben werden. Während normalerweise der Writer des Response ausreicht, um den OutputStream dieses Response zu handlen:

template.merge( myVelocityContext, myResponse.getWriter() );

1	template.merge( myVelocityContext, myResponse.getWriter() );

, muss man diesen für UTF-8 manchmal mit einem Writer mit explizit gesetztem UTF-8 ersetzen (Danke an Ralf!):

PrintWriter writer = new PrintWriter( new OutputStreamWriter( response.getOutputStream(), "UTF-8" ) );
template.merge( myVelocityContext, writer );

1 2	PrintWriter writer = new PrintWriter( new OutputStreamWriter( response.getOutputStream(), "UTF-8" ) ); template.merge( myVelocityContext, writer );

Achtung: Für JSON-Response musste ich dagegen das Encoding des Response selbst setzen:

ResourceResponse myRp;
myRp.setCharacterEncoding("UTF-8");

1 2	ResourceResponse myRp; myRp.setCharacterEncoding("UTF-8");

Vermutlich ist das ein wenig kompliziert gemacht (ich meine, hey, das muss einfacher gehen!), aber so scheint es hier zu funktionieren. HTH

Update

Für Spring gilt es außerdem, dieses Setting zu beachten:

spring.velocity.properties.input.encoding=UTF-8

1	spring.velocity.properties.input.encoding=UTF-8

(Chemische) Sonderzeichen in XML

Wer Sonderzeichen wie z.B. hochgestellte Ziffern (m³) in XML ablegen möchte, nutzt dieses PDF:

http://crusy.net/files/SonderzeichenXML.pdf

(Quelle: http://www.aumiller.ch/). Wer tiefgestellte Zahlen benötigt, googelt nach “xml special chars Subscript” (ohne Anführungszeichen)… die 2 aus CO₂ zum Beispiel lautet ₂

HTH, Lennart

crusy.net

♪ Commit ins Abenteuerland ♫

Tag Archives for Encoding

utf8mb4 auf uberspace

UPDATE

UPDATE

UPDATE

Java/Velocity, XML/JSON: UTF-8 [UPDATE]

Update

Update

(Chemische) Sonderzeichen in XML