AO3 News

Post Header

Published:
2018-12-13 19:53:31 -0500
Original:
The Archive now supports a whole lot more characters!
Tags:

🎁

Dankzij een database-upgrade die al heel lang op stapel stond, laat het Archive of Our Own – AO3 (Ons Eigen Archief) je nu de laatste emoji gebruiken, en ook uitgebreide tekensets voor verschillende talen (zoals een aantal van de meer zeldzame tekens die gebruikt worden voor Chinees en Japans) in je werken, commentaren of profiel. πŸŽ‰πŸΎπŸŽˆπŸŽŠπŸŽ‡. Alle tekstvelden ondersteunen nu de UTF8M4 tekenset, met uitzondering van een paar die we hebben beperkt tot Latijnse karakters en een aantal leestekens, zoals pseuds en verzamelingnamen.

πŸ”§

UTF8MB4 werd pas een paar jaar na de oprichting van het AO3 beschikbaar, dus we hadden al een behoorlijk grote database die de oudere code gebruikte toen de upgrade onvermijdelijk werd. Na ons recente werk aan de server, waaronder een upgrade aan MySQL 5.7, kregen mensen die een werk of opmerkingen wilden posten met een teken dat niet ondersteund werd (bijv. een van de nieuwere emoji) een blanco errorpagina die het probleem alleen maar erger maakte.
Maar onze complete database van 617 GB migreren zou een gigantische onderneming zijn geweest die waarschijnlijk meerdere dagen downtime zou hebben betekend. Gelukkig konden we een plan opstellen dat zorgde voor minimale downtime door veranderingen door te voeren aan een nieuwe, lege kopie van een database tabel terwijl de β€˜oude’tabel met alle data nog steeds in gebruik was. Zodra elke nieuwe tabel klaar was kopieerden we de data over en namen we de nieuwe tabel in gebruik, waarna we doorgingen naar de volgende tabel.

😱

Dankzij de fantastische inzet van onze vrijwillige systeemadmin james_, hebben we het werk in iets meer dan een week afgekregen, zonder data te verliezen. Maar we liepen wel tegen een onverwacht probleem aan met een van de beperkingen die we op onze database hebben gelegd om te voorkomen dat er meerdere tags met identieke namen werden aangemaakt.

Door een verandering in hoe de data wordt vergeleken, worden sommige tekens zoals ss enß nu behandeld als identiek. Dit betekent dat toen we een tag als β€œWeiss Kreuz” naar het nieuwe systeem kopieerden en een paar seconden later hetzelfde probeerden met "Weiß Kreuz”, de tweede tag werd gezien als een duplicaat en stilletjes werd weggemoffeld. Dit zorgde ervoor dat werken die onder de verdwenen tag waren gepost een paar dagen lang moeilijk te vinden waren omdat de tag niet meer op het werk verscheen.

Zodra we het probleem hadden gevonden en de oorzaak hadden ontdekt, konden we een backup van de database gebruiken om de veranderingen te reproduceren die we hadden gedaan tot de uiteindelijke wissel, zodat we de twee tabellen konden vergelijken en de verloren tags konden herstellen.

πŸ‘

Samen met onze tagbeheerders hebben we alle getroffen tags terug in het systeem gezet, zodat ze nu weer op de werken verschijnen. Het spijt ons als jouw werken of bladwijzers door dit probleem zijn getroffen!

Hoewel onze upgrade nu compleet is en onze database al deze nieuwe karakters ondersteunt, kan het wel zijn dat sommige apparaten en browsers, maar ook apps en e-readers die gebruik maken van het MOBI-formaat ze misschien niet goed tonen. Toch hopen we dat jullie veel plezier beleven aan alle nieuwe emoji-opties en dat je wat extra kleurrijke liefde in je opmerkingen achterlaat voor de makers! β€πŸ§‘πŸ’›πŸ’šπŸ’™πŸ’œ