Pokémon Trash et l'incendie d'OVH
Nous sommes le mercredi 9 mars 2022. Cela fait un an jour pour jour que le data center strasbourgeois d'OVH, hébergeant (entre autres) le site Pokémon Trash a servi de barbecue on y a retrouvé deux saucisses de Strasbourg cramées.
Et maintenant ? Nous avons réussi à nous relever, plus forts et plus vivants que jamais. Bon OK, ça a été le bordel, et on est pas passés loin de la catastrophe… mais c'est pas grave car on vous propose aujourd'hui de remonter dans le temps pour comprendre ce qu'il s'est passé de notre côté.
Le déroulement du drame
- H -1 : Tout se passe bien (normal, quoi)
- H : Hey, le site est down
- H +1 : (OVH communique l'incendie) AH MERDE
- H +2 : (OVH communique qu'il n'y a pas de backups, car elles aussi ont brûlé)
Nous, on était comme le gros lézard qui twerke, là
Pour donner un peu plus de détails, l'incendie a eu lieu le 10 mars 2021, entre minuit et 1 heure du matin. 3 millions de sites sont partis en fumée. Le nôtre était localisé dans la partie SBG2 pour Super Big Galère 2 du data center… et manque de peau, c'est celui qui a totalement fini en Héricendres.
Comment nous avons réagi
À 10h15, on publie un tweet annonçant que le site Pokémon Trash a fini en saucisse charbonnée.
OVH a brûlé cette nuit. Les données de millions de site parties en fumée, le site https://t.co/G3iMav4TSB aussi.
March 10, 2021
On prie qu’ils aient des back-up. Personne n’a été blessé heureusement.
Merci aux pompiers et courage aux IT 🙏 pic.twitter.com/HW6GHbsIME
15 ans d'articles, d'images que nous hébergions et de bonne rigolade se sont transformées en fines molécules volatiles.
Le soir de l'évènement, notre bien-aimé Dracoctix publie rapidement avec son propre serveur un communiqué sur l'URL de Pokémon Trash :
Et présent sur toutes les pages du site, bien sûr !
Le serveur Discord du site (qui pétait la forme) avait alors connu une recrudescence de nouveaux arrivants. Ah oui, c'est écrit sur le communiqué que tout devait être de retour pour le 19 mars, selon OVH. Le 11 mars, ils ont déclaré que tout devrait rentrer dans l'ordre entre le 22 et le 28 mars. Si vous connaissez bien le site, ça a en fait pris beaucoup plus de temps de notre côté.
Minimisation des dégâts
- Le week-end et la semaine après le début de l'incendie : ON FIRE
Une grosse recherche de backups d’images et des données ont été faite avec . On a retrouvé une vieille backup d’images de quelques années, mais ça voulait dire qu'il y aurait une grosse perte d’images.
On a ensuite récupéré toutes les données datées d’un mois avant (donc quasi tout), trouvées par miracle sur une backup réalisée. Mais seulement les données textuelles, les articles étaient donc dépourvus d'images.
Et comment on a tout réparé avec ce qu'on avait sous la main ? Pour ça, nous avons mis en place un site verrouillé en lecture seule, sur un serveur perso temporaire (il a subi, on peut le remercier). C'est vraiment très important, car sinon, on aurait pu perdre le référencement sur les moteurs de recherche fait depuis le début, et donc repartir de zéro (Google s’en contrefiche des problèmes des hébergeurs). On a donc échappé au pire, malgré la perte d’images.
Enfin, on a récupéré le maximum de données et d'images qu’on pouvait via Google Cache et la Wayback Machine (et oui, on est allé jusque là, merci à Dracoctix pour l’idée).
Installation et remise en place progressive
- Dans les semaines qui suivirent : C’est pas ouf, mais faut continuer
OVH offre des mois de serveurs gratuits à tous ceux qui ont été impactés par l'incendie. On en fait bien évidemment partie. Et comme nous n'avions toujours aucune nouvelle à propos des backups perdues, on comprend qu’il faut faire une croix dessus. Dans le même temps, l'installation du nouveau serveur se fait petit à petit.
Pour les images, on a mis en place une récupération communautaire. C’était une bonne idée et cool à initier, mais on a pas récupéré vraiment d’images en plus.
Tout est bien qui finit bien
- Un à deux mois après : Le calme après la tempête
Au moment de la migration finale vers le nouveau serveur, en regardant si les sauvegardes complètes sont faites, une sauvegarde sauvage datée d'avant l’incendie est apparue ! OVH a surement retrouvé des backups autre part et les a mises à disposition. On a donc retrouvé toutes les images que nous hébergions. Cela a aussi mis en lumière des articles, surtout les plus vieux, qui avaient des images externes disparues, car elles n'existent plus sur leur serveur d'origine. Si c'est le cas, vous tomberez encore aujourd'hui sur ce chef-d'œuvre :
C'est du lard de l'art, je vous le dis !
Un autre type de sauvegarde, complètement externe à OVH, a été fait pour éviter définitivement le problème. Il était en cours de finalisation, mais on en a profité pour le terminer. Au final, le site était nickel environ trois mois après l'incendie, tandis que le forum était de nouveau accessible le 10 mai.
- Conclusion : Le site est complètement opérationnel. YOUPI !!!
Et on vous en doit une !
Yep, c'est de vous, là, qu'on parle. Grâce à vous et à votre fidélité, peu importe que vous nous suivez depuis le commencement ou tout récemment, on est toujours là, prêts à basher les nouveaux jeux (ou pas). Et puis, vos messages nous ont vraiment aidés et donnés du courage dans cette panique !
Sur Twitter…
…et sur Discord
Bref, un ÉNORME merci à vous !!
~~~~
Petite note pour les rageux qui critiquent : on était sur du cloud public, donc avec une solution normalement sécurisée pour ce genre de souci. Contrairement à un serveur dédié géré manuellement. NORMALEMENT.
Donc no rage ! Et c’est loin d’être simple de faire une backup automatisée de plusieurs gigaoctets de fichiers d’images. ;)
La seule chose qui me fait encore un peu rester ici pour l'instant sont les C'est pas Sorcilence, cela me manque tous les articles autrefois écrits par Champifeuille ou les focus de Jasper et Alki, heck, même les tiers secondaires devenaient supers intéressants avec UnPassantOrdinaire.
Welp, welcome back anyway comme on dit !