[NDS] Développement d'un outil de ROM Hacking HG/SS

EDIT: Les sources et des releases sont disponibles sur Github : https://github.com/Ribesg/PkmnEditor
                                                 
Hi

Voici mon premier post sur ce forum, si vous voulez savoir qui je suis cliquez ici, sinon ne cliquez pas ici.

J'ai récemment cherché à créer un petit hack de HG pour changer les starters, modifier tous les pokémons avec évolutions complexes pour retirer le besoin d'échanger (ou plutôt le rendre optionnel), modifier un peu la répartition des pokémons sauvages et modifier les dresseurs pour augmenter la difficulté.
J'ai trouvé un certain nombre d'outils, tous plus mauvais les uns que les autres (Mention spéciale pour PPRE qui en est à sa troisième réécriture sans jamais atteindre un niveau utilisable).

J'ai donc commencé à développer mon propre outil. Comme vous le savez surement si vous avez cliqué sur le bon lien plus haut, je n'ai aucun problème au niveau programmation. Mon problème est plutôt au niveau des informations. Pour l'instant mon objectif est de faire un petit logiciel graphique pour changer les starters, la seule chose que je comprends dans son intégralité : extraire le arm9.bin de la ROM, modifier les 3 valeurs au bon endroit, recompresser le arm9.bin et reconstruire la ROM. J'en suis à l'implémentation des algorithmes de compression/décompression (LZSS, ONZ ou "LZSS 0x11"), le reste devrait suivre.
J'ai déjà trouvé quelque références, mais je voulais savoir si vous aviez quelque tuyaux

Le projet sera très probablement libre comme beaucoup de mes projets, mais j'attends déjà d'avoir quelque chose qui fonctionne avant.

Toute aide serait la bienvenue, merci

PS: Attention je ne demande pas ici comment réaliser ces opérations avec tel ou tel outil (j'ai déjà partiellement réussi), mais plutôt comment ces outils réalisent ces opérations. Code source, documentations techniques, offsets connus, tout cela m'intéresse.

Quel "log" ?

Il s'agit là de mon premier objectif, de la première étape. Je développe de façon incrémentale. Les autres fonctionnalités viendront ensuite, quand j'aurai compris comment est organisée la ROM à ce niveau là, et ce qui doit être fait. J'ai parlé de la modification de starters car c'est pour l'instant la seule chose que je comprends intégralement.

J'ai déjà trouvé des outils basiques qui ne font qu'une seule action (comme changer les starters) et d'autres qui font beaucoup de choses. PPRE ne fait que crash aléatoirement, il est extrêmement instable. Quand à Spiky's DS Map Editor, les ROM produites sont corrompues, sauf si on utilise une version de développement (et encore, là, certaines choses ne fonctionnent tout simplement pas, de façon aléatoire).

Utiliser plusieurs petits outils à la suite peut poser des problèmes, les bugs de chacun d'eux s'accumulant. Par exemple il est déconseillé d'utiliser un outil sur une ROM avant de la "passer dans" PPRE car il pourrait mal le prendre.

Donc en pratique je n'ai pour l'instant besoin de rien (à part plus d'infos sur la compression LZSS made in Nintendo, même si j'ai l'impression d'avoir un truc qui pourra marcher) jusqu'à ce que la partie starters soit finie, ensuite je suis dans le brouillard. C'est pour ça que je demande où trouver plus d'infos ici, en avance de phase.

Justement, c'est ce genre de choses que je veux éviter. J'ai bien vu sur ton tutoriel d'utilisation de PPRE, tu décris un paquet de workaround nécessaires à l'utilisation du logiciel. Il faut renommer la ROM car le logiciel ne sait pas lire l'Unicode, il faut supprimer un dossier temporaire que le logiciel "oublie" et semble incapable de relire correctement, la taille finale de la ROM qui n'est pas bonne (Donc la compression et la décompression de la ROM ne sont pas miroir), et le besoin d'extraire et de réintégrer les narc avec un autre logiciel pour que ça puisse fonctionner un peu mieux.

Je pense qu'il est préférable de pouvoir se concentrer sur le hack en lui-même plutôt que de se battre avec des outils faits avec les pieds !

nop ça bug pas, à partir du moment où tu remets les narc au bon endroit.
Néanmoins je reconnais que logiciel multi-fonction "peut être" utile, d'ailleurs il me semble qu'il existe un autre log  dans le même style que ppre (plus stable d'ailleurs)
Le soucis c'est qu'il travaille directement sur la rom, hors pour certaines manips il faut quand même sortir le narc.

Je dis ça, mais aujourd'hui hgss, c'est le cadet de mes soucis.

C'est que ce que je fait aussi. comme ça je localise les bugs/gaffes/oublis plus facilement.

http://projectpokemon.org/rawdb/heartgold/

Ici tu trouveras les localisations de tous les fichiers de HG, sinon tu peux toujours demander à SCV comment il a procéder.

Il est pas complet celui là, hremeraude.

http://www.projectpokemon.org/wiki/HGSS_File_System, celui la, oui.

Bleh bleh bleh, corrigé, na.

J'en suis toujours au même point. Le code source complet est disponible ici https://github.com/Ribesg/PkmnEditor

En debuggant avec No$GBA, j'ai pu voir pourquoi j'avais un écran blanc (sur émulateur ou hw) : à un moment, l'exécution jump en PLEIN MILIEU d'une zone de données (et non de code) et essaye d'exécuter ces données, faisant absolument n'importe quoi. L'instruction qui explose est SWI #123456 (0x563412EF), qui n'a effectivement pas de sens.

Je suis en train de chercher de l'aide au sein de la communauté anglophone, surtout sur IRC. Mais ça s'annonce compliqué.

Tout ça pour changer trois malheureux entiers (12 petits octets) dans un fichiers de plus d'1Mo.

Hey !

Donc avec l'aide de quelque anglophone, j'ai pu finir de tuer les derniers bugs. Il m'en reste un vraisemblablement, mais il n'empêche pas la rom de fonctionner parfaitement : le arm9 que je décompresse n'a pas tout à fait la même taille que ce qu'obtient un autre développeur de son côté quand il essayait de m'aider. Après avoir cherché pourquoi pendant des heures, j'ai quand même essayé la rom, et elle marche !

Donc ma Proof of Concept, ici présente https://github.com/Ribesg/PkmnEditor, fonctionne. Ce n'est pas un encore un logiciel, juste une PoC, donc pour l'instant c'est un peu compliqué à exécuter pour les non-développeurs et ça remplace les starters par des valeurs hardcodées (Goinfrex, Riolu et Keunotor). Mais ça fonctionne et il n'y a plus qu'à réorganiser tout ça pour que ça donne un truc bien.

Prochaine étape, le texte !

Je pense faire un système de configuration définissant les offsets. Par exemple on aurait un fichier pour HG FRA, SS FRA, HG USA, SS USA, et ainsi de suite. La rom serait reconnu selon son header et le bon fichier de configuration serait utilisé.
Ainsi, vu que le projet est Open Source, tout le monde pourra trouver les offsets de sa ROM et les ajouter. Après, je ne sais pas si ce sera forcément nécessaire, à voir si des offsets diffèrent vraiment. Par exemple je ne prévois pas de faire d'éditeur de map etc (après c'est Open Source, donc ça peut se faire même si je le fais pas). Je ne sais pas ce qui nécessite de connaitre offsets, vu que pour l'instant je n'ai que modifié les starters... qui nécessite des offsets (en fait, un seul), mais bon. Un fichier par version pour stocker un seul petit entier, bof.

Au départ je voulais faire un outil en pur Java, donc multi-plateforme, malheureusement certaines des tâches sont trop complexes pour que je les réimplémente, comme l'unpack de la ROM ou (surtout en fait) le repack de la ROM, qui sont fait avec ndstool.

Je prévois de wrap ndstool dans le jar du logiciel, et de l'extraire dans un dossier temporaire avant de l'utiliser. Donc s'il est possible d'avoir des version de ndstool pour Linux (et Mac pourquoi pas), je peux les ajouter et les utiliser. C'est la seule chose qui empêche le tout d'être multi-plateforme.

Ah et sinon pour la modification de starter, là mon prochain objectif c'est de pouvoir modifier les textes en général et aussi en particulier au changement de starter : ça dit toujours "Voulez-vous choisir Germignon, le Pokémon Plante ?" par exemple. Donc ça ce sera assez facile d'après ce que j'ai vu, la difficulté ça va être pour le cri. Quand on fait tourner les pokéball pour choisir le starter, on entend le cri du pokémon. Sauf que c'est les cri des starters d'origine, donc il doit y avoir un autre offset où sont stockés les références des cris. Il faut que je trouve ça. Ca ferait déjà 2 offsets pour ces fichiers de config.

EDIT : Je souhaite de toutes façons faire un outil propre, "pour noob", donc d'un point de vue utilisateur, HG et SS ça doit être pareil. Certes le support de SS complexifie le truc, mais trouver les offsets dans d'autres ROMs quand tu les as dans une, c'est assez facile en général. Par exemple là, j'ai l'offset des starters dans HG. Je regarde ce qu'il y a comme valeurs à cet offset et après, puis je cherche ces valeurs dans mon ROM SS, et paf j'ai ma offset SS. Comparé à trouver un offset "from scratch", c'est extrêmement simple.

Les textes après ils sont localisés dans les narc du jeu, mais si ton truc permet de les éditer directement, ça peut être pas mal du tout, ou alors tu parles de modifier uniquement le texte du starter et ce de manière automatique?

Pour extraire les fichiers de la roms NDS (et donc ne plus dépendre de NDSTool) tu peut peut-être t'inspirer des sources de TINKE. Et pour la decompression de l'arm9 je suis tombé la dessus :https://github.com/magical/nlzss mais je ne sais pas ce que ça vaut mais ça te permet de comparer avec ce que tu à fait.

Hey !

Voici la toute première release ! https://github.com/Ribesg/PkmnEditor/releases/tag/v0.0.1
Il doit y avoir des bugs, je ne l'ai pas beaucoup testée, seulement avec la version HG française.

Maintenant le prochain objectif c'est d'éditer les textes donc. Et éventuellement corriger quelque bugs.