Sauvegarde RP

Melamanïa
Messages : 25
Enregistré le : jeu. juil. 27, 2017 5:55 pm

Re: Sauvegarde RP

Message par Melamanïa » mar. août 08, 2017 12:45 pm

Yop ! Je plussoies totalement Nenya, franchement merci à toi pour le boulot que tu fais ! Sinon, rien à signaler question truc à tirer des sujets. Ou, à la rigueur mais ce n'est pas franchement principal et si ce n'est pas déjà inclus dans le lot, ce vers quoi renvoyaient les éventuels liens hypertextes peut-être ? Encore merci en tous cas et bon courage pour tout ça !

Harkkadius
Messages : 32
Enregistré le : dim. juil. 30, 2017 5:33 pm

Re: Sauvegarde RP

Message par Harkkadius » mar. août 08, 2017 2:37 pm

C'est vrai que je m'adressais un peu à Dagon, mais pour expliquer ce que je fais en un hiarat plus courant... :p

J'ai téléchargé des archives du forum depuis un site dont c'est la fonction d'aller se balader sur le net et d'archiver tout et n'importe quoi. En gros il envoie ses robots sur http://forum.lautrenouveaumonde.org/ depuis des années, récupère des pages et les stocke. Ce n'est pas exhaustif, il est loin de tout avoir, mais il les met à disposition et il a quand même pas mal de trucs.

Les pages récupérées ainsi sont, forcément, au format HTML. Si vous faites "Ctrl + U" sur votre navigateur, vous verrez à quoi ressemble vraiment une page. C'est très verbeux, il y a la donnée et la description de la donnée. Dans ce gros bazar, je ne récupère que ce qui m'intéresse (posts, auteurs, etc.) grâce à de l'analyse de texte.

Et donc concrètement, à la sortie de ma moulinette, les données sont nettoyées et sauvegardées dans un format exploitable. Vous en avez un exemple dans mon précédent post, c'est un format qui a l'avantage d'être assez lisible. Elles pourraient donc servir à alimenter une nouvelle base de données, qui pourrait servir à tout (un nouveau forum, un wiki, des archives en lecture seules, etc.)

Pour les liens, Melamania, j'y ai pensé. Les liens internes au forum vont forcément pointer vers des adresses mortes. Je vais voir ce que je peux faire pour ça, ça dépend de pas mal de choses.

Harkkadius
Messages : 32
Enregistré le : dim. juil. 30, 2017 5:33 pm

Re: Sauvegarde RP

Message par Harkkadius » mar. août 08, 2017 9:46 pm

Pour être honnête, je suis un peu déçu par le contenu de ces archives. Dans les 657 fichiers du domaine http://forum.lautrenouveaumonde.org que j'ai analysés, il n'y a que 38 topics distincts, dont du HRP.

Il y a près de 40'000 fichiers pour http://forum.lenouveaumonde.org, ce sera bien sûr plus fourni, mais dans tous les cas il va manquer énormément, énormément de choses ; et je n'ai plus rien après 2010. ):

Ça m'arrangerait si quelqu'un pouvait vite fait voyager dans le temps et aspirer le forum complet avant le down du serveur !

Melamanïa
Messages : 25
Enregistré le : jeu. juil. 27, 2017 5:55 pm

Re: Sauvegarde RP

Message par Melamanïa » ven. août 11, 2017 8:27 pm

...Si ça n'a pas déjà été fait bien sûr, je me prendrais bien de culot pour contacter tous les membres du groupe et de la page facebook pour aller à la pêche aux archives. Et, du même coup, faire de la pub pour LNM :D

Harkkadius
Messages : 32
Enregistré le : dim. juil. 30, 2017 5:33 pm

Re: Sauvegarde RP

Message par Harkkadius » ven. août 11, 2017 10:29 pm

Fais-toi plaisir !

Bon ça marche pas trop mal, je peux récupérer toutes les données des fichiers pour les deux domaines. Ça représente des milliers de pages, mais il y a malheureusement énormément de doublons qui parasitent les résultats. Il me reste donc à :
- Virer les topics doublons ;
- Nettoyer les données de diverses saloperies (caractères d'échappement, etc.) ;
- Me faire du thé.

Mais le gros est fait. Je mettrai le fichier final à dispo quand j'aurai fini, ainsi que le code source du script. Ça ne devrait plus tarder.

Harkkadius
Messages : 32
Enregistré le : dim. juil. 30, 2017 5:33 pm

Re: Sauvegarde RP

Message par Harkkadius » dim. août 13, 2017 10:54 am

Je partage déjà ce que j'ai. Comme ça, si je passe sous un bus, c'est pas perdu. :p

=> https://ufile.io/ko1tn

C'est un fichier .zip qui contient trois fichiers. Ils sont au format JSON, pas de panique, vous pouvez les ouvrir et les lire avec n'importe quel éditeur de texte. Ce format existe à des fins applicatives mais il a l'avantage d'être facilement lisible pour un humain. Vous pouvez parcourir, par contre j'ai tout mis à plat pour dédoublonner, il n'y a plus de hiérarchie topic->posts comme dans mon précédent exemple, donc dans le fichier tout sera en désordre. (Ce n'est un problème que si on lit le fichier à la main, en vrai les ID permettent de reconstruire la hiérarchie dans une base de données, donc pas de souci.)

Parmi les trois fichiers, il y en a deux qui finissent par _regular. Ce sont, en gros, les topics classiques que j'ai pu analyser et desquels j'ai pu extraire les données.

Le fichier _print est un peu particulier : il s'agit de pages qui étaient dédiées à l'impression, le HTML était très simpliste et ne présentait pas les ID uniques des posts et topics. Il y a 75 pages, c'est pas énorme, mais comparer les éventuels doublons demandera un algo un peu différent, c'est au programme.

En attendant, quelques statistiques pour les deux autres fichiers :

Nombre de topics :
  • Total : 606
Nombre de posts :
  • Total : 7643
C'est vraiment pas énorme. C'est même ridicule en comparaison de ce que représentait vraiment la base de données. Mais c'est toujours ça.

Dans les données, il manque parfois des trucs comme l'auteur ou la date. Faut que je regarde les cas particuliers où mes regex foirent, c'est aussi au programme.

Melamanïa
Messages : 25
Enregistré le : jeu. juil. 27, 2017 5:55 pm

Re: Sauvegarde RP

Message par Melamanïa » jeu. juil. 26, 2018 7:02 pm

Wow, je viens de voir que ça fera bientôt un an depuis le dernier post sur ce topic.
Des nouvelles à ce sujet ?D'autres archives retrouvées ?Peut-être des infos sur le serveur down, on ne sait jamais ?
Si jamais il y a des archives de textes non mis en forme, mais qui peuvent l'être par quelqu'un n'ayant pas de connaissances poussées en informatique, je peux essayer !

Harkkadius
Messages : 32
Enregistré le : dim. juil. 30, 2017 5:33 pm

Re: Sauvegarde RP

Message par Harkkadius » dim. août 05, 2018 11:45 am

Rien de nouveau depuis mon précédent post, malheureusement. Énormément de HRP sans intérêt. Je mettrai tout ça à dispo via API, un jour. Mais il ne faut pas en espérer grand-chose, comme je le disais les résultats sont décevants.

Pour le serveur down, il n'y a aucun espoir à avoir, OVH l'a vidé. On peut toujours rêver d'un obscur backup stocké quelque part mais j'en doute fortement. Sans nouvelles de NeoN, qui ne donne plus signe de vie depuis plus d'un an et qui ne répond pas aux mails, il n'y aura rien de neuf.

Répondre

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 0 invité