Wikipedia, Internet, Olduvaï, la survie

Bonsoir,

Après avoir examiné la liste des thèmes, il ne semble pas être fait mention de Wikipedia, version anglaise, ou l'emploi du mot clé "survival" finit par amener sur une page faisant l'historique du sujet, mais procure aussi toute une série de liens internes vers d'autres pages aussi intéressantes, sans parler des liens externes présents dans chacune de ces pages, et qui pointent sur d'autres sites spécialisés qui, à leur tour, contiennent...

Du coup, j'ai pu ajouter quelques sites étrangers, à ma liste de préférés...

Notez qu'en référence de bas de page, au n° 23, figure "olduvaï", dans la liste des sites étrangers.

Je fais ici référence à la page initiale, celle obtenue avec le mot "survival" (mais celà, seulement après avoir précisé le sens du mot, sur la première page qui s'affiche, après avoir lancé la recherche par mot clé, celle du "désambiguateur").

Salut.

heu.. je ne sais plus où on avait parlé de l'archive wikipedia

Juste pour signaler

Okawix, tout Wikipedia sans être en ligne

Disponible pour Windows, Mac OS X et Linux, Okawix vous permet de télécharger l’intégralité de Wikipedia, avec ou sans images, pour consultation hors-ligne.
Le lecteur "offline" est développé en opensource et permet de consulter n’importe quelle projets de la fondation en mode déconnecté, avec les images.

Okawix inclut 253 langues et les projets sœurs de la fondation Wikimedia (Wikisource, Wiktionary, Wikiquote, Wikibooks). Il inclut le moteur de recherche Wikiwix, développé par Linterweb.

La plateforme de téléchargement permet d’accueillir d’autres données que les projets de la Fondation. Ce produit est destiné à la diffusion du contenu libre de droit pour les pays dont l’accès à l’internet est restreint. D’où la possibilité, par exemple, de commander des clés USB pré chargés.Lien : okawix.com

Source

Raffa a écrit:heu.. je ne sais plus où on avait parlé de l'archive wikipedia
Juste pour signaler

On l'avait signalé sur un topic à accès restreint en attendant que l'on trouve une alternative opensource à wikitaxi.
Est-ce que celle ci fonctionne , Je viens d'essayer en vain sur divers OS et il n'y a apparemment que xp vista (concernant cro$oft) qui fonctionnent. Wikitaxi a pu tourner sur mon vieux 95 (moyennant un log de compatibilité) et semble pas trop gourmand en mémoire. Bien entendu, son gros défaut étant le côté fermé du code (avec tous les inconvénients que cela engendre LLBSV).

Je copie une partie de mon mess afin de rendre la suite plus claire :
1 :
"Au passage au sujet de l'archive wikipedia en français, elle est compressée à deux niveaux :
c'est une archive 7z de 2.4 Go, qui contient une archive tar de 42 Go, donc prévoir de la place avant de décompresser !
Et un dernier truc avant de clore la parenthèse : l'archive anglosaxonne pèse 14 Go et des poussières et contient une archive tar qui fait
accrochez vous ......223 Go !
Ils auraient pu optimiser un peu le truc, comme les archives zip où on accède à une page précise sans tout décompresser....
"

Message un peu plus tard :

"
Il existe vous le savez sûrement une alternative à la décompression barbare citée ci-dessus : wikitaxi.
C'est un log qui permet d'importer l'archive depuis le site, de la convertir en base de donnée et de la consulter hors connexion.
Cela a l'avantage indéniable de ne pas à avoir 200Go de libres pour la décompression.

Le procédé de conversion prend environ 2h, pour aboutir à une archive d'environ 8GO pour la version anglaise. Donc on peut actuellement télécharger toutes les archives disponibles, dans toutes les langues, les convertir pour éventuellement les stocker (et consulter sur les postes dépourvus du net).
On peut apparemment mettre à jour la BDD assez rapidement par simple clic (à vérifier).

Bien entendu, je ne peux m'empêcher de constater une ombre assez sombre au tableau : wikitaxi n'est pas en open source !
Donc impossible de bidouiller sur sa plateforme, ou encore essayer de faire fonctionner le log LLBSV. Qui nous dit qu'une protection n'est pas insérée dans le code afin de bloquer le tout à un certain moment ?
Sûrement pas le cas mais avec l'habitude actuelle de poser des verrous partout, on ne peut être que dubitatif....

C'est un peu gros à mon goût pour une encyclopédie écrite par l'ensemble des membres internet....

Donc je recherche encore un log open source, gratuit et qui accomplira le travail sans soucis encore dans dix ans (après la chute d'internet)....

"

Je viens de refaire un backup de l'archive wikipédia.
En analysant un peu les fichiers, on s'aperçoit vite qu'il y a pas mal de fichiers déchet dans l'ensemble (fichiers "discussion" en particulier).
En faisant une petite purge, on passe tout de même à 25Go en décompressé au lieu de 42Co !
Bien que ces fichiers puissent être intéressants pour en apprendre plus sur les tenants et aboutissants des articles, l'économie de place est non-négligeable.

Maintenant, j'aimerais recompresser tous les fichiers.
Est-ce que quelqu'un connaît le meilleur format et les meilleures options pour y arriver ? (bzip, PPMd, taille du dico, compression à la volée, etc...), ou du moins celle utilisée par wikipedia, car j'ai une taille à peine plus importante à chaque fois ?