Nettoyer la médiathèque

Ce plugin est intéressant dans l’un des cas suivants :

  1. Vous avez un site SPIP avec une version inférieure à la 1.9.2 et vous voulez le monter de version ;
  2. Vous avez un site depuis une version inférieure à SPIP 1.9.2 ;
  3. Vous voulez faire le ménage des logos et des documents orphelins dans votre répertoire /IMG.

Dans tous les cas, ce plugin déplacera les fichiers obsolètes dans un sous-répertoire IMG/orphelins. A vous de décider de leur sort par la suite ;-)

Préambule

Les captures d’écran présentes dans cet article sont faites à partir d’un site sous SPIP 3.0. De plus, je vous donnerai le mode d’accès aux pages selon le menu de la partie privée de SPIP 3.0.
La version 0.9.3 du plugin fonctionne aussi sous SPIP 2.1. L’apparence de l’interface diffère donc mais reste sur le même principe de fonctionnement.

Installation du plugin

Le plugin est repertorié dans le dépôt proposé par défaut : « SPIP-Zone - Plugins ». Aussi, il est installable depuis la page Gestion des plugins, onglet Ajouter des plugins si vous avez activé ce dépôt.
En cas de besoin, référez-vous à l’article dédié à ce sujet sur spip.net.

Fonctionnalités

Le plugin fonctionnera par tâches de fond. En clair, vous n’avez quasiment rien à faire pour que le plugin fonctionne après son activation. Vous pouvez déterminer dans quelle tranche horaire les tâches de fond doivent se lancer.
Avant de parler des fonctions en elles-mêmes, nous allons aborder les principes de base et la configuration du plugin pour ne pas avoir de surprise.
Ce plugin fonctionne aussi sur les sites SPIP où le core est mutualisé. Merci à Pierre KUHN pour les tests.

Principe de base des tâches de fond
Le plugin lancera les tâches de fond (cf. cron) toutes les 5h. Si vous n’avez fait qu’activer le plugin sans le configurer, pour des raisons de performances du site, une sécurité est mise en place en vérifiant que nous sommes bien entre minuit (0h) et 6h du matin.

Configuration
Pour accéder à la page de configuration, aller sur “Configuration > Gestion des plugins”, puis chercher le plugin :

Cliquer sur la petite icône à droite du bloc. Vous serez redirigé sur la page http://example.org/ecrire/?exec=configurer_medias_nettoyage.

Sur cette page, vous pouvez activer les tranches horaires (recommandé) ou laisser le plugin se lancer régulièrement durant la journée.
Les tranches horaires, d’un pas de 6 heures, sont les suivantes :

  • 0h à 6h ;
  • 6h à 12h ;
  • 12h à 18h ;
  • 18h à minuit.

Tâche de fond #1 : Déplacer les répertoires obsolètes
Il arrive parfois qu’on récupère de très vieux sites internet qui traînent de vieilles coquilles. Dans les versions < 1.9.2, SPIP stockait dans le répertoire IMG/ les répertoires pour les icônes et les répertoires de cache. Ces répertoires sont obsolètes à partir de la version SPIP 1.9.2
Cette fonction va déplacer tous les répertoires commençant par “cache-” ou par “icones”, de même pour les fichiers “cache-xxx” (après vérification qu’ils ne soient pas de vrais documents enregistrés en base de données) dans le répertoire IMG/orphelins/.

Tâche de fond #2 : Réparer les documents mal classés
Comme il a été dit en début de cet article, il arrive parfois que l’on récupère un vieux site. Il arrivait que pour des raisons de droits d’accès aux sous-répertoires que SPIP enregistre directement les documents dans le répertoire IMG/ au lieu de le mettre dans le répertoire correspondant à son extension. Exemple : IMG/jpg_monfichier.jpg au lieu de IMG/jpg/monfichier.jpg.
Cette tâche de fond va déplacer et renommer ce fichier selon la mécanique native de SPIP. Cela fait, il met à jour le lien du document dans la base de données.
Cette fonction reprend en grande partie le code issu de cet outil sur la zone : http://zone.spip.org/trac/spip-zone/browser/_outils_/repare_doc.html

Tâche de fond #3 : Déplacer tous les documents orphelins
Un document orphelin dans ce plugin est un document physique qui n’est plus référencé en base de données (cf. la boucle DOCUMENTS de SPIP). Alors, ce document sera déplacé dans le répertoire des orphelins (pour rappel : IMG/orphelins/). Il respectera le chemin d’accès du fichier initial.
Exemple : IMG/jpg/monfichier.jpg n’est plus référencé en base de données. Il sera déplacé dans IMG/orphelins/jpg/monfichier.jpg. En clair, si votre fichier était dans un sous répertoire de IMG/, il sera déplacé dans le même sous-répertoire dans IMG/orphelins/. De même, s’il était à la racine de IMG/, il se retrouvera à la racine IMG/orphelins/.
Cette fonction, la principale des 3 tâches de ce plugin, s’occupe de déplacer tous les documents orphelins. Il respectera la hiérarchie du fichier originel (cf. l’exemple donné au paragraphe précédent.)
A noter ici que le plugin prend en compte aussi les logos se référants à un objet qui n’est plus enregistré dans la base de données. Ces derniers seront des logos orphelins.

Il ne touchera pas aux répertoires qui ne font pas références aux documents de SPIP. Par exemple, le plugin Article PDF (actuellement en version 0.4.5) crée un sous répertoire dans IMG/ pour y enregistrer les pdf des articles demandés par le visiteur.
Le plugin “Nettoyer la médiathèque” ne touchera ni à ce répertoire, ni à ses fichiers.

Interface d’utilisation

En plus de ces tâches de fond, le plugin offre quelques pages pour consulter le contenu du répertoire IMG/. Il ne listera pas les documents qui sont stockés dans la base de données, SPIP le fait déjà très bien avec la page http://example.org/ecrire/?exec=documents

Tableau de bord - Documents
Après activation du plugin, vous aurez accès dans le menu “Édition” au tableau de bord des documents. (Édition > Tableau de bord - Documents).
Accessible par : http://example.org/ecrire/?exec=medias_tabbord

Ce tableau de bord donnera des informations techniques sur les documents, à savoir leur nombre et leur taille en octets :

  • en base de données :
    • Tous les documents ;
    • Les documents non-distants ;
    • Les documents sans fichiers physiques.
  • Répertoire IMG/ :
    • Tous les fichiers ;
    • Fichiers dans les répertoires d’extensions ;
    • Fichiers orphelins avec extensions (sauf logos), c’est-à-dire les fichiers non référencés en base de données ;
    • Répertoires à la racine.
  • Les logos dans IMG/ :
    • Logos des objets de SPIP ;
    • Logos en mode “on” ;
    • Logos en mode “off”.
  • Répertoire IMG/orphelins :
    • Tous les fichiers ;
    • Répertoires à la racine.

Dans les différents tableaux, la version actuelle du plugin 0.9.3 ne donne pas le poids des répertoires.

Dans la colonne de gauche, vous aurez accès à des pages correspondantes à ce tableau. Elles vous donneront plus d’informations.

Répertoire IMG/
Accessible par : http://example.org/ecrire/?exec=medias_rep_img

Cette page listera les répertoires présents dans IMG/. On y trouvera leur nom et leur date de création.
Pour avoir les fichiers contenus dans IMG/, je vous invite à consulter la page fournie par SPIP. http://example.org/ecrire/?exec=documents

Les logos dans IMG/
Accessible par : http://example.org/ecrire/?exec=medias_logos_img

Cette page listera dans un tableau les logos présents dans IMG/.
Ce tableau contient 3 colonnes :

  • Le nom et la prévisualisation du logo ;
  • Infos techniques : l’extension, la taille en octets et les dimensions en pixels;
  • La date de création.

Vous pourrez cliquer sur la prévisualisation ou le nom du fichier pour avoir une vue plus grande du fichier.

Les logos de SPIP possèdent des “modes” : on (le logo normal) et off (le logo de survol). Au dessus du tableau, vous pouvez cliquer sur le mode désiré du logo et le tableau affichera les logos correspondants à votre sélection.

Documents orphelins
Accessible par : http://example.org/ecrire/?exec=medias_rep_orphelins

Cette page possède 2 tableaux :

  • la liste des documents;
  • la liste des répertoires (comme sur la page des répertoires de IMG/).

On reprend le même type d’informations que pour le tableau des logos pour la liste des documents.
Lorsque le fichier est une image, une prévisualisation sera présente. Le nom est cliquable pour pouvoir accéder au fichier et ainsi le télécharger.

Todo

Voici une petite liste d’évolutions et/ou de choses à faire sur le plugin :
-  vérifier si l’objet d’un logo est toujours en base de données, si le logo n’est pas orphelin donc z82917 ;
-  ajouter un bouton supprimer le fichier orphelin 83009 ;
-  ajouter un bouton supprimer le répertoire (sous condition qu’il n’y a pas de fichiers dans le répertoire) ;
-  ajouter un bouton pour importer le fichier dans la table spip_documents ;
-  ajouter un bouton “vider le répertoire orphelins”.

updated on 2 October 2019

Discussion

15 discussions

  • 2

    Bonjour Teddy !
    ton plugin a l’air super mais il ne marche pas chez moi. L’installation se pas bien j’ai accès au tableau de bord, les fichiers orphelins sont bien dénombrés mais ils ne sont pas déplacés dans le dossier “orphelins”. J’ai vérifié les droits en écriture du dossier... spip est à jour.
    As-tu une idée d’où peut venir le problème ? Est-ce qu’il y a des conflits avec d’autres plugins ?

    Merci par avance.
    Mathieu.

    • Bonjour,

      Merci. ;-)

      Quelle est la version du plugin ? Et SPIP ? PHP ?
      Le plugin fonctionne par CRON. Si tu ne l’as pas configuré (cf. http://example.org/ecrire/?exec=configurer_medias_nettoyage), on est dans la tranche horaire par défaut.
      En soit, la mécanique de rangement se lancera normalement entre 00h et 06h du matin. C’est pour éviter d’éventuels ralentissements. Donc en soit, le rangement n’est pas immédiat après activation.

      Essaies d’augmenter tes logs pendant 1 jour ou 2 pour voir ce qu’il se passe. cf. http://www.spip.net/fr_article4453.html

      <?php
      define('_LOG_FILELINE',true);
      define('_LOG_FILTRE_GRAVITE',8);
      ?>

      Tu pourrais avoir plus d’infos à partir de là sur ce qui se passe.

    • Sur un des deux sites ça fonctionne après avoir passé la fréquence à “Régulièrement dans la journée”. Pour l’autre je penche pour un problème de mémoire insuffisante. Je checke ça avec l’hébergeur.

      Merci Teddy !

    Reply to this message

  • 6

    Super plugin qui fait gagner des megas d’espace.

    La page exec=medias_logos_img liste tous les logos (orphelins ou non).
    Y a-t-il une méthode pour supprimer les orphelins ?

    Merci
    dd

    • Bonjour,

      J’ai rajouté en bas de l’article une TODO qui prend en compte la suppression des fichiers depuis l’espace privé. Mais initialement, pour supprimer un ou plusieurs fichiers/répertoires, il faut passer par le ftp. Ainsi, on est bien sûr que c’est le choix du webmestre et pas une erreur manipulation (ou presque).

      Par la suite, je vais rajouter un contrôle sur les logos. Si l’objet n’existe plus, alors il n’y a pas de raison pour que le logo dudit objet soit encore sur le serveur.

    • Hello,
      Je n’avais pas vu que les administrateurs non webmestres pouvaient accéder au tableau de bord des documents.

      Sinon maintenant je vois bien un bouton “supprimer le document” dans le tableau mais le lien est :
      /ecrire/?exec=medias_rep_orphelins&action=supprimer_orphelins&arg=../IMG/orphelins/arton104.jpg&hash=ef86e5510c0e1074fca5461fca6&redirect=.%2F%3Fexec%3Dmedias_rep_orphelins%26amp%3Bvar_mode%3Drecalcul

      et la réponse est :

      Erreur...
      Fichier supprimer_orphelins introuvable

      dd

    • Bonjour,

      Un gros oups pour la fonction! Je n’avais pas commité le fichier php de la fonction de suppression. C’est corrigé en 0.9.10 cf. commit 83070

      Pour l’accès au tableau de bord, oui c’est un choix que j’ai fait pour prendre en compte ce contexte : quelqu’un (un prestataire ou un ami) installe le site pour une association et est donc le webmestre. Les responsables de l’association ne veulent pas avoir de compte webmestre pour éviter toutes erreurs (suppression de la base, etc.). Ils auront alors un statut d’administrateur. Ils sont responsables du contenu éditorial (donc des fichiers orphelins). C’est à eux de décider si un fichier doit être supprimé ou pas.

      Merci pour tes retours.

    • Bonjour,

      C’est nickel ! Merci beaucoup

      Il me semble (mais je n’en suis pas encore sûre à 100%) que le logo standard des rubriques (nom de fichier rubon0.jpg) est nettoyé et mis dans les orphelins car cela fait 2 jours que je le remets sur un site et qu’il disparaît.
      dd

    • Bonjour,

      Ah oui, j’avais oublié ce logo là! Je vais le corriger de suite!

    • Et voilà réglé avec le commit 83088
      L’archive devrait être prête à 16h normalement.

    Reply to this message

  • 9

    Hmmm J’ai installé le plugin sur un SPIP 2.1.26 sur un hébergé avec PHP Version 5.3.18 et si l’installation se passe bien, la configuration est problématique puisque le SELECT pour choisir les plages horaires ne contient aucune option (et il n’y a pas non plus de Oui/Non ou de checkbox ou de radiobutton pour répondre à la question “Désirez-vous que le nettoyage se fasse à tout moment de la journée ? Ou juste dans une tranche horaire pour ne pas pénaliser les performances du site ?”)

    Par ailleurs j’ai dans la page ?exec=medias_tabbord une tripotée d’erreurs du type :

    Warning: Invalid argument supplied for foreach() in /home/domaine/www/plugins/auto/medias_nettoyage_v0/medias_nettoyage_fonctions.php on line 228 (une seule fois)

    et

    Warning: array_merge(): Argument #1 is not an array in /home/domaine/www/plugins/auto/medias_nettoyage_v0/medias_nettoyage_fonctions.php on line 426
    (plein de fois, autant que de documents peut être)

    Le tableau en bas de cette page affiche des chiffres pour “en BDD” et “Répertoire IMG” mais n’affiche que des 0 partout dans “Les logos dans /IMG” (et dans IMG/orphelins, mais ça c’est peut être normal pour l’instant)

    C’est un peu pareil pour la page ?exec=medias_logos_img&mode=off
    qui affiche une tripotée de :
    Warning: array_merge(): Argument #2 is not an array in /home/domaine/www/plugins/auto/medias_nettoyage_v0/medias_nettoyage_fonctions.php on line 426

    et ensuite une fois : Warning: Invalid argument supplied for foreach() in /home/domaine/www/plugins/auto/medias_nettoyage_v0/medias_nettoyage_fonctions.php on line 429

    Mais ?exec=medias_logos_img&mode=on s’affiche correctement, encore qu’il n’y ait que 10 documents, et pas de pagination pour voir les autres

    • On dirait que c’est lié à “glob” “Recherche des chemins qui vérifient un masque”, qui est défini pour PHP 4 >= 4.3.0 et PHP 5, et qui ne renverrait pas un résultat utilisable, mais glob marche bien ailleurs quand je le teste :

      foreach (glob("*.*") as $filename)    echo "$filename occupe " . filesize($filename) . "<br>";

    • Hmm it could be because of https://bugs.php.net/bug.php?id=47358 :

      If you have open_basedir set in php.ini to limit which files php can execute, glob(...) will return false when there are no matching files. If open_basedir is not set, the very same code will return an empty array in the same situation.

      En conséquence

      glob() cant be used directly in foreach when open_basedir is set.

      Apparemment ça été corrigé dans les php > 5.4 mais je ne suis pas certain de ma compréhension du suivi du bug.

      Je crois qu’il faut tester si glob() retourne false, et dans ce cas faire explicitement un = array() pour pallier à ce problème.

    • Hello,

      Je ne rencontre aucun problème avec un SPIP 2.1.26 vierge, sans IMG, ni sur une autre instance avec des IMG. Toutes deux testés avec un PHP 5.1.6 et 5.5.10.

      Toutefois, je vais mettre une sécu sur les foreach. Je commit ça dans pas très longtemps.

    • Voilà, le commit 82881 devrait régler le problème.

    • Ah ok. J’allais te proposer http://spip.pastebin.fr/36086 qui règle le pb avec des if (!$fichiers) $fichiers = array(); après chaque glob (et un avec $repertoires et un avec $liste), et qui résoud bien le pb des erreurs en pagaille. Mais il n’y a toujours pas de pagination sur les affichages de logo.

      Par contre, le pb du SELECT vide reste là, et je remarque qu’il y a 2 appels à glob AUSSI dans iterateurs, en ligne 513 et 540 de data.php , alors ce pourrait être eux...

    • Bon dans le iterateur/data.php de itérateur, la version à jour est OK car le test est bien fait comme il faut : une fonction glob_to_array a justement été créée pour être sur de disposer d’un array. Comme media_nettoyage nécessite iterateur, il pourrait directement utiliser cette fonction glob_to_array.

      (Reste les autres pbs que je rencontre.)

    • Hello,

      Pour ce besoin, je ne pense pas que la fonction glob_to_array d’Itérateurs soit utile pour nous. Surtout que là, j’ai mis une “sécu” pour qu’on agisse que si on a bien un tableau. Je vais mettre cette double vérification avant un foreach

      if (is_array($montableau) and count($montableau) > 0) {
          foreach ($montableau as $mavaleur) {
              # blabla
          }
      }

      Comme ça on est tranquille

    • En utilisant glob_to_array () la place de glob, il n’y avait pas besoin d’autres précautions (puisqu’un tableau vide est un cas particulier “normal” de tableau,sans problème pour les boucles merges et autres opérations sur les tableaux), et la lecture était allégée. Mais bon c’est comme tu veux :-)

    • Hello,

      Ce n’est pas faux… Faut que je regarde pour son intégration tout de même par la suite. Ça ne mange pas de pain.

    Reply to this message

  • Bonjour Ysabeau,

    J’ai intégré tes suggestions dans le plugin :
    -  http://zone.spip.org/trac/spip-zone/changeset/82886

    Reply to this message

  • Bonjour,

    je teste, mais puis-je suggérer de modifier légèrement la formulation, en effet on ne sait pas trop à quoi répondent le oui et le non étant donné qu’il y a deux questions.

    Par exemple, garder la question «Désirez-vous que le nettoyage se fasse à tout moment de la journée ? Ou juste dans une tranche horaire pour ne pas pénaliser les performances du site ?»

    Mais au lieu d’avoir à cocher Oui ou Non, choisir plutôt entre, par exemple :

    -  Tranche horaire (recommandé)
    -  Tout le temps (peut ralentir le site)

    Oui je sais ce n’est pas grand chose (et, j’imagine, pas compliqué à faire car ce n’est que du texte à changer sans aucune incidence sur la programmation) mais ainsi, c’est absolument sans équivoque.

    Ysabeau

    Reply to this message

Comment on this article

Who are you?
  • [Log in]

To show your avatar with your message, register it first on gravatar.com (free et painless) and don’t forget to indicate your Email addresse here.

Enter your comment here

This form accepts SPIP shortcuts {{bold}} {italic} -*list [text->url] <quote> <code> and HTML code <q> <del> <ins>. To create paragraphs, just leave empty lines.

Add a document

Follow the comments: RSS 2.0 | Atom