Plugin csv2spip : gestion des auteurs à partir de fichiers CSV

AVIS GENERAL !

Tous les utilisateurs de ce plugin en SPIP 2.1 sont invités à désinstaller la version 3.2.0 ou 3.2.1 et à passer à la version 3.3.0 qui rétabli un fonctionnement à priori correct de ce plugin.

Tous les utilisateurs de ce plugin en SPIP 2.0 sont invités à désinstaller la version 3.2.0 ou 3.2.1 et à revenir à la version 3.1.0 qui rétabli un fonctionnement à priori correct de ce plugin.

Introduction

Ce plugin reprend la contrib csv2spip : gestion des utilisateurs de SPIP à partir de fichiers CSV (version 2.2 réservée aux versions 1.8 de spip).

Versions
version 3.0.1 : version stable pour les SPIP 1.9.2 csv2spip_1_9.zip
version 3.1.0 : version stable pour les SPIP 2.0.*. [1] csv2spip_2_0.zip
version 3.3.0 : version stable pour SPIP 2.1.* [2] csv2spip_2_1.zip
version pour SPIP 3 : ce plugin est remplacé par csv2auteur

Remerciements à O. Jeulin qui à réalisé les logos de ce plugin (les sources GIMP sont dans le dossier /img_pack/sources).

Avertissement ! en utilisant ce plugin vous assumez le fait que vous DEVEZ avoir fait une sauvegarde de la base de votre spip AVANT de commencer !

Ce plugin réalise des modifications d’un grand nombre d’éléments de votre spip simultanément : en cas d’erreur vous ne pourrez certainement PAS revenir en arrière sinon par restauration d’une sauvegarde ANTÉRIEURE ou par trifouillages multiples avec votre phpMyAdmin...

0. But :

Le plugin csv2spip permet de gérer les utilisateurs de spip à partir de fichiers CSV : c’est donc un outil spécifiquement destiné aux spip ayant un grand nombre d’utilisateurs (quelques dizaines à plusieurs milliers).

Pour les utilisateurs de la contrib pour spip 1.8 (v2.0 à v2.2), les nouveautés de cette version 3.0 (plugin) sont signalées par un : [v3.0]

1. Ce plugin permet d’importer des fichiers CSV pour :

• créer/gérer des utilisateurs spip (visiteurs/auteurs/admins restreints) avec login, adresse mail, mot de passe, pseudo spip
• créer/gérer les rubriques administrées par les admins restreints générés
• [v3.0] créer/gérer les groupes d’accès du plugin acces_groupes pour les utilisateurs importés

[v3.0] Pour toutes ces tâches il est possible de configurer différemment les options en fonction du statut (visiteurs/auteurs/admins restreints) des utilisateurs « injectés » par le fichier CSV.

Conditions d’utilisation : cet outil à été testé sur SPIP 1.9.1 avec des fichiers CSV contenant près de 2 000 utilisateurs (885 visiteurs, 885 rédacteurs , 149 admins restreints), sur des serveurs apache sous Linux et sous Windows => a priori vous ne devriez pas rencontrer de problèmes si votre fichier CSV est correctement formé...

Pour tous les problèmes de « time out » pour cause de trop gros fichier CSV et/ou config du serveur peu généreuse : voir le paragraphe « 6. Ce qu’il reste à faire » en fin de cet article.

2. Un exemple de situation à gérer :

Cette « moulinette » à été conçue pour permettre de gérer les utilisateurs d’un SPIP de collège ou lycée avec les contraintes suivantes :

• tous les élèves doivent êtres rédacteurs.
  -  le SPIP doit contenir une rubrique pour chaque discipline de l’établissement (Français, Anglais, Maths...) et tous les profs d’une discipline doivent êtres administrateurs de la rubrique de leur discipline. La création et la gestion des administrateurs de rubrique doit donc être automatisée elle aussi.
• [v3.0] tous les parents des élèves doivent disposer d’un compte visiteur (possibilité de s’identifier pour accès à des contenus réservés).
• les élèves restent 3 ou 4 ans dans l’établissement : à chaque rentrée scolaire il faut supprimer les comptes de ceux qui sont partis et créer ceux des nouveaux arrivants. De plus, selon les établissements, les mots de passe des élèves doivent pouvoir être modifiés à chaque rentrée scolaire.
• le login et le mot de passe des élèves et des profs doit être identique à celui qu’ils utilisent pour se logger sur le réseau de leur établissement : ces infos doivent donc être récupérées à partir d’une base de données indépendante de SPIP [3]
  . Pour une compatibilité large, elles seront stockées dans un fichier de type CSV , manipulable avec n’importe quel tableur.
• contrainte supplémentaire : tous les articles des élèves qui quittent l’établissement (qui seront donc supprimés) doivent êtres archivés afin de sortir de l’arborescence principale du SPIP.
• [v3.0] enfin, ce plugin doit également assurer la création/gestion automatique de groupes utilisables dans le plugin acces_groupe spip 1.9. L’idée étant de pouvoir gérer automatiquement :
  • pour chaque discipline : un groupe comprenant tous les profs de cette discipline
  • pour chaque classe : un groupe comprenant tous les élèves de la classe
  • pour chaque classe : un groupe comprenant tous les comptes des parents des élèves de la classe.

Étant donné le nombre d’utilisateurs à gérer et la fréquence des « grosses » mises à jour de ceux-ci, il est obligatoire de « squizzer » le gestionnaire des utilisateurs de SPIP (qui se tape le boulot de saisir tous les comptes un par un ???) et d’utiliser une extraction de la base de donnée des utilisateurs sous forme d’un fichier CSV pour ensuite la réinjecter dans les tables MySQL de SPIP en utilisant un script php qui permet de gérer les fonctions supplémentaires (cryptage du mot de passe, création des rubriques, des administrateurs de rubrique, effacement des anciens utilisateurs, gestion des groupes d’accès...).

3. Installation du plugin csv2spip :

[v3.0]Comme tous les plugins : récupérez le dernier zip à jour de cette contrib sur https://plugins.spip.net/csv2spip.html ou sur le miroir http://miroirspip.ventre.name/build..., décompactez le et placez le dossier « csv2spip » obtenu dans votre répertoire /plugins (à créer à la racine de votre spip si nécessaire), rendez vous sur l’interface de gestion des plugins (menu Configuration > Gestion des plugins), cochez le plugin « csv2spip » et validez.

Vous devriez voir apparaître une icone supplémentaire dans le menu « auteur » pour les administrateurs généraux (au passage : appel à contribution pour une icône plus classe que mon pauvre bidouillage ! contact via le forum de cet article.)

Du point de vue de la base de données, ce plugin n’installe pas de tables supplémentaires : pour le désinstaller il suffit d’effacer le répertoire /csv2spip.

4. Fonctionnement de ce plugin :

Détail des options proposées :

• cadre « Paramètres du fichier CSV » : détermine ce qui sera utilisé dans le champ « groupe » du fichier CSV pour différencier les différents statuts (visiteurs/auteurs/admins restreints)

• le cadre « Mise à jour des utilisateurs existant déja dans SPIP » (option « Mettre à jour les utilisateurs existants » active) ne concerne que les utilisateurs déja existants dans le spip et présents dans le fichier CSV :
  • si « Mise à jour des infos personnelles » est sur « oui », alors le script remplace les données des utilisateurs appartenant déja au spip par celles trouvées dans le fichier CSV. Cette option est spécialement sensible en ce sens qu’elle provoque une réinitialisation du mot de passe : les utilisateurs qui auraient personnalisé celui-ci risquent de ne plus pouvoir se connecter ! [4]
  • l’option « Réinitialisation des groupes d’accès » permet de supprimer les utilisateurs déja existants de tous les groupes du plugin acces_groupes pour permettre la réinitialisation de leurs groupes d’accès
  • l’option « Réinitialisation des rubriques administrées » réalise le même type de réinitialisation pour les rubriques gérées par les admins restreints existants déjà dans le spip et présents dans le fichier CSV.

• le cadre « Suppression des absents » permet de déclencher la suppression (ou mise à la poubelle) de tous les visiteurs/redacteurs/admins restreints existants dans le spip mais absents du fichier CSV. Cette option n’est donc pas à utiliser à la légère ! Par sécurité dans tous les cas les admins généraux ne seront pas concernés !

• le cadre « Création de rubriques pour les sous-groupes administrateurs » permet de configurer la rubrique attribuée aux utilisateurs admins retreints créés :
  • si l’option « Créer une rubrique par sous-groupe d’admins » est active, alors pour tous les noms trouvés dans le champ ss_groupe des utilisateurs admins restreints il sera créé une rubrique (rubrique parent choisie dans l’option « Rubrique parent des rubriques à créer ») et les admins correspondants en seront administrateurs.
  • l’option « Créer un article dans chaque rubrique admin » permet de « meubler » chacune de ces rubriques avec un article publié afin qu’elles soient visibles dans les menus de rubriques.
  • pour tous les admins n’ayant pas de ss_groupe (champ vide) ou si la génération des rubriques admins n’est pas activée, il est nécessaire de préciser le nom de la rubrique à attribuer aux admins créés. En effet, si on ne leur attribue pas de rubrique à administrer, ils sont admins généraux... La rubrique à utiliser est déterminée par les options « Rubrique par défaut des admins restreints » et « Rubrique parent de la rubrique par défaut ».
    NB : la rubrique par défaut ne sera créée que si cela est nécessaire.

• le cadre « Connexion avec le plugin acces_groupes » permet de faire créer un groupe d’accès pour chaque nom trouvé dans le champ ss_groupe du fichier CSV et d’inclure tous les utilisateurs correspondants à celui-ci.
  • l’option « Réinitialiser les sous-groupes » permet de s’assurer que si l’un des groupes à créer existe déja, il sera vidé de ses utilisateurs (= réinitialisation des utilisateurs du groupe).

Si tout se passe bien vous devriez obtenir quelque chose qui ressemble à la capture d’écran suivante :

5. Caractéristiques du fichier CSV des utilisateurs à importer :

Rappel : un fichier CSV (Comma Separated Values) correspond à un fichier tableur enregistré au format texte. Chaque ligne de ce fichier correspond à une ligne du tableur, les données des cellules de cette ligne étant séparées par un séparateur (ici c’est le «  ; »). On peut donc fabriquer un tel fichier avec n’importe quel tableur (OOo Calc par ex) en sélectionnant le format .csv ou .txt comme format d’enregistrement.
[*Remarque*] : si vous utilisez OpenOffice pour générer votre fichier CSV, n’oubliez pas de cocher la case « Éditer les paramètres de filtre » lorsque vous enregistrez votre fichier pour préciser ces paramétrages ! (Sous Excel, débrouillez vous comme vous pouvez !).

Vu qu’il s’agit d’un format texte, il est également possible de le créer/modifier avec un simple éditeur de texte (bloc-note par ex).

Ce qui donne :

Un modèle de fichier CSV est livré avec le plugin : csv2spip_modele.csv

Détails :

Remarques :

• Le champ ss_groupe est obligatoire si on veut la création automatique des rubriques par sous-groupe et que les membres du sous-groupe en soient administrateurs.
  Il est également requis si l’on veut que les utilisateurs créés soient automatiquement intégrés dans un groupe acces_groupes. Cette option permet en effet de créer les groupes pour le plugin acces_groupes et d’intégrer les utilisateurs dedans en fonction du contenu du champ ss_groupe.
• On suppose que la gestion des doublons de noms est assurée en amont : si vous créez le fichier csv à la main, vous devrez vous assurer que chaque utilisateur à un nom unique !
• spécifique IACA : si les profs ne sont pas regroupés par discipline dans IACA (en tant que sous-groupes) il faudra éditer le fichier avec un tableur (OOo Calc par ex) pour ajouter celles-ci dans la colonne sous-groupe. En revanche, si les groupes de disciplines sont générés par IACA, il faudra éditer le fichier et faire un « Rechercher / Remplacer » pour supprimer les préfixes « D_ » qui précèdent chaque nom de groupe de profs afin d’éviter que les rubriques de disciplines dans le SPIP n’aient ce préfixe.

6. Ce qu’il reste à faire :

• 

  un gros paquet de tests de compatibilité pour différents serveurs/hébergeurs/configurations... Si vous souhaitez participer à cette phase de tests, utilisez les fichiers CSV fournis dans ce zip.
  Tant que ce plugin sera dans l’état « test », ces fichiers sont fournis par défaut dans le sous-répertoire /csv2spip/tests_csv2spip.

• la gestion du time out pour les gros fichiers CSV et/ou les serveurs lents... : des essais d’intégration d’une option de « reprise » sont en cours (v3.1 ?)
• la transformation de l’ensemble du code pour utiliser des fonctions : en effet ce plugin n’est jamais qu’une « petite moulinette » (300 lignes de code pour la version 0.1) organisée de façon procédurale « primitive » qui a gonflé à force de fonctionnalités supplémentaires jusqu’aux 1500 lignes actuelles... Pour aller plus loin (sauvegarde/bridage des options de config, remplissage de champs et/ou tables « extras »...) il sera donc nécessaire de réorganiser l’ensemble du code...

En cas de problème

Demande d’assistance via le forum de cet article : pour éviter les retours d’erreurs trop flous ou incomplets, merci d’accompagner tout les rapports de bogues d’éléments précis :

• liste des options sélectionnées lors de l’envoi du fichier CSV
• un extrait des premières lignes du fichier CSV utilisé (anonymez les mots de passe si nécessaire...)
• une url où trouver la capture d’écran de la page de retour avec les erreurs...

De la même manière, vérifiez la conformité de votre fichier CSV aux paramètres indiqués dans le paragraphe « 5. Caractéristiques du fichier CSV des utilisateurs à importer : » AVANT tout envoi de demande d’aide !

Remarque pour les spip hébergés chez free
 [5]