Transfert de données SQL PHP : Dump et Compression gzip

Transférer des données d'une base de données en local vers un serveur Internet peut poser un problème surtout pour les bases type catalogue qui représentent un gros volume, en particulier avec un modem 56k. Fractionner le fichier est bien sûr une solution, mais un tantinet pénible... Une autre solution consiste à utiliser les fonctions de compression de PHP pour réduire le volume des données à transférer. Quel est le gain ? Sur une base de près de sept mille enregistrements, le fichier de dump passe de 6400ko à 460ko...

1ère étape : Créer le fichier contenant les instructions SQL.
L'utilitaire mysqldump, fourni avec MySQL, est payé pour ça, mais votre outil favori pour travailler avec MySQL doit certainement le faire sans problème.

2ème étape : Compresser le fichier à l'aide de PHP.
Un coup d'oeil à la documentation de PHP renseigne efficacement sur les possibilités de PHP en la matière.
Il supporte le format ZIP, en lecture uniquement, de façon non native, d'autre part les fonctions mises à disposition ne cadrent pas facilement avec notre besoin.
Par contre, il supporte en natif (version 4.3.0+) le format gzip, en particulier sous Windows où tous les utilisateurs n'ont pas forcément à leur disposition un compilateur pour reconstruire PHP à leur goût.
Les fonctions supportées cadrent parfaitement, en fait elles sont très semblables aux fonctions destinées à manipuler les fichiers, la différence étant le préfixe gz à la place du préfixe f (fopen -> gzopen) et un paramètre pour indiquer le niveau de compression (pour gzopen). Il est d'ailleurs possible d'utiliser un wrapper pour manipuler les fichiers avec les fonctions traditionnelles (fopen('zlib://'.$NomFichier,$Mode)), utile si le script doit compresser ou non suivant une condition.

Détail des fonctions utilisées :

$RessourceFichier=gzopen($NomFichier, ModeOuverture,[UseIncludePath])

Où NomFichier est le nom du fichier, avec le chemin si nécessaire. De préférence, utiliser le '/' comme séparateur.
ModeOuverture est une chaine de caractères adapté au besoin, en l'occurrence, pour créer le fichier 'w' pour écrire un nouveau fichier (s'il existe il sera tronqué à 0), suivi d'un 'b', indiquant que les données seront en binaire (et non du texte, pour éviter qu'un caractère Ctrl-Z - EOF - soit interprété comme la fin de fichier) et terminé par un chiffre indiquant le degré de compression souhaité (9 : compression maximale) une meilleure compression étant réalisée au détriment du temps nécessaire.
Pour lire le fichier, ModeOuverture sera 'rb', r: read (lecture) et b: binary (binaire), le taux de compression ne doit pas être précisé et ouvrir un fichier non compressé à l'aide de cette fonction n'est pas génant.
Le troisième paramètre, optionnel, indique s'il est à 1, que le fichier doit également être recherché dans les chemins listés dans le include_path du php.ini.
La fonction retourne FALSE en cas d'échec ou une ressource en cas de succès, utilisable par les autres fonctions du groupe.
Exemple :

$RessourceFichier=gzopen('MonFichier.gz','wb5');

$Chaine=gzgets($RessourceFichier, Entier)

$RessourceFichier doit contenir une ressource valide obtenue grâce à la fonction gzopen.
Cette fonction retourne une chaine de caractères limitée à la longueur Entier-1 ou une nouvelle ligne (le ou les caractères de changement de ligne inclu(s)) ou la fin de fichier ; ce qui survient en premier.
Ici, on considère que les cas qui peuvent se produire sont la fin de fichier ou une ligne complète, en conséquence, ne pas hésiter à spécifier un entier très grand (la limite est 2147483648 :-) pour éviter d'avoir une fraction de ligne que le script ne gérerait pas avec élégance...

$Entier=gzwrite($RessourceFichier, $Chaine)

Cette fonction écrit $Chaine dans le fichier préalablement ouvert avec gzopen et identifié par la ressource $RessourceFichier.
Elle retourne un entier précisant le nombre d'octets (non compressé) écrit dans le fichier.

$Booleen=gzclose($RessourceFichier)

Cette fonction ferme le fichier ouvert avec gzopen, identifié par la ressource $RessourceFichier.
Elle retourne TRUE en cas de succès, FALSE en cas d'échec.

$NbArguments=$argc

Il s'agit du nombre d'arguments envoyés à php par la ligne de commande, y compris le nom complet du script

$Argument=$argv[x]

Renvoie le x ième argument de la ligne de commande, le premier $argv[0] étant le nom complet du script.

Voici un exemple de script capable de le mener à bien. Il est utilisé au mieux avec la version client de PHP, puisqu'il attend ses paramètres par la ligne de commande (dans mon cas, la base 'mère' est sous Access qui se charge de gérer une interface conviviale et de générer le dump). L'extension souhaîtable du fichier de sortie est .gz.

<? if ($argc!=3    echo 'Nombre d\'arguments incorrects !'."\n\r";    echo "Attendu : Chemin complet du fichier SQL chemin complet du fichier de sortie\n\r";    exit(); } $FileIn=fopen($argv[1],'r');// ouverture du fichier source en lecture, mode texte $FileOut=gzopen($argv[2],'wb5');// ouverture du fichier en écriture, niv. compression : 5 while (!feof($FileIn)){    $Ligne=fgets($FileIn,65535);// augmenter le 65535 si besoin    gzwrite($FileOut,$Ligne); // écriture de la ligne de texte compressée }// boucle tant que la fin de fichier n'est pas atteinte fclose($FileIn);// fermeture des fichiers gzclose($FileOut); ?>

Le fichier produit peut être ouvert avec des outils comme WinRAR ou WinZip (ce dernier demande de préciser l'extension afin de le visualiser efficacement, répondez .sql si cette extension est associée correctement, sinon .txt ; de toute façon le fichier ne sera pas modifié).

3ème étape : Transférer le fichier sur le serveur distant.
Utiliser votre méthode habituelle : FTP ou interface WEB, c'est dans cet étape que le gain obtenu par la compression se matérialise, en particulier pour les interfaces WEB qui limitent directement ou indirectement le volume transférable.

4ème étape : Décompressez le fichier et intégrer son contenu à la base de données.
Le script nécessaire doit être installé sur le serveur distant, son exécution lancée à l'aide du navigateur comme n'importe quelle page de votre site.
Le script suivant est capable de réaliser cette tâche. Il est volontairement rudimentaire afin de montrer le principe utilisé. Un script plus convivial est disponible plus bas.
Ce principe est simple : Ouverture du fichier compressé, lecture ligne par ligne, évaluation si la ligne est une commande SQL complète, sinon on concatène, les lignes de commentaires sont ignorées, quand la ligne est complète, exécution par le serveur SQL.

Ce petit script réalise l'essentiel, sans aucune fioriture. Pensez à renseigner les paramètres de connexion à MySQL ainsi que le nom du fichier source et à augmenter le nombre d'octets lus par gzgets si nécessaire (champ blob par exemple).

Le script suivant réalise exactement le même travail, mais il ajoute une protection rudimentaire, la possibilité de sélectionner un fichier dans un répertoire.
Comme dans le précédent, pensez à définir les paramètres de connexion à MySQL. La constante ThePassWord définit le mot de passe permettant d'accèder à la page.
La constante Dossier permet définir le répertoire dans lequel le script cherchera les fichiers à proposer à l'utilisateur. Si cette constante n'est pas définie, le dossier qui héberge le script sera utilisé.

<? // define('Dossier','d:/temp');// Le chemin du dossier à parcourir (sans / final), defaut : dossier du script define('ThePassWord','12345');// Le mot de passe d'accès à la page $bdd = 'MaBase';// Nom de la base de données MySQL sur le serveur distant    $host = 'localhost';// le nom du serveur Mysql    $user = 'Moi';// Votre nom d'utilisateur MySQL    $pass='MotDePasse';// Et le mot de passe associé if (array_key_exists('MotDePasse',$_POST)) $UserPass=$_POST['MotDePasse']; else $UserPass=''; if ($UserPass===ThePassWord) {    setcookie('pwd',$UserPass);    header("Location: http://".$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF']); } if (array_key_exists('pwd',$_COOKIE)) $UserPass=$_COOKIE['pwd']; else $UserPass=''; if ($UserPass!==ThePassWord) $Pass=false; else $Pass=true; if (array_key_exists('TheFile',$_POST)) $TheFile=$_POST['TheFile']; else $TheFile=''; $Cible=basename($_SERVER['PHP_SELF']); ?> <html> <head> <title>Importation MySQL</title> </head> <? if ($Pass){?> <script language="javascript"> function Jump(Fichier){ document.Data.TheFile.value=Fichier; document.Data.submit(); } </script> <? } // Pass=vrai ?> <body> <h2>Importation SQL</h2> <? if (!$Pass){ ?> Saisir le mot de passe pour accèder :  <FORM METHOD=POST ACTION="<?=$Cible?>" NAME="FormPass"> <INPUT TYPE="text" NAME="MotDePasse"> <INPUT TYPE="submit" VALUE="Valider"> </FORM> <?     echo '</body></html>';    exit(); }// Pass=faux ?> <FORM METHOD=POST ACTION="<?=$Cible?>" NAME="Data"> <INPUT TYPE="hidden" NAME="TheFile"> </FORM> <? if ($TheFile){    echo 'Fichier sélectionné : '.$TheFile.'<br>';    $ErreurSQL=false;    echo 'Traitement...<br>';    echo '<font size="1">';    @mysql_connect($host,$user,$pass)       or die("Impossible de se connecter au serveur MySQL, hôte : $host");    @mysql_select_db("$bdd")       or die("Base de données introuvable $bdd");    $HTheFile=gzopen($TheFile, 'rb');    $LigneSQL='';    while (!gzeof($HTheFile)){       $Ligne=trim(gzgets($HTheFile,65535));       if (!($Ligne=='' || $Ligne{0}=='-' || $Ligne{0}=='#')){          $LigneSQL.=$Ligne;          if (strlen($Ligne)>0 && $Ligne{strlen($Ligne)-1}==';'){             // echo $LigneSQL.'<br>'; //A activer pour DEBUG uniquement...             mysql_query($LigneSQL) or print($LigneSQL.'->'.mysql_error()."<br>");             if (mysql_errno()) $ErreurSQL=true;             $LigneSQL='';          }       }    }// wend    gzclose($HTheFile);    echo '</font>';    echo 'That\'s all, folks !';    if (!$ErreurSQL){// si pas d'erreurs, retour auto à la liste       echo '<SCRIPT Language="JavaScript">';       echo 'function GoPage(){';       echo 'window.location.href="' . $Cible . '"};';       echo 'setTimeout("GoPage()",5000)</SCRIPT>';    }    echo '<p><a href="' . $Cible . '">Retour à la liste des fichiers</a></p>';    echo '</body></html>';    exit(); }// Fin si Fichier à traiter if (defined('Dossier')) $TheDir=Dossier; else $TheDir=getcwd(); $TheDir=str_replace('\\','/',$TheDir); echo 'Répertoire : <b>'.$TheDir.'</b><br>'; echo '<table border="1">'; echo '<tr><td>Nom</td><td>Taille</td><td>Date</td></tr>'; foreach (glob($TheDir.'/*.gz') as $NomF){    echo '<tr><td><a href="javascript:Jump(\''.urlencode(basename($NomF)).'\')">';                 echo basename($NomF).'</a></td><td align="right">'                 echo number_format(filesize($NomF),0,'.',' ').'</td><td>'                 echo date ("d/m/Y H:i:s", filemtime($NomF)).'</td></tr>'; } echo '</table>'; ?> </body> </html>

Par défaut, le script ne montre que les .gz.

Fonctions utilisées

$Tableau=glob($Masque,[flags])

La fonction glob retourne un tableau contenant les fichiers correspondants à un masque. Utiliser de préférence des '/' dans le chemin.A noter que dans la version 4.3.0 win32, cette fonction a de 'légers' problèmes à résoudre les chemins relatifs (./*.gz ne renvoie rien, ../*.gz renvoie le contenu du répertoire courant) donc lui fournir un chemin absolu pour éviter les plaisanteries. Le paramètre flags, optionnel, permet de modifier le comportement de la fonction. RTFM pour le détail :-)

$Booleen=array_key_exists('Clef',$Tableau)

Elle renvoie vrai si la clef existe dans le tableau. Cette fonction est utile si l'error_reporting est paramétré pour renvoyer les 'notices'. Sur une machine de développement, visualiser ce type d'erreurs apporte plus de bénéfices que d'inconvénients car ceci met en exergue des erreurs autrement plus difficiles à 'piéger'.

En cas de soucis, enlever les commentaires de la ligne echo $LigneSQL.'<br>';. Vous verrez alors la ligne envoyée au moteur MySQL, par contre ceci peut générer un retour conséquent si le fichier SQL contient de nombreuses lignes.

Pour les fonctions figurant dans les scripts et non présentées... Votre meilleur ami est le manuel de php, en particulier la version intégrant les commentaires d'utilisateurs (si vous n'êtes pas anglophobe :-).