Gérer une taille de fichier limitée

Question

La taille des fichiers est limitée à 16 Go dans le VertiGIS Transfer Portal. Les fichiers raster ou les dumps de bases de données sont souvent plus volumineux. Comment procéder lorsque l’on souhaite mettre à disposition des fichiers dont la taille est supérieure à 16 Go ?

Réponse

La limite s’appliquant à chaque fichier et non à l’ensemble des fichiers, il est possible de diviser le fichier. Cela peut se faire, par exemple, en le mettant à disposition sous forme de plusieurs archives ZIP. Lors de la création de dumps de bases de données, il est généralement également possible de les répartir sur plusieurs fichiers.

Procédure pour les archives ZIP

Procédure pour les dumps de bases de données

Procédure pour les archives ZIP

La description suivante utilise 7-Zip à titre d’exemple. Des fonctionnalités comparables sont également proposées par d’autres outils d’archivage.

1. Accédez au dossier :
   • Recherchez le dossier contenant les fichiers que vous souhaitez compresser et, le cas échéant, diviser.
      
2. Sélectionnez les fichiers :
   • Sélectionnez tous les fichiers et dossiers que vous souhaitez inclure dans l’archive ZIP. Pour sélectionner plusieurs fichiers, maintenez la touche « Ctrl » enfoncée tout en cliquant sur les différents fichiers.
      
3. Effectuez un clic droit et compressez avec division manuelle :
   • Cliquez avec le bouton droit de la souris sur l’un des fichiers sélectionnés.
   • Dans le menu contextuel, placez le pointeur de la souris sur « 7-Zip », puis sélectionnez « Ajouter à l’archive… ». 
     
      
4. Configurez la taille des fichiers :
   • Dans la fenêtre « Ajouter à l’archive », modifiez le nom de l’archive (qui est enregistrée par défaut dans le même dossier).
   • Assurez-vous que le format d’archive est « Zip » et que le niveau de compression est « Normal ».
   • Si vous souhaitez diviser les fichiers compressés en plusieurs fichiers plus petits, définissez, dans Split to Volumes, Bytes, la taille de fichier souhaitée (par exemple 15 Go).
   • Ajoutez d’autres paramètres spécifiques, tels que des mots de passe, etc.
5. Cliquez sur « OK » pour créer le ou les fichiers ZIP. Les segments sont enregistrés au même emplacement que le fichier ZIP d’origine. 
    
    
6. Attendez que les fichiers ZIP soient créés.
    
    
7. Une fois la création terminée, une liste de fichiers portant l’extension .zip ou .001, .002, etc. s’affiche dans votre dossier.
   
    
8. Ces fichiers peuvent ensuite être mis à disposition via le VertiGIS Transfer Portal.

Procédure pour les dumps de bases de données

1. PostgreSQL

   pg_dump dbname | split -b 2G - filename

   https://www.postgresql.org/docs/current/backup-dump.html#BACKUP-DUMP-LARGE
    

2. Oracle

   expdp DUMPFILE=expdir:exp%U.dmp FILESIZE=2G

   https://oracle-base.com/articles/10g/oracle-data-pump-10g#expdp
    

3. SQL Server

   https://www.sqlshack.com/split-sql-database-backups-into-multiple-backup-files-using-ssms/