Quelques convictions sur les échanges de fichiers

1 / Comme un air de déjà vu !

Eté 2019, il fait chaud, le téléphone sonne …

Le service client appelle en catastrophe et bien sûr nous sommes le dernier jour du mois, et en plus un vendredi midi !

Service Facturation : Nous n’avons pas reçu les fichiers d’un client et il nous les faut pour finir la clôture !!!!!

Service IT : Le service d’échange de fichiers ne fonctionne pas ?

Service Facturation : Si mais il manque des fichiers, alors on demande de relancer 1 ou 2 fichiers mais là il en manque une centaine !!!!

Service IT : Peut-on envoyer ces fichiers par courriel pour une fois ? juste pour dépanner ?

Service Facturation : Non ils sont trop volumineux pour la messagerie et en plus ils doivent être confidentiels.

Mais que s’est-il passé ?

Légende :

1 – Appel du Partenaire

2 – Réception de l’appel

3 – Recherche de la cause de l’échec de transmission du fichier

4 – Causes possibles : maintenance d’un serveur, d’un service, du réseau

5 – Cause possible d’un fichier supprimé ou absent : un problème lors de la transmission (coupure réseau)

Et maintenant que fait-on ?

Après quelques recherches, il s’avère que le service d’échange de fichiers s’est arrêté. Le service est alors relancé mais sans succès. Donc le serveur est redémarré mais comme c’est un serveur physique avec 10To de données en local, c’est long !

Le partenaire n’est plus dans ses locaux mais il a ses fichiers sur son portable et peut éventuellement les transférer depuis chez lui.

Dans un monde meilleur !

Ah ! si tout ceci était virtualisé, avec partage de l’espace de stockage, en haute disponibilité (mode actif/actif) ou derrière un répartiteur de charge (« load balancer ») pour une bascule vers un autre serveur en attente (mode actif/passif), avec possibilité de rajouter de l’espace de stockage rapidement, de faire une ouverture de flux réseaux pour redémarrer le serveur ailleurs.

C’est beau de rêver !

Comment améliorer la qualité de service du transfert de fichiers ?

Le métier demande d’avoir un meilleur suivi de la transmission des fichiers transmis, afin de pouvoir relancer les transferts au plus vite en cas d’échec.

De plus, une nouvelle application mobile va être développée et le besoin de partage des fichiers sécurisés avec les partenaires et les collaborateurs devient encore plus critique.

Enfin, d’autres fonctionnalités et de nouveaux clients seront rajoutés suivant les besoins de l’application et la croissance des partenaires.

Mais comment partager un fichier facilement en toute sécurité avec les clients et les partenaires ?

Comment savoir que les fichiers ont bien été reçus ? Que les fichiers ont bien été envoyés ? Que la chaine de transmission fonctionne correctement ? Que les données sont bien sécurisées ?

Un exemple simple pour illustrer un flux de transfert traditionnel

Une entreprise dispose dans son datacenter d’une infrastructure de partage de fichiers avec un serveur SFTP par zone :

• 1 serveur SFTP qui échange avec les clients/partenaires au travers des liens WAN
• 1 serveur SFTP qui échange avec les entités du groupe au travers du LAN
• 1 serveur SFTP qui échange avec les 2 autres serveurs SFTP.

Les fichiers passent par une zone tampon de copie de fichiers, des contrôles via des scripts sont lancés par la « crontab ».

2 / Une solution : le Cloud ?

Quelques rappels

En préambule, nous allons nous intéresser aux différents types de services disponibles dans le Cloud pour héberger la solution de partage de fichiers.

Les différents acteurs et types de solutions disponibles sur le marché sont décrits ci-dessous :

L’objectif n’est pas de refaire une nouvelle comparaison Cloud Public / Cloud Privé / Cloud Hybride avec les avantages et les inconvénients mais plutôt de nous focaliser sur les besoins et l’utilisation.

On Premise

Le modèle « On Premise » correspond au Cloud « Privé », avec un hébergement dans un datacenter physique sur une infrastructure dédiée ou mutualisée.

Les équipes informatiques assurent le contrôle total de l’infrastructure, avec une maîtrise de la localisation des données et une gestion de la sécurité.

Iaas / Paas – Cloud Public

Les modèles Iaas et Paas correspondent au Cloud « Public », avec un hébergement chez AWS / Azure / GCP.

L’infrastructure 100% virtuelle est hébergée par AWS / Azure / GCP, et les équipes informatiques assurent l’administration des machines virtuelles (éventuellement des containers) et de leur contenu, du stockage (choix du type et de la localisation) et de la sécurité (utilisateurs, applications, données).

Hybride

Le modèle Cloud Hybride correspond à une utilisation mixte Cloud Privé et Cloud Public.

SaaS

Dans le modèle SaaS, la solution est accessible sous forme de services entièrement gérés par le fournisseur (infrastructure + logiciel).

Le modèle classique B to B

Dans le monde de l’entreprise, les solutions « historiques » proposées par les éditeurs sont largement répandues (MFT, CFT, …) car maîtrisées et éprouvées, ainsi que des solutions personnalisées, développées en interne (sur une base SFTP), plus ou moins fiables (traçabilité, redondance, supervision, maintenance, maintien en conditions opérationnelles).

Point commun : elles fonctionnement toutes sur le modèle du B to B !

Dans ce contexte, tous les partenaires sont identifiés en amont pour la mise en place des échanges. C’est simple et efficace avec 10 clients, c’est-à-dire 10 connexions.

Quid avec un modèle plutôt B to C ?

Cependant, que se passe-t-il quand nous devons partager des fichiers avec des centaines, voire des milliers de clients, avec des points de connexions différents autres que des serveurs ?

Les solutions envisagées spontanément sont de type Dropbox/Google Drive, utilisables de n’importe où à partir de n’importe quel équipement :  smartphone, pc portable, serveur, application, ….

Mais nous avons tous entendu les remarques suivantes au moins une fois :

• Non, les données ne doivent pas se retrouver sur le Cloud, n’importe où dans le monde, car il n’y a pas de sécurité et de confidentialité garanties par le fournisseur, dixit la DSI.
• J’ai besoin d’avoir les informations rapidement et de n’importe où, je suis en déplacement / clientèle, dixit le service Sales/Marketing
• C’est trop compliqué avec la mise en place d’un VPN « site to site » et la gestion de configuration pour le partage de fichiers, dixit les clients/partenaires
• On ne sait pas si les fichiers sont présents ou non, par qui et quand ont-ils été supprimés, dixit tout le monde

La liste est encore longue et le débat peut être sans fin, et question reste immuable : quelle est la meilleure solution pour faire du transfert de fichiers ?

La solution « miracle » de partage de fichiers « tout en un » qui intègre toutes les fonctionnalités nécessaires en fonction des besoins des clients et des cas d’usage n’existe malheureusement pas !

En revanche, nous pouvons en concevoir une qui réponde au mieux à nos besoins.

3 / La vision Metanext pour répondre au besoin de transfert de fichiers

Le partage de fichier moderne, adapté à l’ère numérique où tout doit aller vite, accessible rapidement de n’importe où, ne doit pas nous faire oublier que la protection des données est primordiale.

La solution envisagée par Metanext doit répondre aux exigences suivantes :

a) Accessibilité des données, avec deux aspects majeurs :

• Accès universel depuis un navigateur web, un équipement mobile, un serveur et via des protocoles d’accès multiples, notamment SFTP / HTTPS / SSH à privilégier.
• Résilience des données en termes de localisation, de sauvegarde et en cas de désastre afin de pouvoir redémarrer le service sans perte d’informations.

b) Supervision et contrôle des transferts

• Connaître l’état d’un transfert, la quantité de fichiers traités, la date d’envoi et de réception, …, avec des alertes le cas échéant, connaitre les « clients », avec le détail des sessions
• Proposer des rapports adaptés, simples et complets

c) Automatisation des transferts

• Séquencer les transferts de fichiers, programmer l’heure et la date des transferts.
• Reprendre en cas de pause ou d’échec.

d) Sécurité du partage en interne / externe

• Séparer hermétiquement les données des utilisateurs/partenaires afin de garantir la confidentialité.
• Protéger les données contre les intrusions/vols.

Certes cette liste est loin d’être exhaustive mais les principaux enjeux sont présents.

Pourquoi pas le On Premise ?

Il est toujours tentant de vouloir rester dans ce modèle, mais alors comment gérer simplement l’ajout d’un nouveau partenaire en un minimum de temps ? comment tester que les fichiers ont bien été envoyés ? comment partager des fichiers occasionnellement ?

Les outils existent comme les solutions MFT et l’infrastructure hôte est maitrisée. Cependant la solution reste sous le contrôle de l’éditeur, avec une forte dépendance vis-à-vis des évolutions ou une migration vers d’autres solutions.

Suivant le niveau de criticité des partages de fichiers, il peut être pertinent d’aller dans ce sens mais ce n’est pas la vision de Metanext.

Pourquoi pas dans le SaaS ?

Le modèle SaaS est de plus en plus pertinent, notamment avec les progrès réalisés en termes de sécurisation et de contrôle des données. Certaines solutions proposent la fonctionnalité SFTP mais d’autres non.

Le modèle de partage de fichiers en mode SaaS ne permet pas d’avoir un contrôle fin sur l’espace de stockage.

Plus globalement, la flexibilité et la facilité d’utilisation inhérentes à toute solution Cloud ne contrebalancent pas le contrôle limité ou inexistant sur la solution. En fait, nous sommes de nouveau très dépendants de la plateforme et de l’éditeur.

Pourquoi le Cloud public ?

Metanext préconise les partages de fichiers dans le Cloud et particulièrement sur les modèles IaaS / PaaS dans le Cloud Public chez AWS / Azure / GCP.

Dans le Cloud Public, la localisation de l’espace de stockage et le logiciel de gestion des fichiers sont maîtrisés, ainsi que l’administration de la solution propriétaire, déployé sur une VM.

La gestion est centralisée pour les partenaires, avec possibilité de délégation de droits, et l’ajout de fonctionnalités est possible n’importe où et n’importe quand.

Le choix de mettre la solution de partage de fichiers dans le Cloud public permet de :

• Bénéficier des services disponibles (ex : AWS Transfer for SFTP, supervision, …), avec des évolutions fréquentes des fonctionnalités.
• De sécuriser l’espace Cloud (mise en place de règles de sécurité, garantie de disponibilité, restriction des accès, suivi de l’activité).
• Ajouter des services supplémentaires au-dessus des services de base ou dans les VMs, comme de la surveillance, de l’ordonnancement de tâches, des contrôles par les API, des modes « console » suivants les solutions, de la mise en place d’authentification supplémentaire en écriture, de la gestion de version, de l’accès en mode lecteur uniquement, …

Oui mais il est possible de réaliser tout cela « On Premise » !!!

Les besoins des Métiers mettent une très forte pression sur la flexibilité des services « On Demand », l’ouverture vers le monde extérieur, l’interconnexion entre les partenaires, les échanges multi-plateformes / multi protocolaires.

Par exemple, un partenaire A peut avoir besoin un jour d’un partage de fichier avec le partenaire B sans que ce besoin soit pertinent pour les autres partenaires.

Donc, au lieu de multiplier les sources de partages, il est plus simple de mettre en place des partages directement entre ces 2 partenaires.

Le Cloud nous donne de nombreux choix possibles pour construire des solutions adaptées à chaque cas d’usage.

4 / Quelques exemples pratiques

Exemple d’implémentation sur AWS avec le service AWS SFTP pour des transferts de fichiers

https://aws.amazon.com/fr/sftp/

FINRA

Implémentation réalisée par Metanext.

Partage de fichiers avec des partenaires et le groupe basé sur un service SFTP et des scripts de contrôle.

La cible est de proposer une évolution pour permettre d’avoir une meilleure maintenance des opérations de contrôle, de faire le suivi des actions et de garder une sécurité pour séparer les flux.

Dans ce modèle :

• Toute l’orchestration est dans les nuages
• La supervision est intégrée et paramétrable depuis le Cloud
• La charge de travail au quotidien pour l’équipe infrastructure est minimale sauf en cas de panne.

Les points que nous avons évoqués plus haut pour le choix de la solution de transfert de fichiers nous indiquent que le choix de Metanext d’aller vers le Cloud est une bonne approche.

Nous avons gardé 1 serveur FTP/SFTP par DMZ car le client n’est pas encore assez mature pour être totalement dans le Cloud (ex : lourdeur du changement des processus de communication entre les partenaires).

Néanmoins Metanext a déjà fait des propositions vers le mode 100% Cloud / ou, si besoin, en mode Hybride :