En tant que partenaire d’OpenIO depuis plusieurs années, METANEXT était présent lors de l’événement Object Storage for Big data le 14 Novembre au Loft de Sophie dans le 11e arrondissement à Paris, un lieu atypique et sympathique, en présence de 50 personnes environ, plus un invité surprise …
Patience !
Où en est OpenIO en 2019 ?
OpenIO est présent sur le marché du stockage Objet depuis 4 ans, en proposant une solution de stockage « Next Gen » par défaut, afin de fournir simultanément haute performance et grande capacité.
Le positionnement de la solution OpenIO par rapport à la concurrence se situe de la façon suivante :
OpenIO propose de bâtir des plates-formes afin de valoriser les données de l’entreprise.
Les clients et partenaires suivants font confiance à OpenIO en France :
Pourquoi le “TBPS Challenge” ?
La promesse d’OpenIO est de fournir un stockage Objet qui permet de démarrer petit et de croitre vers des capacités énormes (plusieurs dizaines ou centaines de Po !), avec un approvisionnement des ressources « à la volée » au moment opportun.
Le stockage Objet est déjà reconnu comme une solution de stockage pertinent pour proposer beaucoup de volumétrie à un coût au Go utile réduit. En revanche, il est souvent considéré, à tort, comme peu performant.
OpenIO affirme que sa solution logicielle (Software Defined Storage) n’est pas un point de contention pour obtenir une performance exceptionnelle, sachant que l’infrastructure matérielle sous-jacente est basée sur du matériel standard.
Just Prove it !
La confiance est une chose, comme la qualité de conception et la force de travail mais la démonstration est encore mieux !
Pour ce faire, il faut un cas d’usage représentatif avec l’injection efficace d’une charge de travail lourde sur une source de données réelles de taille conséquente.
OpenIO s’est donc tourné vers son partenaire Criteo, la plate-forme publicitaire pour l’Internet ouvert très réputée sur le marché, pour fournir le bon environnement afin de réaliser ce test.
Criteo : le bon partenaire
Criteo exploite le plus grand cluster HDFS en production en EMEA hébergé chez EQUINIX sur 2 sites PA4 (Paris) et AM6 (Amsterdam)
- PA4 : 3000 nœuds avec 220 Po de stockage et 561 To de mémoire
- AM6 : 2500 nœuds avec 240 Po de stockage et 506 To de mémoire
- 265 000 tâches exécutées chaque jour
- 90 TiB de croissance par jour
- 15 PiB lus par jour et 3 PiB écrits par jour
Le but du benchmark pour Criteo est d’évaluer une solution de sauvegarde opérationnelle et de soumettre son réseau de production en général utilisé à moins de 10% à un stress exceptionnel pour vérifier sa robustesse et sa performance.
Une infrastructure unique pour un test de performances hors normes
Les nouveaux serveurs arrivant régulièrement chez Criteo pour faire face à la croissance des besoins, 350 serveurs sont mis à disposition temporairement d’OpenIO sur le site AM6 pour réaliser le benchmark. Les serveurs sont installés dans toutes les baes disponibles et sont mélangés avec les nœuds Hadoop de production, sur le même réseau avec donc une très grande bande passante disponible.
Les spécifications des serveurs HPE DL380 Gen10 sont les suivantes
- 2 processeurs Skylake Gold 6140 avec 36 cœurs chacun soit 72 threads
- 15 disques de 8 To à 7200 tours/minute
- 384 Go de mémoire @ 2666 MHz
- 1 disque SSD de 240 Go pour les métadonnées
- 2 ports réseau à 10 Gb/s (1 connecté physiquement)
It Works ! OpenIO : Ready for Big Data
Pour faire simple, le benchmark s’est très bien déroulé et l’objectif initial a même été dépassé avec un débit en écriture en pointe de 1,37 Tbps soit 171 Go/s !
Et sans impact sur la production Criteo en parallèle !
Cette performance a été atteinte suivant 2 modes opératoires différents.
- Montée en charge progressive par tranche de 50 serveurs de 50 à 350 serveurs
- Montée en charge brutale sur 350 serveurs
Tous les détails techniques du benchmark sont disponibles sur le site OpenIO via le lien suivant :
https://www.openio.io/tbps-challenge#challenge_form
OpenIO démontre ainsi les capacités d’évolution de son architecture logicielle pour atteindre des performances exceptionnelles, et répondre ainsi aux enjeux les plus ambitieux du Big Data.
En conclusion, un invité surprise : Octave Klaba
Et en guise de conclusion, la visite d’Octave Klaba, fondateur et patron d’OVHcloud, acteur majeur du Cloud en France et dans le monde.
Octva Klaba a rappelé la stratégie d’OVHcloud pour les prochaines années dans laquelle OpenIO a un rôle majeur à jouer en tant que plate-forme de préférence pour les offres Stockage Objet d’OVHcloud, en cours d’élaboration.
