data minimization pioneer

Accueil > Dataplana > Data-science embarquée

Data-science embarquée

mardi 12 janvier 2016, par Dataplana

Un des principaux intérêts du tri sélectif de données est qu’il permet de réaliser les traitements sur des infrastructures informatiques moins dispendieuses : un serveur Linux dans un data-center, une station de travail, voire même... un mini-PC, de la taille de notre carte de visite !

Nous avons ainsi expérimenté notre architecture logicielle sur une carte Olimex A20 OLinuXIno LIME2 vendue 45 euros, et dotée d’un processeur A7 dual core à 1GHz, un 1Go de RAM et une carte 1Gb Ethernet.

Le "disque" interne est une carte micro-SD de 64Go, renforcé ici par un disque externe USB de 1To (mais il existe également un connecteur SATA pour obtenir de meilleures performances).

Si tout fonctionne admirablement bien, avec la stabilité légendaire d’une Debian (ici un firmware optimisé Armbian), c’est la mémoire vive - et non la CPU ou le stockage externe - qui s’avère l’élément limitant, car dans le domaine de l’analyse de données, 1Go se remplit bien vite...

En guise de tests : notre logiciel de supervision de QoS télécom, capable aujourd’hui de superviser 5 millions de clients IPTV générant près d’1To de logs par semaine, sur une simple station de travail Xeon avec 16Go de RAM. La capacité mémoire limitée de la carte LIME2 ne nous permet pas de traiter le même volume de données. Toutefois, en réduisant simplement le parc exploité (ramené à 1 million de clients, soit 200Go de données par semaine), le logiciel s’exécute correctement. Vu la taille de la carte-mère, c’est tout à fait bluffant.

Il reste à présent à imaginer les applications concrètes de cette data-science embarquée, par exemple dans le domaine de l’Internet des objets. On peut notamment imaginer des micro-data centers, décentralisés, lorsque la connectivité n’est pas suffisante pour remonter dans le cloud l’ensemble des données à traiter. On peut également imaginer des devices existants embarquant cette techno pour réaliser de façon autonome l’analyse des données issues de leur environnement.

N’hésitez pas à nous contacter :
cook@dataplana.com