Instance Panoramax OSM-FR : l'infra

C’est pas hyper bruyant cette chose ?

Au démarrage, les ventilos tournent à fond, ensuite ça se calme, mais c’est pas très silencieux… pour ça qu’à l’entrée des datacenters il y a des bouchons anti-bruit !

Belle bête! Attention à ne pas mettre de disques SMR :sweat_smile:

Oui, ça le fait pas trop avec ZFS, mais ça serait adapté à du stockage où l’on ne reviendra en principe pas sur les fichiers.

De ce que je lis à droite à gauche, ça pose quand même de sérieux problèmes. Notamment en cas de reconstruction du raid.

La baie de stockage se sent moins seule depuis qu’elle a fait copain-copain avec le serveur de calcul !

Matériel d’occasion mais en état quasi neuf.

Ce R7910 peut accueillir deux GPU de grande dimension ainsi que 5 autres cartes PCIe.

RAM reçue elle aussi, à suivre les CPU et le GPU (Tesla P4). Il faudra compléter avec un peu de SSD et on sera complet pour démarrer !

2 Likes

Quelques morceaux de puzzle en plus…

  • une carte Tesla P4, GPU dédié à l’IA avec 8Go de RAM.
  • des processeurs Xeon E5-2690v4, avec 14 coeurs à 2.6GHz (et 3.6GHz en mode turbo)

GPU installe ainsi qu’un CPU (en attente d’un radiateur pour le second)

Premiers tests avec le GPU après quelques heures à trouver comment tout configurer pour permettre son utilisation depuis un container LXC…

1 Like

Juste pour dire que c’est très chouette d’avoir cette visibilité sous le capot :slight_smile:

Du plus lourd s’annonce…

Une bébête bien remplie…

  • 4 GPU GTX 1070 avec 8Go de RAM chacun
  • 2 CPU E5-2680v4 avec 14 cœurs à 2.4-3.3 GHz
  • 64Go de RAM, mais largement de quoi étendre si besoin (3To max !)
  • 3 disques 1To, mais 8 baies 3.5" et une baie optionnelle libre si on veut mettre d’autres choses (SSD)

Proxmox installé et GPU bien activés…

Et voilà un entraînement lancé cette nuit :

Les 4 GPU en action en //… ce qui prenait 20´ sur mon petit GPU est terminé en 1’45 :slight_smile:

Par contre la conso du serveur est de l’ordre de 600-700W pendant ces calculs !

Ici c’est un entraînement pour reconnaître visages, plaques et panneaux sur un modèle « medium » qui a pris moins de 7h là où un modèle « small » avait mis 20h sur ma station de travail avec sa petite GTX 1060.

Les 8Go de RAM par GPU permettent un entraînement sur 2 images en même temps par GPU (donc 8 en tout), sur un modèle « medium » ou 3 sur un « small », là où je ne pouvais qu’avoir 1 image à la fois en small sur mon petit GPU.

3 Likes

Double usage !

Tests de charge en cours sur l’API de floutage avec le modèle « medium » entraîné les semaines dernières…

130 images à flouter:

  • 16s avec la Tesla P4 seule
  • 13s avec la GTX 1070 seule
  • moins de 8s avec les 2

A ce rythme, on arrive à 1.4M d’images floutables par jour, ça devrait aller :slight_smile:

Ce sont des temps « all inclusive », vus du client avec les traitements suivants :

  • envoi de l’image
  • détection d’objets avec YOLOv8 et le modèle entraîné maison
  • extraction des zones à flouter par manipulation de blocs JPEG
  • floutage de ces zones avec Pillow (on peut faire plus rapide)
  • ré-intégration des zones floutées avec jpegtran (pas optimal non plus)
  • renvoi du résultat au client

Chaque GPU avec ses 8Go de RAM permet d’avoir 5 threads en parallèle, donc 10 en tout.

API testable par exemple avec:

http --f POST https://api.cquest.org/blur/ picture@original.jpg -d -o blurred.jpg

Ne jaamis sous-estimer la capacité… de certains livreurs.

Tesla P4 contre GTX 1070…

Au niveau performance, la GTX est un peu devant, mais au niveau consommation la GTX est nettement plus intéressante d’après ce que je constate dans nvtop:

La P4 a un mode idle où elle ne consomme quasiment rien, mais dès qu’on charge un modèle dedans, le GPU ne retourne plus en « idle » et consomme 24W car il reste à 885MHz et la RAM à 3GHz au lieu de redescendre 7W (455MHz pour le GPU et 405MHz pour la RAM).

La GTX par contre, retourne en idle, le GPU redescend à 140MHz, la RAM à 405MHz et la consommation est d’environ 5 à 8W.

24h/24 cela a son petit effet… dans les 150 kWh par an.

Pour faciliter des tests de l’API de floutage… j’ai mis en place un formulaire minimaliste qui permet d’envoyer une photo et d’avoir en retour la version floutée :

https://api.cquest.org/blur/

Alors je viens de tester avec un .jpg sur firefox, et on m’a renvoyé une « Internal Server Error » :sweat_smile:
J’ai réessayé en désactivant tous mes bloqueurs pas mieux. Donc je suis passé sur Chromium, et là ça a marché. en revanche, après l’upload, pas moyen de récupérer la photo floutée (cf capture).
Si je clique sur le nom du fichier il me propose juste d’envoyer un nouveau fichier. J’ai mal compris quelque chose ?

a force on va te monter une centrale PV

J’ai pondu ce « front » en 10mn ce matin avant de partir au boulot… donc oui c’est pas bien sec.

Oh pas de souci, c’est super - c’était juste le retour « utilisateur pas doué essaye de voir s’il arrive à s’en servir :grin: » ! De toute façon, l’essentiel c’est que derrière l’API fonctionne.
J’ai hâte de voir ce que ça donnera quand toutes les pièces du puzzle seront mises bout à bout.

Testé sous Firefox avec une photo contenant visages et plaque d’immatriculation : résultat parfait ! :+1:

1 Like