NVIDIA a publié en open source le projet Personal AI Router (PAIR), une solution qui permet de regrouper plusieurs ordinateurs d’un réseau local pour répartir entre eux des requêtes indépendantes d’inférence en intelligence artificielle. On peut la comparer à un « Kubernetes pour l’IA domestique », ce qui aide à comprendre l’idée, même si une limite importante existe : PAIR ne combine pas la mémoire des GPU, ne divise pas un modèle entre plusieurs machines et ne transforme pas plusieurs cartes graphiques en une seule GPU virtuelle.
Les principaux points de NVIDIA PAIR en 30 secondes
- PAIR répartit les requêtes d’inférence indépendantes entre plusieurs ordinateurs connectés au même réseau local.
- Le projet est open source sous licence Apache 2.0, avec des installeurs pour Windows, Linux et macOS.
- Il propose des endpoints compatibles avec Ollama et OpenAI, permettant d’éviter des modifications majeures aux applications existantes.
- Chaque requête est entièrement traitée sur un seul nœud ; PAIR ne fusionne pas la VRAM ni ne répartit un modèle entre plusieurs machines.
- Son planificateur actuel présente des limites avec du matériel très hétérogène, un axe que NVIDIA souhaite améliorer.
Le dépôt officiel de NVIDIA est apparu publiquement fin août, proposant déjà des versions empaquetées. La branche de versions montre PAIR 0.1.x, ce qui indique qu’il s’agit encore d’un projet émergent. Cependant, cette approche répond à un problème devenu fréquent chez les développeurs : disposer de plusieurs ordinateurs capables d’exécuter de l’IA, mais gérer ces ressources comme entièrement indépendantes.
Un PC peut avoir une GPU dédiée. Un autre peut disposer de beaucoup de mémoire. Un portable peut rester inactif une partie de la journée. Un Mac peut exécuter un autre modèle.
PAIR cherche à ajouter une couche commune devant ces machines.
Comment fonctionne PAIR et pourquoi il ne fusionne pas les GPU
L’architecture est bien plus simple qu’elle ne pourrait le laisser penser en la comparant à Kubernetes.
Chaque ordinateur où est installé PAIR devient un nœud. Plusieurs nœuds reliés forment un cluster et peuvent utiliser Windows 11, Linux ou macOS, ainsi que des architectures x64 ou arm64. Windows sur ARM est encore expérimental.
Il n’existe pas de contrôleur central permanent. La documentation de NVIDIA précise que chaque nœud exécute le même logiciel.
PAIR détecte les machines disponibles sur le réseau local, vérifie quels moteurs et modèles sont configurés, et présente au logiciel client un endpoint local. Son fonctionnement concerne principalement des moteurs comme Ollama et LM Studio, la documentation évoquant aussi une intégration limitée avec llama.cpp.
Une application peut envoyer une requête compatible avec l’API d’OpenAI :
curl http://127.0.0.1:11434/v1/chat/completions
-H "Content-Type: application/json"
-d '{"model":"qwen4:12b","messages":[{"role":"user","content":"Bonjour"}]}'L’application n’a pas à décider quel ordinateur traitera l’inférence.
PAIR réceptionne la requête, identifie les nœuds disponibles pour y répondre, en sélectionne un et y transfère le travail. La réponse revient ensuite via le proxy.
En schématisant :
Agent / application
↓
point de terminaison PAIR
↓
┌─────┼─────┐
↓ ↓ ↓
Nœud A Nœud B Nœud C
GPU A GPU B GPU CC’est là la différence essentielle : il ne faut pas voir PAIR comme une GPU distribuée.
Une requête complète est attribuée à un seul nœud.
Si cinq agents effectuent simultanément cinq inférences, PAIR peut répartir ces travaux entre différentes machines. En revanche, si l’on cherche à charger un modèle nécessitant 100 Go de mémoire, et qu’aucune machine ne dispose seule d’une telle capacité, avoir quatre machines avec 32 Go ne crée pas automatiquement une capacité combinée de 128 Go.
La documentation NVIDIA est explicite : PAIR ne fusionne pas les GPU, n’additionne pas la mémoire, ne fait pas de sharding d’un modèle entre plusieurs machines et ne divise pas une inférence déjà en cours.
Son intérêt principal réside donc dans le traitement de charges concurrentes.
Un environnement avec plusieurs agents IA est un bon exemple. Plutôt que de faire attendre cinq sous-agents pour utiliser une même GPU, différentes requêtes peuvent s’exécuter simultanément sur plusieurs ordinateurs.
Un ordonnanceur pour l’IA locale encore perfectible
L’aspect le plus intéressant d’un point de vue technique porte sur la façon dont PAIR décide où envoyer chaque requête.
Un nœud ne devient candidat que lorsqu’il est accessible, qu’il dispose d’un moteur compatible en fonctionnement, et que le modèle sollicité est disponible.
Ensuite, c’est le rôle du planificateur.
La documentation indique que l’ordonnanceur s’appuie principalement sur le travail en attente et sur une métrique d’utilisation de GPU lissée. De plus, les proxies comptabilisent les demandes envoyées récemment pour éviter qu’un afflux de requêtes ne se concentre sur une seule machine avant que les indicateurs ne reflètent la charge réelle.
C’est une première approche, mais NVIDIA admet également ses limites importantes.
Le projet indique notamment que l’algorithme prend actuellement en compte ni le type exact de GPU, ni la mémoire disponible, ni si le modèle est déjà en mémoire (chaleureux ou non), ni le coût estimé d’une requête. Par conséquent, PAIR fonctionne mieux avec des groupes de machines relativement homogènes qu’avec des clusters composés de matériel très différent.
L’entreprise prévoit d’améliorer cette partie dans de futures versions et d’offrir éventuellement différentes politiques de planification, tout en précisant qu’il s’agit d’idées en développement, non de fonctionnalités produit garanties.
Cette limite explique aussi une réaction précoce de la communauté.
Une publication ayant attiré l’attention sur PAIR évoque l’absence de support pour une machine AMD Strix Halo utilisant ROCm 10 et indique que son auteur a chargé un développeur de modifier le projet afin de l’intégrer.
Cette adaptation n’est pas encore partie intégrante du projet officiel NVIDIA et ne peut être considérée comme supportée tant qu’un code fonctionnel n’est pas disponible et validé par les mainteneurs.
Mais cette situation illustre une conséquence directe de la licence Apache License 2.0 qui permet aux développeurs d’étudier le code, de le modifier et de proposer des changements par le biais de pull requests.
La gouvernance officielle de NVIDIA établit précisément ce processus. Les mainteneurs examinent les contributions et décident celles qui seront intégrées au projet.
IA locale, réseau local et compatibilité avec les applications existantes
PAIR cherche aussi à réduire la nécessité de modifier les logiciels existants utilisant des modèles locaux.
Il expose des proxies compatibles avec Ollama et proposant des APIs au format OpenAI. Une application peut continuer à envoyer des requêtes vers une adresse locale, pendant que PAIR décide de la machine qui les exécutera.
La documentation précise que la découverte des nœuds utilise mDNS, tandis que l’inventaire des modèles se fait en interrogeant les moteurs appropriés.
L’association des nœuds nécessite un code PIN à six chiffres. Une fois la confiance établie, le trafic entre machines emploie TLS mutuel (mTLS) et seuls les appareils faisant partie du cluster sont acceptés.
NVIDIA souligne cependant que le PIN est une mesure temporaire pour établir la confiance initiale, et ne constitue pas une identité de haute sécurité. Il recommande de réaliser le pairing uniquement avec des machines et réseaux jugés sûrs.
La confidentialité des données locales mérite également une nuance.
PAIR est conçu pour que les requêtes et réponses restent sur le réseau local quand tous les composants sont eux aussi locaux. Cela inclut client, modèles, moteurs et nœuds. Installer PAIR ne transforme pas automatiquement tout service externe en local simplement parce qu’une application peut y accéder.
Ce modèle peut séduire pour des laboratoires domestiques, des développeurs, de petites stations de travail distribuées ou des environnements où plusieurs agents disposent de ressources d’inférence partagées.
Il modifie aussi la perception du matériel dédié à l’IA personnelle.
Jusqu’à présent, la solution habituelle pour augmenter la capacité consistait à acheter une GPU plus puissante ou à déporter la charge vers une infrastructure cloud. PAIR propose une troisième voie, adaptée à certains cas : tirer parti d’un parc de machines déjà existant.
Il ne remplace pas l’entraînement distribué, le tensor parallelism ni les technologies permettant de fragmenter de gigantesques modèles entre accélérateurs. Il ne transforme pas trois ordinateurs modestes en une station IA de grande envergure.
Son objectif est plus ciblé : lorsqu’il y a plusieurs inférences indépendantes et plusieurs machines capables de les exécuter, éviter que toutes attendent derrière le même goulot.
Pour les développeurs débutant dans la gestion multi-agent, cette distinction pourrait bien être la partie la plus intéressante de PAIR.
Questions fréquentes
Qu’est-ce que NVIDIA Personal AI Router ?
PAIR est un projet open source qui distribue des requêtes d’inférence indépendantes entre ordinateurs compatibles reliés à un même réseau local. Les applications peuvent y accéder via des endpoints compatibles avec Ollama et OpenAI.
PAIR additionne-t-il la mémoire de plusieurs GPU ?
Non. Chaque requête se traite dans un seul nœud. PAIR n’additionne pas la VRAM, ne crée pas une GPU logique agrandie et ne dievite pas un modèle entre plusieurs ordinateurs.
PAIR fonctionne-t-il sous Windows, Linux et macOS ?
Oui. NVIDIA supporte Windows 11, Linux et macOS, avec architectures x64 et arm64. La compatibilité pour l’inférence dépend aussi du moteur, de la GPU, de ses pilotes et du modèle utilisé.
PAIR supporte-t-il AMD ROCm ?
PAIR peut fonctionner sur différents systèmes, mais cela ne signifie pas que toutes les GPU ou moteurs d’inférence sont compatibles. L’adaptation pour AMD Strix Halo et ROCm 10 provient d’un développeur externe et n’est pas pour l’instant supportée officiellement par le projet.