Aller au contenu
14 août 2026·8 min de lecture

Que faut-il vraiment aux modèles isolés ?

Les modèles isolés exigent du matériel maîtrisé, des poids vérifiés, une voie de mise à jour prévue et un bilan honnête face à l'inférence hébergée.

Que faut-il vraiment aux modèles isolés ?

Les modèles isolés exigent bien plus qu'un serveur GPU dont on a débranché le câble réseau. Une définition utile décrit un système dont les données d'inférence, les artefacts du modèle, la voie d'administration, les journaux et les mises à jour ne peuvent franchir la limite de sécurité que par une procédure de transfert explicite et inspectée. Si un ingénieur peut rétablir Internet pour installer un paquet, ou si un contrôleur de gestion contacte encore le cloud d'un fournisseur, le dispositif comporte une brèche au sens courant. Il ne possède pas d'isolement physique au sens de la sécurité.

Cette différence change l'achat. Vous assumez la capacité matérielle, la garde des modèles, les dépendances logicielles, les identités, l'observation, la reprise après panne et chaque future mise à jour. Vous acceptez aussi que certaines fonctions hébergées ne puissent jamais entrer, quel que soit le budget, car le fournisseur ne distribue pas les poids. Ce choix peut convenir au code source, aux dossiers de production, aux données soumises au contrôle des exportations ou aux traitements réglementés, à condition de définir le modèle d'exploitation avant l'arrivée des serveurs.

Un isolement physique est une frontière de flux gouvernée

Une machine n'est isolée que si chaque voie franchissant sa frontière est absente ou traitée comme un transfert contrôlé. Les équipes examinent souvent le réseau applicatif et oublient le contrôleur de gestion de la carte mère, l'administration de l'hyperviseur, la réplication du stockage, le DNS, l'heure, les exportateurs de télémétrie, les contrôles de licence, les rapports d'incident et l'ordinateur portable utilisé des deux côtés. Chacun peut transformer un environnement prétendument fermé en environnement partiellement connecté.

Commencez par quatre flux: données d'entrée, données de sortie, fourniture logicielle et administration. Dessinez chaque source et chaque destination. Notez le protocole, l'identité, la personne qui peut autoriser le passage et la preuve conservée. Un schéma marqué « cluster hors ligne » n'apprend presque rien à un auditeur. Un inventaire indiquant « le paquet de version signé entre par la station T1 après l'accord de deux personnes » décrit un contrôle que les ingénieurs peuvent construire et tester.

Plusieurs niveaux d'isolement sont défendables. Les appeler tous « air gap » conduit à de mauvaises décisions. Un sous-réseau privé sans trafic sortant dépend encore de routeurs connectés, de plans de contrôle cloud et de services d'identité. Un environnement déconnecté peut accepter des imports planifiés par une passerelle surveillée. Un isolement physique n'a aucune voie réseau active et déplace les artefacts approuvés sur des supports contrôlés ou par un mécanisme unidirectionnel dédié. Choisissez le niveau selon le modèle de menace, puis utilisez son vrai nom dans les contrats et les revues d'architecture.

NIST SP 800-53 sépare la protection des supports, leur transport, la protection des frontières, la gestion de configuration et l'audit. Cette séparation est utile. Supprimer une route ne dit pas qui peut transporter une mise à jour, comment le support est analysé, si le côté receveur la vérifie ni comment les administrateurs prouvent le changement. Un environnement isolé a besoin de tous ces contrôles ensemble.

Testez l'affirmation au lieu de croire le schéma. Inventoriez interfaces réseau et radios, suivez les ports des commutateurs, inspectez les contrôleurs de gestion, tentez des requêtes DNS et des connexions sortantes depuis chaque espace de travail, puis vérifiez la destination des journaux. Recommencez après la maintenance, car un accès temporaire de diagnostic devient facilement une infrastructure permanente.

Le modèle de menace décide de ce qui reste dedans

La frontière doit contenir les actifs et les opérations dont vous refusez la divulgation ou la dépendance externe. Pourtant, beaucoup d'installations gardent l'inférence à l'intérieur tout en préparant les prompts dans un service connecté, en copiant les résultats dans un outil de tickets hébergé ou en exportant des traces contenant du code source. Le GPU a travaillé localement, mais pas le traitement complet.

Séparez trois plans. Le plan de données transporte prompts, documents récupérés, réponses du modèle, représentations vectorielles et résultats d'outils. Le plan de contrôle gère l'identité, l'ordonnancement, les règles, les secrets, les journaux et l'administration. Le plan de fourniture apporte poids, conteneurs, paquets du système, pilotes, micrologiciels et avis de sécurité. Fermer uniquement le plan de données laisse deux grandes voies d'attaque ou de fuite.

Rédigez un modèle de menace avec des adversaires et des pannes nommés. Une équipe chargée de dossiers réglementés peut surtout craindre une divulgation accidentelle et exiger une garde démontrable. Un programme de défense peut aussi supposer une attaque compétente de la chaîne logistique. Une usine peut privilégier la continuité quand les liaisons externes tombent. Ces besoins produisent des règles de transfert, une redondance et une profondeur de contrôle différentes. « La sécurité l'exige » ne suffit pas pour choisir le matériel ou approuver une exception.

Décidez quelles sorties peuvent partir. Un arbre de code transformé peut conserver des commentaires, des identifiants, des noms de clients et une logique présents dans l'entrée. Une réponse du modèle n'est pas assainie par le seul fait d'être nouvelle. Si des résultats franchissent la limite, traitez ce passage comme un export, avec contrôle du contenu, approbateur, destination et trace. La règle vaut aussi pour les paquets de support: les traces d'appels et les captures de prompts contiennent souvent ce que l'isolement devait protéger.

La question gênante concerne les personnes qui contournent le dispositif. Si les opérateurs photographient les erreurs avec leur téléphone, recopient des commandes depuis un chat connecté ou déplacent des clés USB quelconques entre les zones, la frontière réseau ne fait que déplacer la fuite. Fournissez une copie interne de la documentation, des procédures interrogeables, des supports approuvés et une assistance qui fonctionne sous pression. Les contrôles qui empêchent toute reprise seront contournés à la première panne sérieuse.

Le matériel se dimensionne sur le travail, pas sur la fiche du modèle

Dimensionnez le cluster d'inférence isolé avec des requêtes, une concurrence, une longueur de contexte, une latence et une disponibilité mesurées. Choisissez ensuite le modèle et la précision qui conviennent. Avoir assez de mémoire GPU pour charger les poids prouve seulement qu'un processus peut démarrer. La production demande aussi de la place pour le cache clé-valeur, les activations, les espaces de travail, les contextes d'exécution simultanés et la couche de service.

Une première estimation des poids reste simple:

weight_bytes ~= parameter_count * bits_per_weight / 8
required_vram = weights + kv_cache + activations + runtime_workspace + safety_margin

La première ligne donne une borne basse, pas un devis. Les formats quantifiés ajoutent des échelles et des métadonnées. Certaines architectures n'activent qu'une partie des paramètres par jeton, tout en gardant parfois tous les experts en mémoire. La documentation TensorRT de NVIDIA indique qu'un moteur sérialisé approche la mémoire des poids, tandis que les contextes ajoutent de la mémoire persistante et d'exécution. Elle conseille aussi de mesurer la mémoire libre et de fixer les espaces de travail. C'est plus fiable que de multiplier les paramètres et d'acheter le GPU immédiatement supérieur.

Mesurez la vraie version du serveur sur le matériel exact. Utilisez des longueurs d'entrée et de sortie représentatives, y compris les requêtes longues qui dominent le cache. Relevez le délai du premier jeton, le débit, l'attente en file, le pic de mémoire GPU, la RAM, les lectures au démarrage et la reprise après la panne d'un processus. Envoyez assez de requêtes simultanées pour révéler l'ordonnancement. Un prompt interactif unique cache le problème de capacité.

La RAM et le stockage comptent aussi. Il faut parfois conserver les poids actuels et précédents, une copie décompressée, les couches de conteneurs, les caches de moteur, les jeux d'évaluation et les journaux d'audit. Si un retour arrière oblige à supprimer le seul modèle connu comme bon, le stockage était insuffisant. Un stockage local rapide accélère les redémarrages. Un stockage partagé lent peut faire revenir tous les nœuds ensemble, puis les bloquer sur le même goulot.

L'exécution sur plusieurs GPU résout un problème de taille ou de latence, mais ajoute des communications et une zone de panne. NVIDIA précise que le partage de l'exécution réduit la pression mémoire par appareil au prix de communications entre GPU. Validez la topologie, les liaisons directes et les bibliothèques collectives avec les versions de pilotes et de micrologiciels prévues. Deux GPU sur une nomenclature ne garantissent pas un parallélisme utile.

La disponibilité multiplie le besoin. Si la maintenance ou une panne matérielle ne doit pas arrêter l'inférence, gardez assez de capacité pour absorber la plus grande panne admise tout en tenant la latence. Cela peut demander un nœud de réserve, de la marge GPU répartie, des registres internes redondants et des pièces sur place. Un fournisseur hébergé dissimule une part de cette réserve dans son tarif. À l'intérieur, elle vous appartient.

Les essais de capacité doivent couvrir l'alimentation et la température, pas seulement le débit logiciel. Un nœud dense peut réussir un test court puis ralentir sous une charge durable parce que la baie évacue mal la chaleur ou qu'une alimentation ne supporte pas tous les appareils à pleine charge. Enregistrez fréquences, températures, erreurs matérielles corrigées et consommation pendant un essai prolongé. Demandez ce qui arrive si une alimentation ou un groupe froid tombe, puis refaites le calcul dans cet état dégradé.

Qualifiez une base matérielle et logicielle complète: micrologiciels du serveur, du contrôleur et du GPU, pilote, environnement d'exécution, noyau, image de conteneur et moteur d'inférence. Un moteur optimisé peut viser une génération de GPU ou une combinaison logicielle précise. Importer un moteur précompilé sans reproduire sa cible peut provoquer une panne de démarrage dans la zone. Gardez le procédé de compilation à l'intérieur ou ne promouvez le moteur qu'après exécution sur la classe de matériel de production.

Ne supposez pas que l'inférence CPU offre un secours utile. Elle peut maintenir un petit modèle, mais la latence et la bande passante mémoire peuvent faire manquer tous les objectifs au traitement principal. Mesurez-la et nommez-la correctement: service dégradé, reprise par lots seulement ou aucun secours. Soyez aussi précis pour un parc d'accélérateurs mixtes. Des appareils différents peuvent demander des moteurs différents et compliquer l'ordonnancement ainsi que la réserve.

Réservez enfin une voie de qualification. Si tous les GPU portent la production, chaque mise à jour de pilote, d'environnement ou de poids doit être testée sur un matériel différent ou dans le parc actif. Un petit nœud représentatif peut valider les imports, reconstruire les moteurs, lancer l'évaluation et révéler les incompatibilités avant promotion. Il coûte de la capacité, mais découvrir après un correctif urgent que l'unique image de compilation interne manque d'une dépendance en coûte aussi.

Les poids exigent garde, licences et identité reproductible

Les poids sont des entrées exécutables avec des conditions juridiques, des conséquences de sécurité et une identité exacte. Les traiter comme un gros fichier copié depuis un poste fait perdre les informations nécessaires pour reproduire ou enquêter sur un déploiement. Le dossier de version doit lier les fichiers de poids à la configuration, au tokenizer, à l'environnement d'inférence, aux adaptateurs, aux images, aux licences et au résultat d'évaluation.

Utilisez des empreintes immuables, pas des noms changeants comme latest ou une simple étiquette. L'Open Container Initiative Image Specification impose aux descripteurs une empreinte de contenu et une taille, puis recommande de vérifier les octets reçus avant usage. Le principe vaut aussi pour des poids transportés comme fichiers ordinaires. Un manifeste signé doit lister chaque artefact avec son SHA-256, sa taille, sa source, la licence examinée et le dossier d'approbation.

Un paquet minimal se contrôle avec des outils présents dans presque tout environnement de compilation maîtrisé:

$ sha256sum -c SHA256SUMS
weights/model-00001-of-00004.safetensors: OK
weights/model-00002-of-00004.safetensors: OK
weights/model-00003-of-00004.safetensors: OK
weights/model-00004-of-00004.safetensors: OK
config/tokenizer.json: OK
images/inference-server.oci.tar: OK

$ sha256sum SHA256SUMS
4b7f...a921  SHA256SUMS

L'empreinte abrégée montre la forme de sortie, pas une valeur à copier. En production, enregistrez la somme complète, vérifiez la signature du manifeste avec une clé publique déjà approuvée à l'intérieur, puis recalculez chaque fichier après transfert. Une somme ne protège l'intégrité que si la valeur attendue arrive par une voie fiable et authentifiée. Une charge malveillante et sa somme correspondante sur le même disque non contrôlé ne prouvent rien.

Conservez le paquet d'origine après promotion. Si une sortie change, vous devez distinguer une révision des poids, un changement de tokenizer, une reconstruction de l'environnement, un pilote, la configuration d'échantillonnage ou le code applicatif. Versionnez toute l'unité d'inférence et faites du retour arrière une opération ordinaire. Ne reconstruisez jamais une ancienne version depuis des dépendances mouvantes pendant un incident.

La licence peut bloquer un déploiement même quand les fichiers sont téléchargeables. Vérifiez les droits d'exécuter, modifier, redistribuer en interne, créer des dérivés et employer les sorties dans le but prévu. Notez les conditions d'usage qui touchent le traitement. Un modèle couramment qualifié d'open source peut utiliser une licence qui ne répond pas à la définition de votre organisation. L'accord de sécurité ne remplace donc pas l'examen juridique.

La voie de mise à jour fait partie de la production

Réécrivez tout le code
La plateforme lit en parallèle chaque langage de l'arbre dans l'environnement fermé.

Un environnement isolé a besoin d'une chaîne d'importation conçue, car les modèles dépendent d'une pile qui évolue. Pilotes, micrologiciels, environnements, images de base, paquets Python ou système, poids, fichiers du tokenizer, avis de sécurité et données de révocation vieillissent. Tout figer évite le transfert aujourd'hui, mais accumule les défauts et rend le futur saut plus difficile à tester.

Utilisez deux zones de préparation. Une zone connectée acquiert les artefacts épinglés et enregistre leur provenance. Une station de transfert analyse, vérifie, inventorie et assemble la version sans détenir de secrets de production. La zone de réception vérifie encore le manifeste signé, importe dans les dépôts internes, exécute les tests d'acceptation et promeut par empreinte immuable. La production ne doit jamais tirer directement depuis le support de transfert.

La documentation Red Hat des environnements OpenShift déconnectés traite la mise en miroir et les mises à jour hors ligne comme des opérations continues, pas comme des astuces d'installation. C'est le bon modèle ailleurs aussi. Mettez en miroir les dépôts consommés, gardez les métadonnées de version et exercez mises à niveau et retours sans infrastructure publique. Si un gestionnaire de paquets tente silencieusement un index externe pendant une reconstruction, le paquet de transfert est incomplet.

Fixez des rythmes différents pour les changements ordinaires et urgents. Les versions normales peuvent regrouper modèle, environnement et système après évaluation. Une faille activement exploitée dans un pilote ou une bibliothèque peut demander un paquet d'urgence étroit. Décidez qui peut déclarer cette voie, quels tests peuvent être raccourcis, comment le risque est accepté et quand la suite complète est reprise. Sinon, chaque correctif urgent déclenche un débat improvisé.

Pour les réécritures de systèmes anciens en environnement réglementé, CodeHero fournit les modèles et peut les exécuter de façon isolée dans le périmètre du client, sur son matériel ou sur du matériel que CodeHero lui loue. Le client et l'équipe doivent encore convenir de l'autorité de transfert, de l'accès physique, des journaux, du contrôle des exports et du sort final des poids et du matériel.

Planifiez le retrait avec autant de soin que l'import. Poids périmés, disques en panne, supports, archives de journaux et matériel loué peuvent contenir des données protégées ou des actifs du modèle. Définissez les preuves d'effacement et de destruction avant le déclassement. Un périmètre fermé sans sortie documentée ne fait que reporter le problème de garde.

L'exploitation hors ligne a besoin de ses propres dépendances

Le cluster doit continuer quand toutes les commodités publiques sont absentes. Cela comprend identité, heure, résolution de noms, certificats, dépôts de paquets, surveillance, alertes, documentation, sauvegardes et outils d'assistance. Un serveur de modèle qui tourne alors que les utilisateurs ne peuvent pas s'authentifier n'est pas disponible.

L'identité est souvent la première dépendance cachée. Si l'organisation utilise un fournisseur d'identité cloud, choisissez pour la zone un annuaire indépendant, un sous-ensemble répliqué par un mécanisme contrôlé ou des comptes locaux. Planifiez création, désactivation et revue. La durée d'un cache ne remplace pas une architecture d'identité, surtout si un administrateur parti garde accès jusqu'à l'expiration d'un jeton hors ligne.

L'heure et les certificats échouent plus discrètement. Exploitez une source de temps interne et documentez sa synchronisation ainsi que ses contrôles de dérive. Exploitez une autorité de certification interne ou importez les certificats par un renouvellement lancé bien avant l'échéance. Testez la réaction de la passerelle, du registre, de la surveillance et de l'automatisation à un certificat expiré. Changer l'horloge en urgence peut invalider journaux et signatures, ce n'est pas une réparation normale.

Les données d'observation restent dedans sauf export approuvé. Collectez identifiants de requête, latence, profondeur de file, jetons, pression mémoire, erreurs matérielles, version du modèle, décisions de règles et actions des opérateurs. Évitez de journaliser prompts et sorties complets par défaut. Si une capture est nécessaire au diagnostic ou aux tests de parité, limitez-la par rôle, durée et dossier, car le journal peut concentrer une copie du traitement protégé.

Créez une source interne faisant autorité pour les procédures et problèmes connus. Le support du fournisseur peut demander des diagnostics qui ne peuvent sortir. Convenez à l'avance si son personnel peut entrer, si un paquet nettoyé peut partir et quelles commandes le client exécutera. Simulez panne de GPU, paquet corrompu, registre indisponible, certificat expiré et retour arrière. L'isolement gagne la confiance pendant la reprise, pas pendant la présentation.

Les sauvegardes exigent des tests de restauration indépendants. Conservez configuration, manifestes, métadonnées des dépôts, règles et données applicatives persistantes. Ne supposez pas que les poids doivent être sauvegardés au même endroit si les paquets signés forment déjà une source récupérable. Restaurez dans un segment propre et prouvez qu'aucun téléchargement externe n'est nécessaire.

Les modèles fermés imposent un plafond de capacité

Vérifiez le comportement avant livraison
Un banc de parité compare la réécriture au trafic de production enregistré.

Vous ne pouvez pas auto-héberger un modèle dont le fournisseur ne publie ni les poids ni une licence utilisable. C'est le compromis le plus net face à l'inférence hébergée, et les achats ne peuvent négocier des fichiers absents. Un modèle distribuable plus petit peut suffire à la classification, l'extraction, la transformation de code ou la recherche documentaire. Il n'égale pas forcément le meilleur modèle hébergé pour le raisonnement général ou les langues rares.

Les services hébergés rassemblent aussi un travail technique que l'installation fermée doit reproduire: noyaux optimisés, regroupement des requêtes, adaptation de capacité, routage des modèles, contrôles d'abus, outils, préparation multimodale, sorties structurées et mises à jour fréquentes. Certaines fonctions se reconstruisent. D'autres dépendent de modèles propriétaires ou de systèmes du fournisseur et disparaissent. Listez chaque fonction requise et testez-la, au lieu d'accepter qu'un modèle local soit « identique ».

La longueur de contexte annoncée ne prouve pas une bonne performance à cette longueur. Les longs contextes consomment le cache, réduisent la concurrence et peuvent dégrader le résultat même si la requête tient. Testez les vrais documents et la vraie forme du code. Pour un dépôt d'un million de lignes, la question n'est pas de faire tenir tout le texte dans un prompt. Le système doit analyser l'arbre entier, conserver les relations et vérifier les changements contre le comportement observé.

Les mises à jour arrivent plus lentement par choix. Un point d'accès hébergé peut changer derrière une API stable, en bien ou en mal. À l'intérieur, chaque poids ou environnement passe par acquisition, revue, transfert, évaluation et promotion. Ce délai achète contrôle et reproductibilité, mais les nouvelles fonctions et corrections n'arrivent pas immédiatement. Fixez le délai acceptable pour les améliorations et les failles qui déclenchent l'urgence.

Les outils externes tracent une autre limite. Recherche web, dépôts de code hébergés, tickets SaaS, métadonnées publiques de paquets et recherche gérée sont indisponibles sans miroir ou passerelle approuvée. Un processus fondé sur des appels en direct perd des fonctions en entrant. Remplacez chaque dépendance par des données et API internes, ou dites clairement que la fonction n'existera pas.

L'évaluation de qualité doit correspondre à la tâche. Gardez à l'intérieur un jeu versionné d'entrées représentatives, d'invariants attendus, de divulgations interdites, de limites de latence et de règles de notation humaine. Comparez chaque candidat au modèle en place avant promotion. Les bancs d'essai publics aident à présélectionner, mais ne disent pas si une réécriture conserve la clôture mensuelle ou si une extraction gère vos pires formulaires.

Les coûts hébergés et isolés obéissent à des logiques différentes

Contenez le code réglementé
Les modèles fournis tournent isolés sur du matériel situé chez le client.

L'inférence hébergée transforme une grande part de la plateforme en dépense variable, tandis que l'installation isolée concentre les coûts dans la capacité réservée et l'exploitation. Comparer le prix d'un jeton au prix d'un GPU oublie l'essentiel des deux côtés. Modélisez un service répondant aux mêmes exigences de disponibilité, latence, contexte, sécurité et support.

Côté fermé, comptez nœuds GPU, CPU, RAM, stockage rapide, réseau interne, baie, électricité, refroidissement, réserve, pièces, équipement de transfert, registres, surveillance, sauvegarde et temps des équipes. Ajoutez le délai d'achat et la capacité inutilisée gardée pour un pic ou une panne. Si développement, test et production exigent des zones distinctes, comptez-les toutes. Du matériel loué pour le projet reste une capacité dédiée, pas une facturation hébergée au jeton.

Côté hébergé, comptez entrées et sorties, règles de cache, débit réservé, conservation des données, connexion privée, passerelles, journaux, trafic d'évaluation, nouvelles tentatives et travail lié aux changements de modèle. Ajoutez la suppression ou la réduction des données si le brut ne peut sortir. Un service bon marché que le juridique ou la sécurité refuse n'a pas d'économie utile.

Une comparaison simple révèle les hypothèses:

closed_annual_cost = annualized_hardware + facilities + licenses + operations + transfer_and_assurance
hosted_annual_cost = request_volume * blended_request_cost + connectivity + operations + assurance
cost_per_success = total_cost / accepted_task_outputs

La dernière ligne compte le plus. Les jetons par seconde et le coût par jeton peuvent récompenser un système rapide dont le travail est refusé. Définissez une sortie acceptée, par exemple une transformation qui passe les tests de parité ou une extraction au-dessus du seuil de revue, puis mesurez reprises et corrections humaines. Utilisez des fourchettes pour utilisation, croissance, durée de vie du matériel et effectifs au lieu d'une prévision faussement exacte.

L'isolement devient souvent économique avec une charge stable, du matériel occupé, un modèle distribuable efficace et une contrainte de données imposant déjà le local. L'hébergement gagne souvent avec une demande irrégulière, une capacité propriétaire qui change le résultat, un besoin mondial ou l'absence d'équipe pour les accélérateurs. Un modèle hybride peut envoyer dehors le travail peu sensible approuvé, mais exige une classification fiable et doit refuser l'envoi quand la sensibilité reste inconnue.

L'approbation doit suivre les preuves, pas l'étiquette

Approuvez le déploiement si l'équipe peut démontrer la frontière, reproduire l'unité d'inférence, exploiter toutes les dépendances hors ligne, mettre à jour et revenir en arrière par une voie testée, puis prouver que le modèle réussit la tâche. Refusez une proposition limitée à un GPU déconnecté et à la promesse de traiter les mises à jour plus tard. C'est une expérience, pas une production.

Demandez des éléments inspectables: inventaire des flux, modèle de menace, mesure matérielle, calcul de capacité, manifeste signé, licence, rapport d'évaluation, procédure de reprise, journal des transferts, traitement des failles et plan de retrait. Observez ensuite un import et un retour arrière. Les contrôles sur papier échouent souvent au passage entre l'équipe d'acquisition connectée et les opérateurs internes.

Examinez les pannes avant l'achat. Que se passe-t-il si un GPU meurt, un administrateur perd l'accès, le registre est corrompu, un certificat expire, le modèle régresse ou une grave faille d'exécution est annoncée? Nommez le délai de reprise tolérable et les personnes autorisées. Si la réponse exige de reconnecter le cluster, budgétez et approuvez cette exception maintenant, ou modifiez la dépendance.

N'exigez pas l'isolement comme symbole. Si une inférence hébergée privée avec contrôles contractuels répond à la menace, elle peut fournir de meilleurs modèles avec moins de risque opérationnel. Si le code, les dossiers ou la politique ne peuvent franchir la frontière, acceptez le coût des fonctions et des équipes au lieu de le cacher. CodeHero termine chaque réécriture de système ancien en moins de 30 jours, donc le périmètre, le matériel et les transferts doivent être décidés assez tôt.

Le test décisif est opérationnel: coupez chaque voie externe, introduisez une mise à jour signée, exécutez la charge représentative, exportez un résultat approuvé, revenez en arrière et récupérez après la perte d'un nœud. Si l'équipe accomplit cette séquence depuis ses propres dépôts avec une trace complète, l'isolement peut porter la production.

FAQ

Que signifie « isolé » pour un modèle d'IA ?

Le service d'inférence complet ne possède aucune voie active non contrôlée hors de sa limite de sécurité. Prompts, sorties, administration, journaux, poids et mises à jour restent dedans ou passent par une procédure de transfert inspectée.

Un modèle isolé peut-il recevoir des mises à jour ?

Oui. Les équipes importent des paquets signés et épinglés par support contrôlé ou station surveillée, puis les vérifient encore à l'intérieur. Un environnement impossible à mettre à jour accumule les défauts, tandis que des mises à jour improvisées annulent l'isolement.

Bloquer Internet en sortie suffit-il pour isoler le système ?

Non. C'est un contrôle utile, mais les plans de gestion, services d'identité, stockages ou routes de maintenance connectés peuvent encore franchir la limite. Parlez d'environnement restreint ou déconnecté tant que chaque passage n'est pas un transfert contrôlé.

Quelle mémoire GPU faut-il à un modèle sur site ?

La taille des poids n'est que le départ. Ajoutez cache clé-valeur, activations, espace de travail, contextes simultanés et marge mesurée, puis testez les vrais contextes et la concurrence sur le matériel cible.

Les modèles quantifiés coûtent-ils toujours moins cher ?

La quantification réduit souvent la mémoire des poids et peut augmenter le débit. Les noyaux, le matériel, le cache et la qualité sur la tâche décident du résultat. Testez la version exacte plutôt que d'acheter selon le nombre nominal de bits.

Le meilleur modèle hébergé peut-il tourner dans un périmètre fermé ?

Seulement si le fournisseur distribue les poids sous des conditions utilisables. Beaucoup de modèles propriétaires ne s'installent pas localement, donc l'isolement peut réduire les capacités même avec un budget matériel élevé.

Quels fichiers inclure dans une version hors ligne ?

Incluez poids, configuration, tokenizer, images d'exécution et d'application, dépendances, licences, évaluation et manifeste signé des tailles et empreintes. Gardez le précédent paquet connu comme bon pour revenir en arrière sans dépôt externe.

Une inférence isolée garantit-elle la conformité ?

Non. L'isolement peut soutenir les contrôles de lieu et d'accès, mais ce n'est ni une certification ni la satisfaction automatique d'un règlement. L'organisation doit encore gérer identité, audit, conservation, supports, risques et exploitation.

Quand l'inférence hébergée coûte-t-elle moins cher que le matériel isolé ?

L'hébergement gagne souvent pour une demande irrégulière ou quand la qualité propriétaire évite une reprise coûteuse. Comparez le coût par sortie acceptée avec réserve, locaux, personnel, connexions, assurance, reprises et corrections des deux côtés.

Que tester avant d'approuver un déploiement isolé ?

Testez la frontière, un import signé, le démarrage entièrement hors ligne, la charge, l'évaluation, l'export, le retour arrière, l'expiration d'un certificat, la reprise du registre et la perte d'un nœud. Exigez les preuves de l'exercice, pas seulement un schéma.