IAGOV

Le contexte : Pourquoi l'IA Locale est impérative

Pour les administrations et les OIV (Opérateurs d'Importance Vitale), l'usage de ChatGPT est un cauchemar de conformité. Le Cloud Act américain permet potentiellement l'accès aux données transitant par les serveurs d'OpenAI.

La solution ? L'inférence locale. Grâce aux modèles ouverts comme Mistral (français) ou Llama 3, nous pouvons atteindre des performances similaires à GPT-3.5 sans qu'un seul octet ne quitte votre réseau.

Note de l'expert : Ce tutoriel utilise la version "Quantized" (4-bit) de Mistral pour tourner sur des GPU abordables (type Nvidia T4 ou même CPU performant), tout en gardant 95% de la précision.

Étape 1 : L'infrastructure Docker

Nous utilisons Ollama, qui est aujourd'hui le standard pour servir des LLM en production légère. Assurez-vous d'avoir Docker et les drivers Nvidia Container Toolkit installés.

# Lancer le conteneur Ollama avec support GPU
docker run -d --gpus=all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name iagov-llm \
  ollama/ollama

Étape 2 : Téléchargement du Modèle

Une fois le conteneur actif, nous allons "pull" (télécharger) le modèle Mistral. C'est un fichier d'environ 4.1 Go.

docker exec -it iagov-llm ollama run mistral

Une invite de commande apparaît. Vous pouvez déjà chatter avec l'IA. Elle tourne 100% sur votre machine.

Étape 3 : Interrogation via API (Python)

Pour intégrer cette IA dans vos logiciels métiers (Intranet, GED), Ollama expose une API REST standard. Voici comment l'interroger en Python :

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "mistral",
    "prompt": "Résume cette note de service administrative : ...",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()['response'])

Sécurité & Industrialisation

Ce déploiement est fonctionnel mais nécessite une sécurisation pour la production :

Isoler le serveur dans un VLAN sans accès internet sortant (Air-gapped).
Mettre en place un Reverse Proxy (Nginx) pour gérer l'authentification.
Utiliser une base vectorielle (ChromaDB) pour le RAG (Retrieval Augmented Generation).

C'est précisément sur cette couche d'industrialisation que nous intervenons.