Introduction : Une IA dans votre poche

Imaginez avoir votre propre ChatGPT, complètement gratuit, qui fonctionne sans connexion internet, et que vous pouvez utiliser sur n'importe quel ordinateur en branchant simplement une clé USB. Ça semble trop beau pour être vrai ? C'est pourtant exactement ce que je vais vous montrer dans ce tutoriel.

Après 2 jours de développement intensif, j'ai créé Portable AI Hub v2.0 — un système complet d'intelligence artificielle qui tient sur une clé USB de 64GB et fonctionne sur Windows, Linux et Mac.

Pourquoi créer une IA portable ?

Les services d'IA en ligne comme ChatGPT, Claude ou Gemini sont excellents, mais ils ont leurs limites :

Avec une IA locale sur clé USB, vous avez :

Ce dont vous avez besoin

Matériel requis

• Clé USB : 64GB minimum (32GB peut suffire)
• Ordinateur avec :
  • CPU moderne (Intel i5 4ème gen+ ou AMD Ryzen avec AVX2)
  • 8GB RAM minimum (16GB recommandé)
  • Windows 10/11 ou Ubuntu 22.04+
• Connexion internet : Uniquement pour l'installation initiale

Logiciels nécessaires

• Python 3.12+ (ou Python Embeddable pour Windows)
• Un éditeur de texte (VS Code, Notepad++, etc.)
• Terminal / PowerShell

Architecture du système

Portable AI Hub utilise :

• Llama 3.2 — Le modèle IA open-source de Meta
• llama-cpp-python — Pour l'inférence CPU optimisée
• Python portable — Pour fonctionner sans installation système
• Détection multi-OS — S'adapte automatiquement à Windows/Linux/Mac

Installation sur Linux (Ubuntu)

Étape 1 : Préparer la clé USB

# Créer la structure de dossiers
mkdir -p /media/$USER/USB/portable-ai/{models,libs}
cd /media/$USER/USB/portable-ai

Étape 2 : Installer les dépendances système

sudo apt update
sudo apt install -y python3 python3-pip build-essential cmake python3-dev ninja-build

Étape 3 : Installer llama-cpp-python

pip3 install llama-cpp-python psutil --target libs

Étape 4 : Télécharger un modèle IA

cd models

# Télécharger Llama 3.2 3B (2GB - recommandé)
wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf

cd ..

Étape 5 : Télécharger le script principal

Créez un fichier ai_launcher_v2.py avec le code fourni dans le dépôt GitHub, ou téléchargez-le directement.

Étape 6 : Lancer l'application

chmod +x launcher.sh
PYTHONPATH=libs python3 ai_launcher_v2.py

Installation sur Windows

Méthode 1 : Avec Python Embeddable (Recommandé)

Cette méthode crée une version 100% portable qui fonctionne sur n'importe quel PC Windows sans installation de Python.

1. Télécharger Python Embeddable

• Aller sur python.org/downloads/windows
• Télécharger "Windows embeddable package (64-bit)" version 3.12.x
• Dézipper dans D:\portable-ai\python-embed\

2. Configurer Python Embeddable

Éditer python312._pth :

python312.zip
.
..\libs-windows

import site

3. Installer pip

cd D:\portable-ai\python-embed
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python.exe get-pip.py

4. Installer llama-cpp-python

python.exe -m pip install llama-cpp-python==0.2.79 psutil \
  --target ..\libs-windows \
  --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

5. Créer le lanceur

Créez START.bat :

@echo off
title Portable AI Hub v2.0
set PYTHONPATH=%~dp0libs-windows
cd /d %~dp0
python-embed\python.exe ai_launcher_v2.py
pause

Méthode 2 : Avec Python système

Si vous avez déjà Python installé :

pip install llama-cpp-python psutil --target libs-windows \
  --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu
python ai_launcher_v2.py

Utilisation du Portable AI Hub

Premier lancement

Au démarrage, vous verrez :

============================================================
[PORTABLE AI HUB v2.0]
============================================================
[INFO] Système: Windows
[INFO] Modèles disponibles: 1

[MENU PRINCIPAL]
1. Lister les modèles
2. Charger un modèle
3. Chatter
4. Configuration
5. Quitter

Charger un modèle

1. Tapez 2 pour charger un modèle
2. Sélectionnez le numéro du modèle
3. Attendez 10-30 secondes pendant le chargement
4. Le modèle est prêt !

Chatter avec l'IA

1. Tapez 3 pour ouvrir le chat
2. Posez vos questions normalement
3. L'IA répond instantanément

Commandes disponibles dans le chat

• /exit — Retour au menu
• /switch — Changer de modèle
• /clear — Effacer la conversation
• /config — Voir la configuration

Modèles recommandés

Tous les modèles sont disponibles sur HuggingFace. Cherchez les versions Q4_K_M.gguf pour un bon équilibre qualité/taille.

Configuration avancée

Optimiser les performances

Dans le menu Configuration (option 4), vous pouvez ajuster :

• Threads CPU : 4 par défaut. Augmentez si vous avez un CPU puissant
• Contexte : 2048 tokens par défaut. Augmentez pour des conversations plus longues
• Température : 0.7 par défaut. Baissez pour plus de cohérence, augmentez pour plus de créativité
• Max tokens : 256 par défaut. Augmentez pour des réponses plus longues

Ajouter plusieurs modèles

Vous pouvez avoir plusieurs modèles sur votre clé USB :

portable-ai/
├── models/
│   ├── Llama-3.2-3B-Instruct-Q4_K_M.gguf
│   ├── Llama-3.1-8B-Instruct-Q4_K_M.gguf
│   ├── Mistral-7B-Instruct-Q4_K_M.gguf
│   └── CodeLlama-7B-Q4_K_M.gguf

Passez de l'un à l'autre avec la commande /switch dans le chat !

Dépannage

Erreur "Shared library not found" (Windows)

Cause : CPU sans support AVX2 ou libs Linux utilisées sur Windows.

• Vérifiez que votre CPU supporte AVX2
• Utilisez libs-windows sur Windows, pas libs
• Installez Visual C++ Redistributables 2015-2022

RAM insuffisante

• Fermez tous les autres programmes
• Utilisez un modèle plus petit (1B au lieu de 3B)
• Réduisez n_ctx dans la configuration

Génération très lente

• Clé USB trop lente → Utilisez USB 3.0+ ou copiez sur le disque dur
• CPU faible → Utilisez un modèle plus petit
• Trop de threads → Réduisez à 2-4 threads

Cas d'usage pratiques

Comparaison avec les services en ligne

Évolutions futures

• 🔄 Interface graphique (GUI) avec Electron ou Tauri
• 🎨 Support de modèles multimodaux (texte + images)
• ⚡ Optimisations GPU (CUDA, Metal, Vulkan)
• 📱 Version Android/iOS
• 🔌 API REST locale pour intégrations
• 💾 Système de mémoire conversationnelle

Ressources et liens utiles

• HuggingFace : huggingface.co — Télécharger des modèles
• llama-cpp-python : Documentation officielle
• Meta Llama : Site officiel

Conclusion

Créer votre propre IA portable sur clé USB est non seulement possible, mais aussi étonnamment simple une fois que vous comprenez les étapes. Vous obtenez une IA gratuite et illimitée, un contrôle total sur vos données, une solution portable utilisable partout, et une excellente opportunité d'apprendre.

Bien que les modèles locaux ne remplacent pas encore complètement les solutions cloud pour certaines tâches avancées, ils offrent une alternative fantastique pour 90% des cas d'usage quotidiens.

Le futur de l'IA est ouvert, accessible et respectueux de la vie privée. Portable AI Hub en est la preuve vivante.

Téléchargez le code source complet et les scripts sur mon GitHub, et n'hésitez pas à partager vos expériences et améliorations dans les commentaires !