Ollama ou LM Studio est lent : comment enquêter sur votre PC

1. Repérez l'attente et définissez une tâche de comparaison

Notez le nom et la variante exacte du modèle, la quantification, l'application et sa version. Utilisez un prompt court connu, avec la même limite de sortie. Comparez la première exécution à une autre pendant que le modèle reste chargé. Téléchargement, chargement, évaluation du prompt et génération ont des coûts différents ; les confondre masque le problème à résoudre.

• Dans l'API Ollama, load_duration, prompt_eval_duration et eval_duration permettent de distinguer les phases ; les durées sont exprimées en nanosecondes.
• Lorsque cette mesure est disponible, consultez les tokens/s dans les statistiques de l'outil d'inférence. Monitor suit les ressources du PC ; il ne mesure ni les tokens/s ni la qualité du modèle.

• Ollama — statistiques de génération
• Ollama — chargement, mémoire et requêtes simultanées
• LivoPC Monitor — fonctionnalités et prise en charge sous Windows

2. Vérifiez où le modèle a été chargé

Pendant la tâche, exécutez ollama ps et consultez PROCESSOR : CPU, GPU ou répartition entre les deux. Cela indique la répartition du modèle, pas le taux d'utilisation de la puce. Dans LM Studio, vérifiez les paramètres de chargement et le transfert vers le GPU. Confrontez le GPU exact, le système et le pilote à la documentation du backend avant de supposer une accélération.

• Ollama — chargement, mémoire et requêtes simultanées
• Ollama — prise en charge du matériel et des pilotes
• LM Studio — chargement et estimation de la mémoire
• LM Studio — paramètres par modèle

3. Examinez le contexte et les requêtes simultanées avant de changer des pièces

Une conversation longue et des requêtes simultanées peuvent augmenter la mémoire nécessaire. Vérifiez le contexte réellement alloué sans supposer la valeur par défaut d'une autre version. Pour enquêter, commencez une conversation courte, arrêtez les tâches d'inférence que vous connaissez et recommencez. Réduire le contexte modifie la quantité de contenu prise en compte ; vérifiez aussi que la réponse reste adaptée au travail.

• Ollama — contexte et mémoire allouée
• Ollama — chargement, mémoire et requêtes simultanées
• LM Studio — paramètres par modèle

4. Rapprochez les mesures sur le même intervalle

Ouvrez Monitor et observez les ressources disponibles en répétant la demande. Notez le début de l'attente et de la génération, ainsi que les autres tâches connues en cours. Pour la mémoire dédiée et les détails du backend, utilisez aussi l'outil d'inférence ou celui du fabricant. Une température absente reste inconnue ; un pic d'utilisation ne confirme pas un manque de matériel.

• LivoPC Monitor — fonctionnalités et prise en charge sous Windows
• Ollama — statistiques de génération
• LM Studio — chargement et estimation de la mémoire

• Comprendre les mesures du CPU, du GPU et de la RAM

5. Choisissez le prochain test selon le résultat

Si le backend ne reconnaît pas le GPU, examinez la prise en charge et le pilote. Si la mémoire limite la tâche, comparez une variante plus petite ou une autre quantification, en conservant la demande et en évaluant la réponse. Si l'attente concerne uniquement le chargement, vérifiez combien de temps le modèle reste en mémoire. Conservez versions, réglages et résultat avant de prévoir une mise à niveau ; le guide de configuration traite cette décision séparément.

• Ollama — prise en charge du matériel et des pilotes
• Ollama — chargement, mémoire et requêtes simultanées
• LM Studio — chargement et estimation de la mémoire

• Choisir le matériel pour l'IA locale