Outils pour utilisateurs

Outils du site


informatique:ai_lm

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
informatique:ai_lm [24/01/2026 11:15] – [llama.cpp] cyrilleinformatique:ai_lm [30/01/2026 15:31] (Version actuelle) – [Glossaire] cyrille
Ligne 40: Ligne 40:
 [[https://claude.ai/share/5d0d1604-20cd-4ec9-9f39-c2797197603d|Comment faire pour qu'un appel à un LLM ait un résultat reproductible d'une fois sur l'autre ?]] [[https://claude.ai/share/5d0d1604-20cd-4ec9-9f39-c2797197603d|Comment faire pour qu'un appel à un LLM ait un résultat reproductible d'une fois sur l'autre ?]]
  
 +Hugging Face entreprise française créée en 2016 -> [[https://www.youtube.com/watch?v=8UWCLts47Ms|L'IA open source par Hugging Face - Gen AI Nantes]] 2024-01 par [[https://www.youtube.com/@juliensimonfr|Julien Simon]]
  
 ===== Sur les perfs ===== ===== Sur les perfs =====
Ligne 191: Ligne 192:
 nouveautés hiver 2025-26: nouveautés hiver 2025-26:
   * la répartition automatique entre GPU et CPU, plus besoin de gérer ''--n-gpu-layers''   * la répartition automatique entre GPU et CPU, plus besoin de gérer ''--n-gpu-layers''
-  * [[https://github.com/ggml-org/llama.cpp/pull/16391|host-memory prompt caching]] : j'ai des scripts qui se sont mis à planter à cause de réponse avec ''content'' vide et ''reasoning_content'' archi plein. L'utilisation de l'option ''--cache-ram 0'' semble résoudre ces plantages.+  * [[https://github.com/ggml-org/llama.cpp/pull/16391|host-memory prompt caching]] : <del>j'ai des scripts qui se sont mis à planter à cause de réponse avec ''content'' vide et ''reasoning_content'' archi plein. L'utilisation de l'option ''--cache-ram 0'' semble résoudre ces plantages.</del>
 === chat templates === === chat templates ===
  
Ligne 209: Ligne 210:
                                         list of built-in templates:                                         list of built-in templates:
                                         bailing, bailing-think, bailing2, chatglm3, chatglm4, chatml,                                         bailing, bailing-think, bailing2, chatglm3, chatglm4, chatml,
-                                        command-r, deepseek, deepseek2, deepseek3, exaone3, exaone4, falcon3, +                                        command-r, deepseek, deepseek2, deepseek3, exaone-moe, exaone3, 
-                                        gemma, gigachat, glmedge, gpt-oss, granite, grok-2, hunyuan-dense, +                                        exaone4, falcon3, gemma, gigachat, glmedge, gpt-oss, granite, grok-2, 
-                                        hunyuan-moe, kimi-k2, llama2, llama2-sys, llama2-sys-bos, +                                        hunyuan-dense, hunyuan-moe, kimi-k2, llama2, llama2-sys, 
-                                        llama2-sys-strip, llama3, llama4, megrez, minicpm, mistral-v1, +                                        llama2-sys-bos, llama2-sys-strip, llama3, llama4, megrez, minicpm, 
-                                        mistral-v3, mistral-v3-tekken, mistral-v7, mistral-v7-tekken, monarch, +                                        mistral-v1, mistral-v3, mistral-v3-tekken, mistral-v7, 
-                                        openchat, orion, pangu-embedded, phi3, phi4, rwkv-world, seed_oss, +                                        mistral-v7-tekken, monarch, openchat, orion, pangu-embedded, phi3, 
-                                        smolvlm, vicuna, vicuna-orca, yandex, zephyr+                                        phi4, rwkv-world, seed_oss, smolvlm, solar-open, vicuna, vicuna-orca, 
 +                                        yandex, zephyr
                                         (env: LLAMA_ARG_CHAT_TEMPLATE)                                         (env: LLAMA_ARG_CHAT_TEMPLATE)
  
Ligne 251: Ligne 253:
 deb [signed-by=/usr/share/keyrings/cuda-archive-keyring.gpg] deb [signed-by=/usr/share/keyrings/cuda-archive-keyring.gpg]
  https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ /  https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ /
 +</code>
 +
 +Ma dernière installation :
 +<code bash>
 +sudo apt install nvidia-headless-590-open nvidia-utils-590 nvidia-cuda-toolkit nvidia-cuda-dev
 +
 +Package: nvidia-headless-590-open
 +Version: 590.48.01-0ubuntu0.24.04.1
 +APT-Sources: http://fr.archive.ubuntu.com/ubuntu noble-updates/restricted amd64 Packages
 +
 +Package: nvidia-cuda-toolkit
 +Version: 12.0.140~12.0.1-4build4
 +APT-Sources: http://fr.archive.ubuntu.com/ubuntu noble/multiverse amd64 Packages
 +
 +# Je ne comprends pas j'ai pourtant un /etc/apt/sources.list.d/cuda-ubuntu2404-x86_64.list
 +# qui pointe sur /etc/apt/sources.list.d/cuda-ubuntu2404-x86_64.list
 </code> </code>
  
informatique/ai_lm.1769249720.txt.gz · Dernière modification : de cyrille

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC0 1.0 Universal
CC0 1.0 Universal Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki