Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:ai_lm [01/05/2026 10:24] – [Compilation pour CPU (SYCL)] cyrille
+++ informatique:ai_lm [27/05/2026 11:26] (Version actuelle) – [mistral.rs] cyrille
@@ Ligne 51: / Ligne 51: @@
   * https://www.glukhov.org/fr/post/2025/05/ollama-cpu-cores-usage/
-==== Estimations ====
+  * [[/informatique/ai_lm/gpu_bench|GPU Benchmarks]]
-**Devstral avec llama.cpp sur RTX 3060 12 Go.**
-by ChatGPT :
-| Modèle            | Contexte (seq_len) | Batch_size recommandé | Remarques                                |
-| ----------------- | ------------------ | --------------------- | ---------------------------------------- |
-| Devstral Small 7B | 1024               | 4                     | Très sûr, VRAM ample                     |
-| Devstral Small 7B | 2048               | 2‑3                   | Bon compromis vitesse/VRAM               |
-| Devstral Small 7B | 4096               | 1‑2                   | VRAM presque saturée                     |
-| Devstral 13B      | 1024               | 2                     | VRAM limitée                             |
-| Devstral 13B      | 2048               | 1‑2                   | Optimal, attention VRAM                  |
-| Devstral 13B      | 4096               | 1                     | VRAM saturée, offload CPU conseillé      |
-| Devstral 13B      | 8192               | 1                     | Possible mais contexte long → risque OOM |
-by LeChat:
-| contexte (tokens) | modèle (paramètres) | VRAM estimée (Go) | Batch size optimal | Latence estimée (tok/s) | Notes |
-| 512 | 7B | ~5.5 | 8 | 15-25 | Idéal pour des tâches courtes et rapides. |
-| 1024 | 7B | ~6.0 | 4 | 10-20 | Bon compromis pour des prompts moyens. |
-| 2048 | 7B | ~7.0 | 2 | 5-15 | Nécessite une gestion fine de la VRAM. |
-| 4096 | 7B | ~8.5 | 1 | 3-10 | Proche de la limite VRAM, risque de ralentissement. |
-| 512 | 13B | ~9.0 | 4 | 8-15 | Modèle plus gros, latence accrue. |
-| 1024 | 13B | ~10.0 | 2 | 4-10 | VRAM presque saturée, batch_size réduit. |
-| 2048 | 13B | ~11.5 | 1 | 2-8 | Risque élevé de dépassement VRAM, latence importante. |
 ==== Online services ====
@@ Ligne 442: / Ligne 418: @@
 Et fait un reboot puis ça fonctionne. Les perfs: 2.6 plus rapide que sans SYCL (36.34 vs 13.94).
+==== mistral.rs ====
+Aucun rapport avec Mistral.ai
+https://github.com/EricLBuehler/mistral.rs
+  * Any Hugging Face model, zero config
+  * True multimodality: Text, vision, video, and audio, speech generation, image generation, and embeddings in one engine.
+  * Smart quantization
+  * Built-in web UI
+  * Hardware-aware
+  * Flexible SDKs: Python package and Rust crate to build your projects.
+  * Native agentic support: built-in agentic loop with web search, local Python code execution with model feedback, session management, and custom tool hooks.
+À l'installation :
+  * la compilation est très longue (743 fichiers) et s'accapare toute la puissance de la machine...
+  * brancher le eGpu avant, sinon faudra re-installer 😩
+    * ça va activer ''flash-attn'' et la compilation de ''candle-flash-attn'' peut prendre 45 minutes !!!
 ==== ollama ====
@@ Ligne 475: / Ligne 472: @@
   * https://dusty-nv.github.io/NanoLLM/
   * https://www.jetson-ai-lab.com/tutorial_nano-llm.html
 Todo
   * [[https://towardsdatascience.com/how-to-build-an-openai-compatible-api-87c8edea2f06/|How to build an OpenAI-compatible API]]
+==== ZML ====
+https://github.com/zml/zml/