Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:ai_lm [01/05/2026 10:25] – [Estimations] cyrille
+++ informatique:ai_lm [27/05/2026 11:26] (Version actuelle) – [mistral.rs] cyrille
@@ Ligne 50: / Ligne 50: @@
   * https://cosmo-games.com/quels-modeles-llm-installes-local-8-ou-16-go-vram/
   * https://www.glukhov.org/fr/post/2025/05/ollama-cpu-cores-usage/
+  * [[/informatique/ai_lm/gpu_bench|GPU Benchmarks]]
@@ Ligne 416: / Ligne 418: @@
 Et fait un reboot puis ça fonctionne. Les perfs: 2.6 plus rapide que sans SYCL (36.34 vs 13.94).
+==== mistral.rs ====
+Aucun rapport avec Mistral.ai
+https://github.com/EricLBuehler/mistral.rs
+  * Any Hugging Face model, zero config
+  * True multimodality: Text, vision, video, and audio, speech generation, image generation, and embeddings in one engine.
+  * Smart quantization
+  * Built-in web UI
+  * Hardware-aware
+  * Flexible SDKs: Python package and Rust crate to build your projects.
+  * Native agentic support: built-in agentic loop with web search, local Python code execution with model feedback, session management, and custom tool hooks.
+À l'installation :
+  * la compilation est très longue (743 fichiers) et s'accapare toute la puissance de la machine...
+  * brancher le eGpu avant, sinon faudra re-installer 😩
+    * ça va activer ''flash-attn'' et la compilation de ''candle-flash-attn'' peut prendre 45 minutes !!!
 ==== ollama ====
@@ Ligne 449: / Ligne 472: @@
   * https://dusty-nv.github.io/NanoLLM/
   * https://www.jetson-ai-lab.com/tutorial_nano-llm.html
 Todo
   * [[https://towardsdatascience.com/how-to-build-an-openai-compatible-api-87c8edea2f06/|How to build an OpenAI-compatible API]]
+==== ZML ====
+https://github.com/zml/zml/