Outils pour utilisateurs

Outils du site


informatique:ai_lm

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
informatique:ai_lm [11/06/2026 09:27] – [Réduction de tokens] cyrilleinformatique:ai_lm [13/09/2026 09:23] (Version actuelle) – [Cartes IA] cyrille
Ligne 82: Ligne 82:
   * mistral-codestral/codestral-latest = 2,320s / 3,427s   * mistral-codestral/codestral-latest = 2,320s / 3,427s
  
 +
 +===== LLM via API EU providers =====
 +
 +Mistral https://mistral.ai/pricing/api/
 +
 +Scaleway https://www.scaleway.com/en/generative-apis/
 +
 +Lyceum https://lyceum.technology/products/inference/models/
  
 ===== Cartes IA ===== ===== Cartes IA =====
Ligne 265: Ligne 273:
 # RTX 5060 : 120 # RTX 5060 : 120
  
-$ export CUDA_VERSION=12.9 && cmake -B build -DGGML_CUDA=ON \+$ export CUDA_VERSION=12.9 
 +$ export CUDA_VERSION=13.3 
 +cmake -B build -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES="86;120" \  -DCMAKE_CUDA_ARCHITECTURES="86;120" \
  -DCMAKE_BUILD_WITH_INSTALL_RPATH=ON \  -DCMAKE_BUILD_WITH_INSTALL_RPATH=ON \
Ligne 308: Ligne 318:
 user 27m13.877s user 27m13.877s
 sys 1m24.687s sys 1m24.687s
-</code> 
- 
-Avec CUDA 13.1 llama.cpp plante direct à la 1ère requête, mais sans message dans syslog : ce n'est donc pas le driver mais le logiciel llama.cpp qui ne support pas cette version de CUDA :  
-<code> 
-/home/cyrille/Code/bronx/AI_Coding/llama.cpp/ggml/src/ggml-cuda/ggml-cuda.cu:97: CUDA error 
-CUDA error: invalid argument 
-  current device: 0, in function ggml_cuda_mul_mat_q at /home/cyrille/Code/bronx/AI_Coding/llama.cpp/ggml/src/ggml-cuda/mmq.cu:179 
 </code> </code>
  
Ligne 489: Ligne 492:
  
 Headroom Headroom
 +  * Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 60-95% fewer tokens, same answers. Library, proxy, MCP server.
   * https://headroom-docs.vercel.app/docs   * https://headroom-docs.vercel.app/docs
   * https://github.com/chopratejas/headroom   * https://github.com/chopratejas/headroom
informatique/ai_lm.1781162868.txt.gz · Dernière modification : de cyrille

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC0 1.0 Universal
CC0 1.0 Universal Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki