informatique:ai_lm:ai_vision
Ceci est une ancienne révision du document !
AI Vision
Il y a YOLO et tout plein d'outils dédiés à la détection dans des images.
llama.cpp
Nécessite un modèle multimodal et un fichier mmproj approprié.
- gemma-3-4b
Avec llama-mtmd-cli :
$ time ~/llama.cpp/build/bin/llama-mtmd-cli --log-timestamps \
-m ~/Data/AI_ModelsVision/gemma-3-4b-it-UD-Q8_K_XL.gguf \
--mmproj ~/Data/AI_ModelsVision/mmproj-model-f16.gguf \
--image ~/Data/screenshot_20260214-141126.png -p 'Vois tu des panneaux solaires sur cette image ?'
main: loading model: /home/cyrille/Data/AI_ModelsVision/gemma-3-4b-it-UD-Q8_K_XL.gguf
WARN: This is an experimental CLI for testing multimodal capability.
For normal use cases, please use the standard llama-cli
encoding image slice...
image slice encoded in 789 ms
decoding image batch 1/1, n_tokens_batch = 256
sched_reserve: reserving ...
sched_reserve: CUDA0 compute buffer size = 517.12 MiB
sched_reserve: CUDA_Host compute buffer size = 269.02 MiB
sched_reserve: graph nodes = 1369
sched_reserve: graph splits = 2
sched_reserve: reserve took 109.44 ms, sched copies = 1
image decoded (batch 1/1) in 201 ms
sched_reserve: reserving ...
sched_reserve: CUDA0 compute buffer size = 517.12 MiB
sched_reserve: CUDA_Host compute buffer size = 269.02 MiB
sched_reserve: graph nodes = 1369
sched_reserve: graph splits = 2
sched_reserve: reserve took 188.38 ms, sched copies = 1
Oui, je vois des panneaux solaires sur l'image. Ils sont disposés sur le toit du bâtiment principal au centre de l'image.
llama_perf_context_print: load time = 2846.21 ms
llama_perf_context_print: prompt eval time = 852.69 ms / 278 tokens ( 3.07 ms per token, 326.03 tokens per second)
llama_perf_context_print: eval time = 542.06 ms / 30 runs ( 18.07 ms per token, 55.34 tokens per second)
llama_perf_context_print: total time = 2344.07 ms / 308 tokens
llama_perf_context_print: graphs reused = 29
real 0m8,165s
user 0m4,880s
sys 0m3,269s
informatique/ai_lm/ai_vision.1771080247.txt.gz · Dernière modification : de cyrille