Traitement automatique du langage naturel.

La reconnaissance d’entités (NER), également appelée segmentation d’entités ou extraction d’entités, est un composant du traitement automatique du langage naturel (NLP) qui identifie des catégories prédéfinies d’objets dans un corps de texte.

• Qu’est-ce que le NLP ?
• Qu’est-ce que la reconnaissance d’entités nommées (NER) ?

Les étapes

• Tokenisation
  • décompose un texte en unités plus petites, appelées tokens. Ces tokens peuvent être des mots, des signes de ponctuation ou d'autres unités linguistiques.
• Marquage de parties du discours (POS)
  • marquage des parties du discours. Cela attribue aux tokens des types de mots grammaticaux, comme les noms, les verbes et les adjectifs
• Détection d'entités (NER)
  • vise à reconnaître et à classer des entités nommées telles que des personnes, des lieux, des organisations et d'autres informations spécifiques

• STS Semantic Textual Similarity: calculate the similarities between embeddings's texts.
• Embedding: fixed-size vector representation
• Cross Encoder (a.k.a reranker): Calculates a similarity score given pairs of texts. Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model.
• Sparse Encoder : sparse vector representations is a list of token: weight key-value pairs representing an entry and its weight.
• RAG (Retrieval-Augmented Generation): combine deux capacités de l’IA → la récupération d’informations et la génération de texte

• Qu’est-ce qu’un plongement vectoriel ?

https://www.sbert.net/

used to compute embeddings using Sentence Transformer models (quickstart), to calculate similarity scores using Cross-Encoder (a.k.a. reranker) models (quickstart), or to generate sparse embeddings using Sparse Encoder models (quickstart).

• FAISS Facebook AI Similarity Search, optimisé pour la recherche de similarité
• Qdrant, open source, scalable
• milvus

Solutions plus évoluées en SaaS

• Pinecone
• Weaviate
  • Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination of vector search with structured filtering with the fault tolerance and scalability of a cloud-native database​.
  • https://github.com/weaviate/weaviate
  • https://weaviate.io/pricing

• ChromaDB léger, en mémoire ou sur disque
  • Running Chroma in Client-Server Mode
  • Chroma Cookbook
  • Chroma : Guide complet base données vectorielle par Stéphane Robert 2025

Client Api

• Php https://github.com/CodeWithKyrian/chromadb-php

Utiliser 2 méthodes différentes pour

• Pour extraire les labels, aliases et déclarations (claims)
• Pour extraire le graph des P31/P279

permet d'optimiser les traitements

Il y a des dumps Wikidata (préférer un mirroir pour être sympa).

Dump Json, streamable (GZ) :

• https://files.scatter.red/wikimedia/other/wikibase/wikidatawiki/20260105/wikidata-20260105-all.json.gz
• 151 Go, plus de 118 654 999 lignes

Dump RDF N-Triples (brut), streamable (GZ) :

• https://files.scatter.red/wikimedia/other/wikibase/wikidatawiki/latest-all.nt.gz
• 246 Go

Dump RDF N-Triples (brut), streamable (GZ) ET nettoyé des statements deprecated, doublons inutiles et certaines redondances, ne garde que les “direct claims fiables”

• https://files.scatter.red/wikimedia/other/wikibase/wikidatawiki/latest-truthy.nt.gz
• 65 Go 👌

Lectures:

• PDF Getting and hosting your own copy of Wikidata from Wikidata’22: Wikidata workshop at ISWC 2022