Comment une IA sait-elle que « chat » et « chaton », c'est presque pareil ?
Dans cet épisode, vous découvrirez comment une IA transforme les mots en nombres, pourquoi elle range chaque mot sur une carte à des centaines de dimensions, comment elle apprend toute seule que « roi » et « reine » vont ensemble, ce qu'est une base vectorielle, et pourquoi « proche » ne veut pas toujours dire « juste ».
Sources :
- Mikolov et al. (Google), « Efficient Estimation of Word Representations in Vector Space », 2013, Word2vec : https://arxiv.org/abs/1301.3781
- J. R. Firth, « A synopsis of linguistic theory », 1957 : « You shall know a word by the company it keeps. »
- OpenAI, guide « Embeddings » : https://platform.openai.com/docs/guides/embeddings
- Weaviate, « Hybrid Search Explained » : https://weaviate.io/blog/hybrid-search-explained
- Cémantix, le jeu qui tourne avec Word2vec : https://fr.wikipedia.org/wiki/Cémantix