Que fait Clef 27B en décision multimodale ?

Clef 27B classe des réponses possibles à partir de texte, d’images, de vidéos ou de données structurées, sans rédiger de texte. Je détaille son fonctionnement, ses sorties probabilistes et les tests qui montrent ce qu’il sait interpréter — et ce qu’il faut éviter d’en déduire.

Qu’est-ce que Clef 27B ?

Clef 27B est un modèle de décision multimodal de 27 milliards de paramètres, développé par Cloudflare et publié sous licence Apache 2.0. Il sert à choisir entre des réponses définies à l’avance à partir d’une situation et d’une question. La situation peut être exprimée en texte, en image, en vidéo ou en JSON. Le modèle reçoit aussi les réponses possibles, puis renvoie une distribution de probabilités qui indique le poids attribué à chacune.

Le format d’entrée associe donc un contexte, une question et un ensemble d’options. Par exemple, si l’on demande de sélectionner une réponse parmi plusieurs choix proposés, Clef 27B évalue ces choix au regard de la situation fournie. Il ne fonctionne pas comme un chatbot : il ne rédige pas une réponse textuelle séquentielle. Son résultat est une distribution sur les options disponibles, pas un texte libre généré au fil des mots.

Cette distinction est utile lorsque les réponses attendues sont connues à l’avance. Au lieu de produire une formulation qu’il faudrait ensuite interpréter, le modèle renvoie directement des probabilités associées aux choix proposés. On peut ainsi exploiter sa sortie pour des tâches de décision où il faut comparer plusieurs réponses possibles à partir d’informations multimodales. Le terme « multimodal » désigne ici la capacité à prendre en compte des situations fournies sous différents formats, notamment du texte, des images, des vidéos ou du JSON.

Comment fonctionne sa prise de décision ?

Clef 27B prend une décision en évaluant des résultats définis à l’avance, puis en attribuant un score ou une probabilité à chacun. Il ne construit pas nécessairement une réponse en prédisant successivement les mots d’une phrase. La sortie peut être directement structurée autour des décisions attendues, par exemple une équipe responsable et un niveau de priorité.

Dans un contexte multimodal, les informations utiles peuvent provenir de plusieurs types de données, selon les éléments fournis au modèle. Le principe reste le même : comparer les signaux disponibles aux résultats possibles, puis produire les catégories et les scores associés. Les catégories peuvent porter sur des dimensions différentes. Une équipe et un niveau d’urgence ne s’excluent pas mutuellement.

Pour un ticket signalant une panne d’API, le résultat pourrait être formulé ainsi :

Décision	Résultat	Confiance annoncée
Équipe	Équipe technique	100 %
Priorité	Urgent	100 %

Cette sortie structurée est exploitable dans un processus métier : elle fournit des champs lisibles par un système ou par un opérateur, plutôt qu’un texte libre à interpréter. Elle peut ainsi servir à orienter le traitement du ticket. Cela ne présume ni d’une intégration particulière, ni d’un délai d’exécution donné.

Un score de confiance annoncé à 100 % n’est pas une preuve que la décision est juste. Il exprime la confiance du modèle selon son propre mécanisme de scoring. Il ne garantit pas que le ticket a été correctement classé, et ne démontre pas que les scores sont calibrés. La calibration mesure si, sur un ensemble de cas, les prédictions associées à une confiance donnée se révèlent exactes dans la proportion correspondante. Il faut donc vérifier les résultats sur des données représentatives avant d’utiliser ces scores comme seuils de décision automatique.

Que montrent les tests multimodaux ?

Clef 27B interprète des contenus visuels de nature différente et en tire des conclusions sur leur sujet, leur ton ou leur sens probable. Les tests rapportés couvrent des images, une vidéo générée par IA, une page d’actualité et un diagramme scientifique.

Pour une image relationnelle, Clef a évalué les motivations des personnes et les issues possibles de la situation. Il a estimé que la femme était surtout préoccupée par son travail et que le patron n’était probablement pas sincèrement amoureux. Ce sont des interprétations du contexte relationnel, pas des faits explicitement établis par l’image.

Sur une vidéo générée par IA de huit secondes, le modèle a observé un homme dans une forêt gelée, tenant une bougie. En l’absence de dialogue, il a proposé une interprétation probable à partir du contexte visuel. La scène a donc été comprise par inférence, sans appui sur des paroles prononcées.

Pour une page d’actualité en ouzbek, Clef a identifié le sujet et le ton du contenu. Le test porte ici sur la compréhension d’une page mêlant texte et éléments visuels, sans que des détails supplémentaires sur le sujet ou le ton soient rapportés.

Enfin, Clef a analysé un diagramme de titrage avec une grande confiance. L’observation rapportée concerne le niveau de confiance de l’analyse, sans précision supplémentaire sur les valeurs ou les conclusions obtenues.

Modalité	Tâche observée
Image relationnelle	Évaluation des motivations et des issues possibles
Vidéo de huit secondes	Interprétation probable à partir du contexte visuel
Page d’actualité en ouzbek	Identification du sujet et du ton
Diagramme de titrage	Analyse avec une grande confiance

À quoi sert ce format de sortie ?

Clef 27B applique un même format de réponse probabiliste à des contenus différents. Son intérêt distinctif tient à cette sortie uniforme : le modèle évalue des entrées variées, puis choisit parmi des réponses définies à l’avance.

Les exemples présentés couvrent des modalités et des tâches hétérogènes :

Entrée	Décision observée
Texte d’un ticket	Classification du ticket
Image avec des indices visuels	Interprétation des indices
Vidéo sans dialogue	Analyse du contenu visuel
Page en ouzbek ou schéma de chimie	Compréhension du contenu

Dans chaque cas, le contenu change, mais le principe de décision reste le même. La réponse probabiliste fournit une sortie comparable d’un test à l’autre, au lieu de produire une réponse libre dont la forme pourrait varier. Cette propriété facilite la comparaison des choix, à condition que les réponses possibles aient été définies en amont.

Ces exemples montrent des capacités observées sur les entrées testées. Ils ne prouvent pas une fiabilité générale, ni une performance identique sur d’autres données, langues ou situations. Le résultat dépend aussi de l’adéquation entre le contenu et les réponses proposées : Clef ne choisit pas une réponse qui n’existe pas dans l’ensemble défini.

Ce principe est pertinent quand des contenus différents doivent être évalués selon les mêmes choix prédéfinis et rendus dans un format commun. Il structure la décision ; il ne constitue pas, à lui seul, une garantie de justesse.

Que retenir de Clef 27B ?

Clef 27B ne cherche pas à tenir une conversation : il attribue des probabilités à des réponses proposées, à partir de texte, d’images, de vidéos ou de données structurées. Les essais rapportés montrent qu’il peut classer un incident, interpréter des indices visuels, tirer un sens probable d’une vidéo sans dialogue et analyser des contenus en ouzbek ou un schéma de titrage. Ces résultats illustrent la portée du format, pas une garantie de justesse universelle. Pour l’évaluer, il faut donc examiner les options proposées et vérifier les sorties sur vos propres données. Vous obtenez ainsi une vision claire de son intérêt pour des décisions structurées et multimodales.

FAQ

• Clef 27B est-il un chatbot ?
  Non. Il ne génère pas une réponse conversationnelle : il évalue des réponses prédéfinies et renvoie une distribution de probabilités.
• Quels types de contenus Clef 27B peut-il traiter ?
  Il peut recevoir du texte, des images, des vidéos ou des données structurées en JSON, accompagnés d’une question et de réponses possibles.
• Que renvoie le modèle après une analyse ?
  Il renvoie des probabilités associées aux réponses proposées. Il ne rédige pas un texte libre comme un modèle conversationnel.
• Clef 27B peut-il interpréter une vidéo sans dialogue ?
  Lors du test décrit, il a inféré une interprétation probable d’une vidéo de huit secondes à partir de son contexte visuel, sans dialogue.
• Que signifie une confiance de 100 % ?
  C’est la confiance annoncée par le modèle pour une réponse. Cette valeur ne prouve pas à elle seule que la réponse est correcte ni que les probabilités sont calibrées.

 

 

A propos de l’auteur

Je suis Franck Scandolera, expert en data engineering et automatisation IA. J’analyse les modèles multimodaux sous l’angle de leurs sorties structurées et de leur intégration dans des workflows métier fiables.