Needle 3 : le mini-modèle IA de 8 à 29 Mo qui tourne 100 % hors ligne — et taquine des modèles 10× plus gros

🧵 Needle 3 en 30 secondes

Imaginez un fichier de 8 Mo au minimum, 29 Mo au maximum — plus léger que certaines photos — qui embarque un modèle d’IA complet. Un modèle qui tourne entièrement sur votre téléphone, votre montre, votre hub domotique ou même un microcontrôleur, sans aucune connexion internet, à aucun moment. C’est la promesse de Needle 3, la troisième génération du modèle on-device de Cactus Compute, avec une affirmation qui fait lever un sourcil : battre des modèles dix fois plus gros que lui sur des tâches réelles.

Dans cet article, on décortique ce que Needle 3 est vraiment, comment son architecture en « échelle d’intelligence » fonctionne, ce que les benchmarks disent réellement (spoiler : les titres racoleurs méritent un peu de nuance), et à qui ce modèle s’adresse — ou pas.

🌵 Cactus Compute & la saga Needle

Cactus Compute est une startup de San Francisco passée par Y Combinator (promotion S25), fondée en 2025 par Henry Ndubuaku et Roman Shemet. Son credo tient en une phrase : l’IA doit tourner là où se trouve votre main — pas dans un datacenter. Pourquoi ? Parce que les modèles cloud exigent une connexion, coûtent de l’argent à chaque appel, et envoient vos données ailleurs avant de vous répondre. Cactus construit donc des modèles et un moteur d’infusion pensés pour court-circuiter tout ça.

Et Needle 3 n’arrive pas de nulle part : c’est le troisième acte d’une histoire déjà bien écrite.

🤝 Un projet déjà bien installé (et déjà dans un vrai produit)

Avant de juger sur fiche technique, regardons les signaux de santé du projet. Le dépôt GitHub de Needle affiche environ 11 300 stars, plus de 700 forks et des dizaines de contributeurs actifs. La licence est récemment passée de MIT à Apache 2.0, et l’historique de commits montre des correctifs du moteur et des mises à jour de gestion d’état interne… dans les derniers jours. Bref : un projet vivant, pas un coup d’éclat sans lendemain.

🧰 Trois métiers, zéro cloud

Needle 3 ne prétend pas tout faire. Il fait trois choses, entièrement sur l’appareil — rien n’est envoyé à un serveur, rien n’attend une connexion.

Pourquoi c’est notable : ces trois métiers sont souvent assurés par trois modèles spécialisés différents… ou par un gros modèle cloud. Needle 3 propose un seul petit modèle local pour les trois — une vraie simplification pour qui construit ce type d’app.

🪜 L’« intelligence ladder » : un jeu de poids, toutes les tailles

Le problème classique : une montre, un Raspberry Pi et un téléphone flagship ne veulent pas du même modèle. La solution habituelle ? Entraîner un modèle par taille — donc multiplier les entraînements et les fine-tunings. Cactus a pris l’autre route : entraîner un seul jeu de poids où chaque profondeur, de 2 à 20 couches, est un modèle complet et utilisable, chaque échelon étant réellement plus capable que le précédent. Les profondeurs ayant été entraînées ensemble, chaque sous-réseau hérite de tout l’entraînement — et reste fine-tunable indépendamment.

Les briques qui rendent ça possible

L’astuce la plus contre-intuitive : l’essentiel des paramètres vit dans l’engram, une mémoire de motifs mémorisés plutôt que calculés. Résultat : le modèle de 121 M params fait l’arithmétique d’un 50 M. Au total, Cactus annonce plus de 2× moins d’opérations flottantes par token qu’un transformeur de configuration équivalente — donc moins de batterie brûlée et moins de chaleur sur un petit appareil.

📊 Benchmarks : ce que les nombres disent vraiment

Cactus a évalué Needle 3 sur des suites dédiées au tool calling et à l’extraction structurée, en exact-match ou field-F1 sur les splits de test complets :

Un protocole volontairement « réaliste »

Detail qui compte : les sous-réseaux Needle (20, 16, 8 et 4 couches) ont été testés via le binaire CQ2-bit réellement livré aux développeurs, tandis que les modèles de référence tournaient en précision f16 sous vLLM, et que DeepSeek V4 Flash était interrogé via son API cloud. Autrement dit : Needle est mesuré dans sa forme la plus compressée (celle qui tournera chez vous), face à des concurrents dans leur forme la plus forte. C’est une manière honnête de répondre à « qu’aurai-je si je déploie aujourd’hui ? » — mais ce n’est pas une comparaison « à armes égales » au sens strict, et c’est bien de le dire.

👩‍ Le workflow développeur : simple comme un décorateur

L’installation est un pip install classique ; le modèle est téléchargé une fois depuis Hugging Face puis mis en cache localement. Ensuite, le moyen le plus simple de donner un outil à Needle est de décorer une fonction Python : la signature déclare les types attendus, et le docstring devient la description que lit le modèle. Un seul appel à run() gère toute la boucle : Needle choisit l’outil, exécute votre fonction, réinjecte le résultat et renvoie la réponse finale.

# pip install cactus-needle
from needle import tool, run

@tool
def regler_lumieres(piece: str, niveau: int):    """Baisse ou monte les lumières d'une pièce."""
    ...

reponse = run("Baisse la chambre à 30 % et verrouille la porte.")

Les triggers, filet de sécurité. Quand une description ne suffit pas à couvrir toutes les formulations utilisateurs, on peut attacher des expressions régulières à un outil : si ça matche, le décodage est restreint à cet outil et l’appel est garanti — même si la confiance est sous le seuil. Parfait pour « allume les lumières » qui doit aboutir à chaque fois.

Extraction : le même principe, à l’envers. On déclare la forme voulue avec un modèle Pydantic, on appelle extract() avec le texte brut, et on récupère un objet entièrement typé — zéro parsing manuel.

from pydantic import BaseModel
from needle import extract

class Facture(BaseModel):
    fournisseur: str
    total: float
    echeance: str

resultat = extract(texte_brut, Facture)  # objet typé, champs remplis

Chaque réponse — appel d’outil ou extraction — revient sous forme d’un seul objet JSON cohérent : les appels effectués, un fil de raisonnement écrit, un score de confiance calibré (issu d’une tête dédiée), et des métriques utiles (vitesse prefill/decode, mémoire pic). Et ce score n’est pas décoratif :

Et pour aller plus loin ? Le fine-tuning passe par une CLI simple : entraînement LoRA sur le modèle de base 20 couches gelé, puis export quantisé à la profondeur de votre choix sur l’échelle — du 20 couches complet au petit sous-réseau pour appareil contraint.

📱 Une couverture plateforme rarement vue à cette taille

Chaque cible embarque un moteur précompilé de moins de 1 Mo qui charge les poids needle3.cact au démarrage, à 20 couches ou à n’importe quelle profondeur inférieure. La liste donne presque le vertige :

💶 Open source… et un vrai modèle économique

Needle 3 est totalement ouvert : poids sur Hugging Face, code et moteur sur GitHub (Apache 2.0), téléchargeables et utilisables gratuitement. La partie payante, elle, vit un étage au-dessus : la Cactus Platform, qui donne accès aux jeux de données curatés de Cactus, au processus de quantization CQ2, aux outils de conception et suivi d’évaluations, et à l’infrastructure de fine-tuning complète. Un schéma « open core » classique et sain : le modèle gratuit est un excellent point de départ, la plateforme payante sert à qui veut le mouler sur son produit sans construire tout un pipeline d’entraînement. C’est aussi ce qui donne à Cactus une vraie raison de maintenir Needle sur la durée — un signal de pérennité plus fort que n’importe quel benchmark.

⚖️ Forces, limites & pour qui ?

En une phrase : Needle 3 n’est pas « un petit GPT » — c’est un spécialiste de l’action locale, remarquablement bien engineered, qui résout un problème précis (l’IA fiable sans réseau) que les modèles généralistes n’ont jamais été conçus pour résoudre. Et dans cette lane étroite, il mérite vraiment votre attention.

🎬 La vidéo originale & son sommaire cliquable

Cet article s’appuie sur le breakdown complet de la chaîne Panda Making Money. Cliquez sur la miniature pour lancer la vidéo, ou sur un chapitre pour arriver directement au bon moment sur YouTube. 👇

20:48

🔎 Vérification des faits & corrections de la retranscription