ASL Real-time Detection from Video/Image

Application web et mobile de reconnaissance en temps réel des signes ASL à partir d’une caméra ou d’une image.

ASL Real-time Detection reconnaît les lettres de l’American Sign Language depuis une webcam, une caméra mobile ou une image importée. Le système détecte jusqu’à deux mains, extrait leurs repères, applique un modèle de classification et renvoie la prédiction avec son niveau de confiance.

01

Problème traité

La reconnaissance de la langue des signes à partir d’une caméra nécessite un système capable de détecter précisément les mains, d’interpréter leurs positions et de fournir des prédictions stables en temps réel sur le web et sur mobile.

02

Objectifs

Reconnaître les lettres ASL de A à Z.
Reconnaître les classes del, nothing et space.
Accepter des images envoyées par requête HTTP.
Traiter un flux vidéo en temps réel avec WebSocket.
Détecter jusqu’à deux mains dans une image.
Afficher le niveau de confiance de chaque prédiction.
Afficher les repères des mains détectées.
Lisser les prédictions successives du flux vidéo.
Permettre l’accumulation des lettres dans une zone de texte.

Permettre la traduction du texte accumulé vers l’arabe sur mobile.

Fournir une application accessible sur le web, Android et iOS.

03

Solution technique

Le backend FastAPI charge un détecteur MediaPipe Hand Landmarker et un classifieur TorchScript au démarrage. Pour chaque image reçue, il redimensionne l’image, détecte jusqu’à deux mains et extrait 21 repères tridimensionnels par main. Les repères sont normalisés par rapport au poignet puis transformés en un vecteur de 137 caractéristiques. Le classifieur applique ensuite une prédiction, un calcul softmax, un argmax et un seuil de confiance fixé à 0.55. Le frontend React/Vite permet l’utilisation d’une webcam ou l’importation d’une image. L’application mobile Expo permet d’utiliser la caméra, la galerie, le flux WebSocket, la composition de texte et la traduction vers l’arabe.

04

Architecture

Utilisateur web
Utilisateur mobile
Client Web React
Vite
Importation d’image
Capture webcam
WebSocket reconnectable
Client Mobile Expo
React Native
Caméra mobile
Galerie d’images
Stockage local des paramètres
Accumulation des lettres
Traduction vers l’arabe
Requête HTTP multipart
Flux WebSocket Base64
API FastAPI
Route de santé
Route de prédiction d’image
Route WebSocket de prédiction
Service statique des poids
Redimensionnement maximal à 480 pixels
MediaPipe Hand Landmarker
Détection de deux mains maximum
Extraction de 21 repères 3D par main
Normalisation par rapport au poignet
Construction de 137 caractéristiques
Classifieur TorchScript
Calcul Softmax
Sélection Argmax
Seuil de confiance à 0,55
Lissage par vote majoritaire
Réponse de prédiction
Prédiction détectée
Niveau de confiance
État de détection de main
Repères optionnels
Nombre de mains
Artefacts du modèle
Fichier asl_classifier.pt
Fichier labels.json
Fichier calibration.json
Fichier preprocess.json
Fichier hand_landmarker.task
Docker
Docker Compose
Backend sur le port 8091
Frontend sur le port 5173

05

Résultats documentés

Les artefacts nécessaires à l’inférence sont présents dans le projet.
Les copies du classifieur possèdent la même empreinte SHA-256.
Les copies du modèle MediaPipe possèdent la même empreinte SHA-256.
Le modèle expose 29 classes.
Les classes comprennent les lettres A à Z.
Les classes supplémentaires sont del, nothing et space.
Le build de production du frontend React réussit.
Le build transforme 38 modules.
Deux tests backend sont présents.
Un test vérifie l’état de santé du backend.
Un test vérifie l’envoi d’une image.
Les tests backend n’ont pas pu être exécutés dans l’environnement analysé.
L’environnement virtuel référence un interpréteur Python 3.13 inaccessible.
Le test d’upload attend une ancienne structure de réponse.
La réponse actuelle contient également la propriété hands.
Aucun workflow CI/CD n’est présent.
Docker Compose lance le backend sur le port 8091.
Docker Compose lance le frontend sur le port 5173.
Aucune base de données n’est présente.
Aucune migration n’est présente.
Aucun ORM n’est utilisé.
La documentation mobile contient une information de traduction devenue obsolète.