Assistant culinaire intelligent

Assistant culinaire intelligent

Détails clés

Constructeur de recettes mains-libres, à commande vocale et interactif.

  • Défi
    Application de cuisine mains libres à commande vocale
  • Solution
    L'assistant vocal intelligent pour cuisiner les mains libres
  • Technologies et outils
    Custom Speech2Text (wav2vec2 fine-tuning), Google Cloud speech API, Apple Speech Kit, speech data augmentation, AI Voice Assistant, Voice Activation, Voice Intent Classification, Recipes Text Parsing (Named Entity Recognition for recipes), Entities Dependency Parsing (compréhension des relations entre les ingrédients, leurs valeurs et leurs unités en utilisant le package Stanza), Automatic Punctuation Restoring, AWS, AWS SageMaker

Client

Pour réaliser le projet de développement d'un assistant culinaire intelligent, le client avait besoin d'une équipe expérimentée capable de développer une pile complète de logiciels et d'en assurer la maintenance. Conseil en IA avec un haut niveau d'expertise en science des données.

Le client recherchait une équipe faisant preuve de professionnalisme, possédant des connaissances approfondies en Machine Learning, un bilan positif, une excellente communication et un enthousiasme pour un projet tel que le leur. Les membres de l'équipe ont mentionné qu'après avoir interrogé plus de deux douzaines d'entreprises dans le monde, ESSID Solutions s'est immédiatement distinguée dès le début du processus.

Le client est venu nous voir avec un prototype d'application qui avait déjà un back-end, un front-end, une application iOS et une partie de l'IA qui avait besoin d'être développée. La principale préoccupation du client était que la fonctionnalité de reconnaissance vocale ne fonctionnait pas correctement.

Défi : application de cuisine mains libres à commande vocale

ESSID Solutions a été chargé de développer un système d'intelligence artificielle robuste - à la fois les aspects frontaux et dorsaux (et l'application IOS) de l'application et le système de gestion de l'information de l'entreprise. Intégration d'algorithmes d'IA.

L'idée de l'application est de développer un assistant culinaire IA qui permette aux gens de cuisiner les mains libres (parce que leurs mains peuvent être occupées à préparer les aliments). Lorsque vous cuisinez, vous pouvez dicter votre recette à l'application, qui l'enregistre et la sauvegarde. Vous pouvez également demander à l'application de vous dicter certaines recettes pendant que vous préparez le repas. Avec l'aide de l'assistant culinaire, l'utilisateur peut cuisiner sans faire d'allers-retours entre le livre de recettes ou le téléphone et la cuisinière. L'application permet de vivre des expériences culinaires agréables.

L'équipe travaillant sur le projet comprenait un chef de projet, un scientifique des données, un développeur full-stack, un développeur iOS et un ingénieur QA.

Solution : Une application d'assistant vocal pour cuisiner les mains libres

L'équipe d'ESSID Solutions a procédé à une nouvelle implémentation de l'IA pour tous les composants de l'application. Depuis lors, l'application peut être contrôlée par la voix. L'activation vocale de l'application et la reconnaissance des commandes de l'utilisateur fonctionnent très bien, de même que la transcription du texte des recettes.

A la demande du client, nous avons développé une solution personnalisée. Algorithme d'IA pour la fonction la plus importante de l'application : un assistant culinaire intelligent.

Tout d'abord, nos ingénieurs ont procédé à une révision et à un remaniement des autres parties de l'application (back-end, front-end, iOS).

La tâche suivante consistait à développer un grand nombre de fonctionnalités supplémentaires (telles que l'extraction automatique des ingrédients, l'automatisation de la somme des ingrédients, le partage des recettes via les médias sociaux, les notifications push, la collecte de données, etc.) Nous avons revu et reconfiguré le système d'information du client. architecture en nuage sur AWS afin d'optimiser les coûts et d'améliorer la disponibilité et la durabilité.

Architecture de haut niveau de l'application :

assistant culinaire intelligent

Ainsi, puisque le client a demandé le services de développement completsLe projet a été planifié en deux phases :

Phase I. Développer les parties back-end et front-end de l'application.

Phase II. Développer un algorithme d'IA qui rende la cuisine numérisée et sans effort, sans téléphone gras et sans faire défiler les listes d'ingrédients et les étapes.

Pour ce faire, notre équipe a utilisé une technologie de reconnaissance de la voix en texte qui permet de convertir la parole en un livre de cuisine écrit dans le téléphone de l'utilisateur. Cette technologie permet d'enregistrer et de dicter la voix en douceur.

Les fonctionnalités que nous avons intégrées à l'assistant culinaire IA :

  • Activation vocale, contrôle vocal de l'application, création et édition de recettes vocales, écoute de recettes
  • Notes vocales ajoutant
  • Recherche de recettes à l'aide du titre de la recette et du nom des ingrédients
  • Édition et réarrangement des étapes de la recette
  • Extraction automatique des ingrédients, de leurs valeurs et de leurs unités
  • Les ingrédients s'additionnent automatiquement (en fonction de leur valeur et de leur unité).
  • Partage de recettes (y compris dans les médias sociaux).

Avec l'enregistrement des recettes, le livre de cuisine et le planificateur de repas en un seul endroit, il est facile pour l'utilisateur de rendre la cuisine amusante et facile.

Résultat : une application mobile pour préparer des recettes en toute simplicité

Compréhension des besoins du client et expertise en science des données ESSID Solutions a aidé le client à concrétiser son idée et à mettre en place une application fonctionnelle. L'équipe d'ingénieurs a développé une application évolutive alimentée par l'IA et a mis en œuvre toutes les fonctionnalités demandées.

Les travaux ont abouti à une Application mobile d'IA Myka - l'application vocale et interactive d'enregistrement de recettes pour les passionnés de cuisine. L'assistant de cuisine doté d'IA rend la cuisine amusante - il enregistre et lit les recettes avec la voix de l'utilisateur, stocke toutes les données pour que l'utilisateur n'oublie plus jamais d'ingrédients.