Detalles clave
Creador de recetas interactivo, manos libres y activado por voz.
-
DesafíoAplicación de cocina manos libres controlada por voz
-
SoluciónAplicación de asistente de voz con inteligencia artificial para cocinar sin manos
-
Tecnologías y herramientasCustom Speech2Text (wav2vec2 fine-tuning), Google Cloud speech API, Apple Speech Kit, speech data augmentation, AI Voice Assistant, Voice Activation, Voice Intent Classification, Recipes Text Parsing (Named Entity Recognition for recipes), Entities Dependency Parsing (understanding relations between ingredients, their values and units using Stanza package), Automatic Punctuation Restoring, AWS, AWS SageMaker
Cliente
Para realizar el proyecto de desarrollo del asistente de cocina inteligente AI, el cliente necesitaba un equipo experimentado capaz de desarrollo full stack y Consultoría de IA con un alto nivel de experiencia en Ciencia de Datos.
El cliente buscaba un equipo con profesionalidad, amplios conocimientos en Machine Learning, trayectoria positiva, gran comunicación e ilusión por emprender un proyecto como el suyo. Ellos han mencionado que, tras entrevistar a más de dos docenas de empresas de todo el mundo, ESSID Solutions destacó inmediatamente desde el principio del proceso.
El cliente acudió a nosotros con un prototipo de aplicación que ya contaba con un back-end, un front-end, una aplicación para iOS y algo de IA que necesitaba más desarrollo. La principal preocupación del cliente era que la funcionalidad de reconocimiento de voz no funcionaba correctamente.
Reto: aplicación de cocina manos libres controlada por voz
ESSID Solutions se enfrentó al reto de desarrollar un sistema de inteligencia artificial robusto, tanto para los aspectos frontales y de backend (y la aplicación IOS) de la aplicación como para el sistema de gestión de la información. Integración de algoritmos de IA.
La idea de la aplicación es desarrollar un asistente de cocina con inteligencia artificial que permita a las personas cocinar con las manos libres (porque las manos pueden estar ocupadas preparando la comida). Mientras cocinas, puedes dictar tu receta a la aplicación, que la graba y la guarda. O puedes pedirle a la aplicación que te dicte algunas de las recetas mientras preparas la comida. Con la ayuda del asistente de cocina, el usuario puede cocinar sin tener que ir y venir entre el recetario o el teléfono y los fogones. La aplicación permite disfrutar de experiencias culinarias agradables.
El equipo que trabajó en el proyecto incluía un gestor de proyectos, un científico de datos, un desarrollador full-stack, un desarrollador de iOS y un ingeniero de control de calidad.
Solución: Aplicación de asistente de voz con inteligencia artificial para cocinar sin manos
El equipo de ESSID Solutions realizó una nueva implementación de IA para todos los componentes de la aplicación. Desde entonces, la aplicación se puede controlar por voz. La activación por voz de la aplicación y el reconocimiento de los comandos del usuario funcionan muy bien, así como la transcripción del texto de las recetas.
A petición del cliente, desarrollamos un sistema de Algoritmo de IA para la función pertinente de la aplicación: un asistente de cocina con inteligencia artificial.
En primer lugar, nuestros ingenieros realizaron una revisión y refactorización del resto de partes de la aplicación (back-end, front-end, iOS).
La siguiente tarea consistió en desarrollar un gran número de funciones adicionales (como la extracción automática de ingredientes, la suma automatizada de ingredientes, el intercambio de recetas a través de las redes sociales, las notificaciones push, la recopilación de datos, etc.). Revisamos y reconfiguramos el sistema del cliente. arquitectura de nube en AWS para optimizar los costes y mejorar la disponibilidad y la sostenibilidad.
Arquitectura de aplicaciones de alto nivel:

Así, puesto que el cliente solicitó el servicios de desarrollo full-stackEl proyecto se planificó en dos fases:
Fase I. Desarrollar las partes back-end y front-end de la aplicación.
Fase II. Desarrollar un algoritmo de IA que permitiera cocinar de forma digitalizada y sin esfuerzo, sin teléfonos grasientos alrededor ni desplazamientos hacia delante y hacia atrás entre listas de ingredientes y pasos.
Para hacerlo posible, nuestro equipo utilizó tecnología de reconocimiento de voz a texto que ayuda a convertir la voz en un libro de recetas escrito en el teléfono del usuario. La tecnología permite grabar y dictar la voz sin problemas.
Las características que hemos implementado en el asistente de cocina AI:
- Activación por voz, control por voz de la aplicación, creación y edición de recetas por voz, escucha de recetas
- Notas de voz añadiendo
- Búsqueda de recetas utilizando el título de la receta y los nombres de los ingredientes
- Edición y reordenación de los pasos de la receta
- Extracción automática de los ingredientes, sus valores y unidades
- Suma automática de ingredientes (en función de sus valores y unidades)
- Compartir recetas (incluidas las redes sociales).
Con el registro de recetas, el libro de cocina y el planificador de comidas en un solo lugar, el usuario podrá cocinar de forma fácil y divertida.
Resultado: aplicación móvil para preparar recetas con facilidad
Comprensión de las necesidades del cliente y experiencia en ciencia de datos y la IA, ESSID Solutions ayudó al cliente a materializar la idea e introducir la aplicación funcional. El equipo de ingeniería ha desarrollado una app escalable impulsada por IA y ha implementado todas las funciones solicitadas.
El trabajo ha dado lugar a un sofisticado Aplicación móvil de inteligencia artificial Myka - la aplicación de grabación de recetas interactiva y por voz para los amantes de la cocina. El asistente de cocina con IA hace que cocinar sea divertido: graba y lee recetas con la voz del usuario, almacena todos los datos para que el usuario nunca vuelva a olvidar los ingredientes.