Principais pormenores
Criador de receitas interativo, ativado por voz e mãos-livres.
-
DesafioAplicação de cozinha mãos-livres e controlada por voz
-
SoluçãoAplicação de assistente de voz com IA inteligente para cozinhar em modo mãos-livres
-
Tecnologias e ferramentasSpeech2Text personalizado (afinação de wav2vec2), API de voz do Google Cloud, Apple Speech Kit, aumento de dados de voz, assistente de voz de IA, ativação por voz, classificação de intenções de voz, análise de texto de receitas (reconhecimento de entidades nomeadas para receitas), análise de dependência de entidades (compreensão das relações entre ingredientes, respectivos valores e unidades utilizando o pacote Stanza), restauro automático de pontuação, AWS, AWS SageMaker
Cliente
Para realizar o projeto de desenvolvimento de um assistente de cozinha inteligente com IA, o cliente necessitava de uma equipa experiente, capaz de desenvolver uma pilha completa e Consultoria em IA com um elevado nível de especialização em Ciência de Dados.
O cliente procurava uma equipa com profissionalismo, conhecimentos profundos em Machine Learning, um historial positivo, boa comunicação e entusiasmo para realizar um projeto como o seu. A equipa mencionaram que ao entrevistar mais de duas dúzias de empresas em todo o mundo, a ESSID Solutions destacou-se imediatamente desde o início do processo.
O cliente chegou até nós com um protótipo de aplicação que já tinha um back-end, um front-end, uma aplicação iOS e alguma IA que precisava de mais desenvolvimentos. A principal preocupação do cliente era o facto de a funcionalidade de reconhecimento de voz não funcionar corretamente.
Desafio: aplicação de cozinha mãos-livres e controlada por voz
A ESSID Solutions foi desafiada a desenvolver um sistema de IA robusto - tanto os aspectos de front-end como de back-end (e a aplicação IOS) da aplicação e a Integração de algoritmos de IA.
A ideia da aplicação é desenvolver um assistente de cozinha com IA que permita às pessoas cozinharem em modo mãos-livres (porque as suas mãos podem estar ocupadas a preparar a comida). Ao cozinhar, pode ditar a sua receita à aplicação, que a regista e guarda. Ou pode pedir à aplicação que lhe dite algumas das receitas enquanto prepara a comida. Com a ajuda do assistente de cozinha, o utilizador pode cozinhar sem ter de andar para trás e para a frente entre o livro de receitas ou o telemóvel e o fogão. A aplicação permite experiências culinárias agradáveis.
A equipa que trabalhou no projeto incluía um gestor de projectos, um cientista de dados, um programador full-stack, um programador iOS e um engenheiro de controlo de qualidade.
Solução: Aplicação de assistente de voz com IA para cozinhar em modo mãos-livres
A equipa da ESSID Solutions fez uma nova implementação de IA para todos os componentes da aplicação. Desde então, a aplicação pode ser controlada por voz. A ativação por voz da aplicação e o reconhecimento dos comandos do utilizador funcionam muito bem, assim como a transcrição do texto das receitas.
A pedido do cliente, desenvolvemos um Algoritmo de IA para a funcionalidade pertinente da aplicação - um assistente de cozinha com IA.
Em primeiro lugar, os nossos engenheiros efectuaram uma revisão e refactorização das restantes partes da aplicação (back-end, front-end, iOS).
A tarefa seguinte foi desenvolver um grande número de funcionalidades adicionais (como a extração automática de ingredientes, a automatização da soma dos ingredientes, a partilha de receitas através das redes sociais, a notificação push, a recolha de dados, etc.). Revisámos e reconfigurámos o sistema informático do cliente arquitetura de nuvem no AWS para otimizar os custos e melhorar a disponibilidade e a sustentabilidade.
Arquitetura de aplicações de alto nível:

Assim, como o cliente solicitou o serviços de desenvolvimento full-stackO projeto foi planeado em duas fases:
Fase I. Desenvolver as partes back-end e front-end da aplicação.
Fase II. Desenvolver um algoritmo de IA que tornasse a cozinha digitalizada e sem esforço, sem ter de andar com telemóveis gordurosos à volta e andar para trás e para a frente entre listas de ingredientes e passos.
Para tal, a nossa equipa utilizou tecnologia de reconhecimento de voz para texto que ajuda a converter a voz num livro de receitas escrito no telemóvel do utilizador. A tecnologia permite a gravação e o ditado de voz sem problemas.
As funcionalidades que implementámos no assistente de cozinha com IA:
- Ativação por voz, controlo por voz da aplicação, criação e edição de receitas por voz, audição de receitas
- Notas de voz a acrescentar
- Pesquisa de receitas utilizando o título da receita e os nomes dos ingredientes
- Edição e reorganização de passos de receitas
- Extração automática dos ingredientes, dos seus valores e unidades
- Soma automática dos ingredientes (com base nos seus valores e unidades)
- Partilha de receitas (incluindo redes sociais).
Com o registo de receitas, o livro de receitas e o planeador de refeições num único local, é fácil para o utilizador tornar a cozinha divertida e fácil.
Resultado: aplicação móvel para preparar receitas com facilidade
Compreensão das necessidades do cliente e experiência em ciência de dados e IA, a ESSID Solutions ajudou o cliente a concretizar a ideia e a introduzir a aplicação funcional. A equipa de engenharia desenvolveu uma aplicação escalável alimentada por IA e implementou todas as funcionalidades solicitadas.
O trabalho resultou numa sofisticada Aplicação móvel de IA Myka - a aplicação de gravação de receitas interactiva e alimentada por voz para os entusiastas da cozinha. O assistente de cozinha com IA torna a cozinha divertida - grava e lê receitas com a voz do utilizador, armazena todos os dados para que o utilizador nunca mais se esqueça dos ingredientes.