- \n
- \nDesafio<\/div>\nAplica\u00e7\u00e3o de cozinha m\u00e3os-livres e controlada por voz<\/div>\n<\/li>\n
- \n
Solu\u00e7\u00e3o<\/div>\nAplica\u00e7\u00e3o de assistente de voz com IA inteligente para cozinhar em modo m\u00e3os-livres<\/div>\n<\/li>\n- \n
Tecnologias e ferramentas<\/div>\nSpeech2Text personalizado (afina\u00e7\u00e3o de wav2vec2), API de voz do Google Cloud, Apple Speech Kit, aumento de dados de voz, assistente de voz de IA, ativa\u00e7\u00e3o por voz, classifica\u00e7\u00e3o de inten\u00e7\u00f5es de voz, an\u00e1lise de texto de receitas (reconhecimento de entidades nomeadas para receitas), an\u00e1lise de depend\u00eancia de entidades (compreens\u00e3o das rela\u00e7\u00f5es entre ingredientes, respectivos valores e unidades utilizando o pacote Stanza), restauro autom\u00e1tico de pontua\u00e7\u00e3o, AWS, AWS SageMaker<\/div>\n<\/li>\n<\/ul>\n<\/div>\nCliente<\/h2>\n
Para realizar o projeto de desenvolvimento de um assistente de cozinha inteligente com IA, o cliente necessitava de uma equipa experiente, capaz de desenvolver uma pilha completa e Consultoria em IA<\/a> com um elevado n\u00edvel de especializa\u00e7\u00e3o em Ci\u00eancia de Dados.<\/p>\n
O cliente procurava uma equipa com profissionalismo, conhecimentos profundos em Machine Learning, um historial positivo, boa comunica\u00e7\u00e3o e entusiasmo para realizar um projeto como o seu. A equipa mencionaram<\/a> que ao entrevistar mais de duas d\u00fazias de empresas em todo o mundo, a ESSID Solutions destacou-se imediatamente desde o in\u00edcio do processo.<\/p>\n
O cliente chegou at\u00e9 n\u00f3s com um prot\u00f3tipo de aplica\u00e7\u00e3o que j\u00e1 tinha um back-end, um front-end, uma aplica\u00e7\u00e3o iOS e alguma IA que precisava de mais desenvolvimentos. A principal preocupa\u00e7\u00e3o do cliente era o facto de a funcionalidade de reconhecimento de voz n\u00e3o funcionar corretamente.<\/p>\n
Desafio: aplica\u00e7\u00e3o de cozinha m\u00e3os-livres e controlada por voz<\/h2>\n
A ESSID Solutions foi desafiada a desenvolver um sistema de IA robusto - tanto os aspectos de front-end como de back-end (e a aplica\u00e7\u00e3o IOS) da aplica\u00e7\u00e3o e a Integra\u00e7\u00e3o de algoritmos de IA<\/a>.<\/p>\n
A ideia da aplica\u00e7\u00e3o \u00e9 desenvolver um assistente de cozinha com IA que permita \u00e0s pessoas cozinharem em modo m\u00e3os-livres (porque as suas m\u00e3os podem estar ocupadas a preparar a comida). Ao cozinhar, pode ditar a sua receita \u00e0 aplica\u00e7\u00e3o, que a regista e guarda. Ou pode pedir \u00e0 aplica\u00e7\u00e3o que lhe dite algumas das receitas enquanto prepara a comida. Com a ajuda do assistente de cozinha, o utilizador pode cozinhar sem ter de andar para tr\u00e1s e para a frente entre o livro de receitas ou o telem\u00f3vel e o fog\u00e3o. A aplica\u00e7\u00e3o permite experi\u00eancias culin\u00e1rias agrad\u00e1veis.<\/p>\n
A equipa que trabalhou no projeto inclu\u00eda um gestor de projectos, um cientista de dados, um programador full-stack, um programador iOS e um engenheiro de controlo de qualidade.<\/p>\n
Solu\u00e7\u00e3o: Aplica\u00e7\u00e3o de assistente de voz com IA para cozinhar em modo m\u00e3os-livres<\/h2>\n
A equipa da ESSID Solutions fez uma nova implementa\u00e7\u00e3o de IA para todos os componentes da aplica\u00e7\u00e3o. Desde ent\u00e3o, a aplica\u00e7\u00e3o pode ser controlada por voz. A ativa\u00e7\u00e3o por voz da aplica\u00e7\u00e3o e o reconhecimento dos comandos do utilizador funcionam muito bem, assim como a transcri\u00e7\u00e3o do texto das receitas.<\/p>\n
A pedido do cliente, desenvolvemos um Algoritmo de IA<\/a> para a funcionalidade pertinente da aplica\u00e7\u00e3o - um assistente de cozinha com IA.<\/p>\n
Em primeiro lugar, os nossos engenheiros efectuaram uma revis\u00e3o e refactoriza\u00e7\u00e3o das restantes partes da aplica\u00e7\u00e3o (back-end, front-end, iOS).<\/p>\n
A tarefa seguinte foi desenvolver um grande n\u00famero de funcionalidades adicionais (como a extra\u00e7\u00e3o autom\u00e1tica de ingredientes, a automatiza\u00e7\u00e3o da soma dos ingredientes, a partilha de receitas atrav\u00e9s das redes sociais, a notifica\u00e7\u00e3o push, a recolha de dados, etc.). Revis\u00e1mos e reconfigur\u00e1mos o sistema inform\u00e1tico do cliente arquitetura de nuvem no AWS<\/a> para otimizar os custos e melhorar a disponibilidade e a sustentabilidade.<\/p>\n
Arquitetura de aplica\u00e7\u00f5es de alto n\u00edvel:<\/p>\n
![\"assistente](\"https:\/\/essidsolutions.com\/wp-content\/uploads\/2022\/11\/intelligent-ai-cooking-assistant-scheme.png\")
<\/p>\nAssim, como o cliente solicitou o servi\u00e7os de desenvolvimento full-stack<\/a>O projeto foi planeado em duas fases:<\/p>\n
Fase I.<\/strong> Desenvolver as partes back-end e front-end da aplica\u00e7\u00e3o.<\/p>\n
Fase II.<\/strong> Desenvolver um algoritmo de IA que tornasse a cozinha digitalizada e sem esfor\u00e7o, sem ter de andar com telem\u00f3veis gordurosos \u00e0 volta e andar para tr\u00e1s e para a frente entre listas de ingredientes e passos.<\/p>\n
Para tal, a nossa equipa utilizou tecnologia de reconhecimento de voz para texto que ajuda a converter a voz num livro de receitas escrito no telem\u00f3vel do utilizador. A tecnologia permite a grava\u00e7\u00e3o e o ditado de voz sem problemas.<\/p>\n
As funcionalidades que implement\u00e1mos no assistente de cozinha com IA:<\/p>\n
- \n
- Ativa\u00e7\u00e3o por voz, controlo por voz da aplica\u00e7\u00e3o, cria\u00e7\u00e3o e edi\u00e7\u00e3o de receitas por voz, audi\u00e7\u00e3o de receitas<\/li>\n
- Notas de voz a acrescentar<\/li>\n
- Pesquisa de receitas utilizando o t\u00edtulo da receita e os nomes dos ingredientes<\/li>\n
- Edi\u00e7\u00e3o e reorganiza\u00e7\u00e3o de passos de receitas<\/li>\n
- Extra\u00e7\u00e3o autom\u00e1tica dos ingredientes, dos seus valores e unidades<\/li>\n
- Soma autom\u00e1tica dos ingredientes (com base nos seus valores e unidades)<\/li>\n
- Partilha de receitas (incluindo redes sociais).<\/li>\n<\/ul>\n
Com o registo de receitas, o livro de receitas e o planeador de refei\u00e7\u00f5es num \u00fanico local, \u00e9 f\u00e1cil para o utilizador tornar a cozinha divertida e f\u00e1cil.<\/p>\n
Resultado: aplica\u00e7\u00e3o m\u00f3vel para preparar receitas com facilidade<\/h2>\n
Compreens\u00e3o das necessidades do cliente e experi\u00eancia em ci\u00eancia de dados<\/a> e IA, a ESSID Solutions ajudou o cliente a concretizar a ideia e a introduzir a aplica\u00e7\u00e3o funcional. A equipa de engenharia desenvolveu uma aplica\u00e7\u00e3o escal\u00e1vel alimentada por IA e implementou todas as funcionalidades solicitadas.<\/p>\n
- \n