-
Notifications
You must be signed in to change notification settings - Fork 42
TAP Rouanet Bot
O objetivo deste projeto é produzir um chatbot capaz de atender parte das dúvidas relacionadas à Lei Rouanet, no Portal da Lei Rouanet, e ao sistema Salic, no próprio Salic. O bot será inserido em tais sistemas e deve responder às perguntas de acordo com o seu contexto, sem a ajuda externa de um humano. Caso o bot não consiga responder, serão apresentados ao usuário outros meios de contato com os sistemas.
O bot é capaz de responder perguntas definidas nos arquivos de treinamento. Ele não será capaz de criar novas perguntas ou respostas. E também não conseguirá atender a todos os chamados, pois existem perguntas que não serão mapeadas no treinamento.
Afim de melhorar a interação entre usuário e bot, algumas tecnologias serão testadas com diferentes formas de inteligência artificial.
Além disto, o bot terá uma personalidade própria para manter a consistência na escrita de suas respostas. No futuro, serão testadas diferentes personalidades. Seus respectivos desempenhos serão comparados via teste A/B, caso haja público suficiente para tal teste.
A forma de treinamento do bot, inicialmente, será feita via arquivos de texto YAML
. Vindo a ser implementada uma forma diferente ao longo do ano, via interface gráfica e texto.
- O bot depende de dados vindos do Ministério da Cultura para ser alimentado e responder as perguntas. Caso estes dados sejam insuficientes, incompletos ou não fornecidos, o bot não terá a capacidade de atender os usuários de maneira satisfatória.
- Todas as tecnologias utilizados no projeto estão em evolução pela acadêmia e comunidade de software livre, caso a evolução delas cessem, ou se demonstre não própria para o uso em chatbots, o bot não poderá ser evoluído com elas. Isto requer uma troca de tecnologia.
Nesta primeira etapa, será utilizado o framework Hubot Natural integrado a um conjunto de arquivos (com formatação YAML) para realizar o treinamento do bot. Tal bot será treinado com uma série de dúvidas frequentes do Portal da Lei Rouanet e do Salic, fornecidas da ouvidoria da SEFIC. Esta será uma versão inicial que possui limitações devido à tecnologia utilizada.
O bot contará com um módulo interno de coleta de métricas para o acompanhamento de sua eficiência.
Será feito um estudo de diversos frameworks de criação de chatbots que estão no mercado. Para suprir as limitações do Hubot Natural. Após o estudo, um framework será escolhido para implementar uma nova versão do bot. Serão realizados diversos testes de eficiência comparando a primeira e a nova versão do bot.
Nesta etapa, ainda será dado início ao desenvolvimento da interface gráfica para manipulação da base de conhecimentos de treinamento do bot.
Após a estabilização e uso da tecnolgia do bot no Portal da Lei Rouanet, o bot será aplicado no Salic com foco inicial na etapa de admissibilidade. O intuito desta etapa é fazer com que o bot consiga responder questões relacionadas ao preenchimento da proposta.
- Versão inicial do bot com o framework Hubot Natural;
- Criação da base de conhecimentos baseada na ouvidoria da SEFIC;
- Evolução do Hubot Natural, com contribuições da equipe no repositório oficial da ferramenta;
- Estudo e definição da tecnologia para criação da nova versão do bot;
- Colocar a primeira versão do bot em homologação nos servidores do MinC e lappis;
- Colocar a primeira versão do bot em produção, a depender da decisão do MinC;
- Assim que o bot for colocado em produção, iniciar o suporte ao MinC e a coleta de dados para posterior análise de desempenho e testes comparativos.
- Implementação da nova versão do bot, já utilizando uma abordagem mais poderosa de desenvolvimento de bots;
- Criação de um ambiente de testes dos diferentes bots desenvolvidos;
- Suporte à versão de produção do bot;
- Coleta de dados para análise e testes comparativos.
- Desenvolvimento da interface gráfica para manipulação da base de conhecimentos de treinamento do bot;
- Suporte à versão de produção do bot;
- Coletar e processar métricas de uso do bot:
- Testes de usabilidade;
- Testes A/B entre diferentes implementações ou bases de conhecimento do bot.
- Colocar a segunda versão do bot em homologação nos servidores do MinC e lappis;
- Colocar a segunda versão do bot em produção, a depender da decisão do MinC;
- Melhoria da base de conhecimento;
- Suporte à versão de produção do bot;
- Coletar e processar métricas de uso do bot:
- Número de atendimentos a usuários pelos servidores antes e depois da implementação do bot.
- Conteúdo atual
- Novos tópicos para inserir no futuro
- Intents classificados errado
- Sinônimos de tópicos existentes
- Tópicos complicados para avaliar
- Sugestões de Fluxo
- intents_depreciadas
- utters_depreciadas
- Estudo sobre ferramentas de bots
- Estudo sobre melhores práticas de bots
- Estudo sobre pipeline do RASA
- Estudo sobre intents eficientes
- Estudo sobre refinamento da Taís
- Estudo de ferramentas de edição de conteúdo
- Estudo de Slots e Entidades
- Estudo de teste automatizado
- Estudo de Custom Actions
- Estudo de Interação
- Estudo de Métricas para Bots
- Estudo de Embedding Policy