A apresentar, como desafio, a dificuldade de captura de dependências de longo alcance pelo uso de camadas empilhadas de atenção(self-attention).
B otimizar o seu desempenho pela substituição do uso da técnica de atenção escalonada por produto interno (scaled dotproduct attention), que causava instabilidade nos gradientes em dimensões altas.
C produzir, ao longo da sua execução, vetores de codificação posicional parabólicos, que se multiplicam aosembeddingsdas palavras, permitindo o reconhecimento da posição absoluta e relativa de cada termo.
D ser a primeira arquitetura de transdução de sequências construídas com mecanismos de atenção sustentados em redes neurais recorrentes e convolucionais profundas.
E utilizar o modelo de múltiplas "cabeças" de atenção paralelas, substituindo a proposta de atenção única global, atentando a diferentes subespaços de representação simultaneamente.