Мы с моим студентом из ВШЭ – Алексеем Шимко попробовали использовать одну из интересных нейросетей для seq2seq – ByteNet для постороения переводчика. Это была его курсовая работа. Для оценивания качества перевода использовалась традиционная метрика BLEU. Метрика BLEU была разработана для оценки качества машинного перевода в предположении «Чем ближе машинный перевод к профессиональному человеческому переводу, тем лучше». BLEU вычисляется как среднее модифицированной точности, умноженной на экспоненциальный штраф за лаконичность.