История развития NLP / Татьяна Шаврина

История NLP началась с анализа совместной встречаемости символов, на основе вероятности встретить ту или иную комбинацию символов были построены первые системы обнаружения опечаток. С таких баз началась «корпусная лингвистика» — статистика строилась по огромным базам документов и литературы, и наличие корпусов на разных языках позволило появиться решениям в области статистического перевода. С 2010 года рост количества интернет-данных позволил собрать достаточно статистики, чтобы появились первые сложные векторные представления слов и документов: каждому слову или документу стали сопоставлять короткий набор чисел (вектор). Такая форма представления значительно улучшила качество перевода, распознавания и синтеза речи, классификации и генерации документов, вследствие чего в некоторых точечных задачах нейросети по качеству работы обогнали людей. Сегодня для справедливого сравнения существуют сложные бенчмарки (например, SuperGLUE), которые совершенствуются параллельно с ростом способности нейросетей успешно имитировать мышление человека.