Подходы к AI на примере машинного перевода / Евгений Соколов
В 1990-х такая работа проводилась усилиями лингвистов, которые создавали наборы правил перевода. Вскоре появился статистический машинный перевод, работающий более автоматизированно, но требующий параллельных корпусов — одинакового текста, написанного на разных языках. Из них статистическими методами извлекались правила и строились многомодульные системы перевода. В 2015 году появился нейросетевой машинный перевод, работающий очень успешно, но требующий очень много данных, значительных вычислительных мощностей и новых математических методов. И сегодня разработка «машинного переводчика» сводится к настройке миллионов или миллиардов однородных параметров у специальных алгоритмов, которые, как мы видим, отлично преобразуют тексты из одного языка в другой. На первых порах обучения такая система выдает случайные наборы слов. Но за пару недель суперкомпьютер может найти одну из сотни миллиардов конфигураций, которая будет удачной. И тогда мы получим «машинного переводчика», который работает лучше, чем все системы, созданные лингвистами за многие десятки лет исследований.
В 1990-х такая работа проводилась усилиями лингвистов, которые создавали наборы правил перевода. Вскоре появился статистический машинный перевод, работающий более автоматизированно, но требующий параллельных корпусов — одинакового текста, написанного на разных языках. Из них статистическими методами извлекались правила и строились многомодульные системы перевода. В 2015 году появился нейросетевой машинный перевод, работающий очень успешно, но требующий очень много данных, значительных вычислительных мощностей и новых математических методов. И сегодня разработка «машинного переводчика» сводится к настройке миллионов или миллиардов однородных параметров у специальных алгоритмов, которые, как мы видим, отлично преобразуют тексты из одного языка в другой. На первых порах обучения такая система выдает случайные наборы слов. Но за пару недель суперкомпьютер может найти одну из сотни миллиардов конфигураций, которая будет удачной. И тогда мы получим «машинного переводчика», который работает лучше, чем все системы, созданные лингвистами за многие десятки лет исследований.