Google стала лучше понимать поисковые запросы

10:09, 10 декабря. Автор:

В Google заявили, что в компании поставлена задача — понять, что именно ищут пользователи, и подобрать в сети нужную информацию, независимо от того, как был составлен изначальный запрос. Так как в основе работы Google Поиска — понимание языка, в компании годами работают над улучшением понимания поисковых запросов, но все равно иногда по-прежнему попадают впросак, особенно со сложными и «разговорными» запросами. Это одна из причин, почему люди часто пишут запросы в виде набора ключевых слов, — пользователи думают, что так разработчикам будет проще их понять.

В последнее время благодаря технологиям машинного обучения исследователи достигли больших успехов в области понимания языка, и в Google стали намного лучше обрабатывать запросы. Отмечается, что это крупнейший прорыв за последние пять лет и один из самых грандиозных успехов за всю историю Google Поиска.

В прошлом году Google в открытом доступе представила технологию предварительного обучения обработке текста на естественном языке (NLP), разработанную на базе нейронных сетей, и назвала её BERT (Bidirectional Encoder Representations from Transformers). С ее помощью каждый может обучить собственную современную вопросно-ответную систему.

Этот прорыв произошел благодаря изучению трансформеров — моделей, которые обрабатывают слова не как последовательность разрозненных языковых единиц, а учитывают в предложении взаимодействие слов друг с другом. Поэтому модели BERT могут обрабатывать не только отдельные слова, но и понимать контекст, в котором они употребляются. Это особенно важно для понимания истинного смысла поисковых запросов.

Но для решения этой задачи нужны не только новые программы. Google не хватало и технической составляющей. Некоторые модели, которые можно создать с помощью BERT, настолько сложные, что имеющееся в распоряжении компании оборудование с ними не справлялось. Поэтому инженеры компании впервые стали использовать тензорные процессоры (TPU), с помощью которых можно быстро подобрать для пользователя более актуальную информацию.

Обрабатывая стандартные и выделенные описания с помощью моделей BERT, Google стала намного лучше справляться с поиском нужной информации. Если говорить о стандартных описаниях, то BERT помогает Google Поиску лучше понимать каждый 10-й англоязычный запрос в США.

В основном Google Поиск станет эффективнее для длинных и разговорных запросов, а также запросов с предлогами. Теперь поисковая система будет лучше понимать контекст и показывать соответствующие результаты, а значит пользователи смогут использовать более естественные запросы.

Чтобы Google Поиском было удобнее пользоваться, в компании используют BERT не только для английского, но и для других языков, в том числе и для русского. Созданные системы хороши тем, что они могут применить принципы, которым обучились на одном языке, к другим.

С этого месяца модели BERT станут доступны и для запросов на русском языке.