Создание сайтов

В девяностых годах прошлого столетия, когда русскоязычный интернет насчитывал всего пару тысяч сайтов появились и первые поисковые системы. Они были созданы для того, чтобы пользователь мог найти необходимую информацию в сети не набирая точного адреса сайта, а просто забив в поисковую строку то или иное слово/фразу.

Тогда для этого компания Яндекс создала алгоритм, согласно которому поиск осуществлялся только по словам из поискового запроса. Если слово из запроса в какой-то статье встречалось чаще, чем в других, эта статья ранжировалась лучше.

С годами количество сайтов стремительно увеличивается, соответственно списки найденных страниц неимоверно разрослись. Появилась необходимость придумать дополнительные критерии для ранжирования сайтов.

На протяжении своей работы Яндекс все больше совершенствовал поисковые алгоритмы. Так, была реализована система "Матрикснет", которая учитывала регион сайта и запроса, ссылки внутри документа, продолжительность просмотра страницы, количество переходов по сайту и т.п. Это стало возможным благодаря тому, что был применен метод машинного обучения. При нем программа сама принимает решение, какие признаки релевантности текста использовать, как их комбинировать и сопоставлять.

Но поиск по-прежнему основывался на ключевых словах, которые должны были содержаться в заголовках и подзаголовках, а также выделяться стилистическими средствами.

Инновационный подход к поиску был осуществлен при запуске алгоритма "Палех", когда программисты разработали метод преобразования запроса в семантические векторы, которые представляют собой группы чисел. Это преобразование совершает нейронная сеть. Теперь даже если заголовок документа не содержит всех слов из поискового запроса, но сходство семантических векторов велико, то сайт отобразится на верхних позициях в поисковой выдаче.

Представленный Яндекс новый поисковый алгоритм "Королев" идет дальше: он будет сравнивать поисковые векторы не только заголовков, а всего текста на странице. Но сравнивание будет происходить не в реальном времени, а еще на этапе индексирования. В этом случае нейронная сеть обучается на положительных и отрицательных примерах. Сначала происходит сбор статистики, затем принимается решение о том, на сколько точно данная страница подходит для данного поискового запроса.

А это значит, что владельцам сайтов и веб-мастерам для отображения сайта на первых позициях поисковика теперь нужно будет поработать над дополнительными смысловыми связями.