Ученые Института систем информатики (ИСИ) им. А. П. Ершова СО РАН
Старший научный сотрудник лаборатории искусственного интеллекта ИСИ Елена Сидорова
«Идея проекта в том, что современные методы типа машинного обучения или нейронных сетей плохо справляются с поиском запрещенного контента. Злоумышленники могут использовать сленг при продаже наркотиков. Они называют их совершенно обычными словами, такими как «молоко» или «корова». Если блокировать эти слова, то будет заблокировано слишком много сайтов. Еще одна трудность — часто сообщения о продаже наркотиков размещаются на сайтах совершенно обычной тематики, например в комментариях к новостям».
Сначала программа анализирует структуру, затем с помощью словаря проводится лингвистический анализ содержания, и делается вывод, связан ли текст с темой наркотиков.
«Одно сообщение на веб-странице может содержать ссылку на другое, и эти цепочки помогают постоянно проверять подозрительную лексику и пополнять базу. Для обновления словаря названий наркотических средств также привлекались эксперты-наркологи, которые знают этот сленг», — уточняет Сидорова.
Отмечается, что методы машинного обучения определяют нелегальное содержание с точностью около 70%, комбинированный способ позволяет добиться точности выявления в 86% случаев. При этом почти 90% нейтральных сайтов метод не относит к нежелательным.