|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Атаки на системы машинного обучения – общие проблемы и методыстатья
Дата последнего поиска статьи во внешних источниках: 20 апреля 2022 г.
- Авторы: Ильюшин Е.А., Намиот Д.Е., Чижов И.В.
- Журнал: International Journal of Open Information Technologies
- Том: 10
- Номер: 3
- Год издания: 2022
- Издательство: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова
- Местоположение издательства: Москва
- Первая страница: 17
- Последняя страница: 22
- Аннотация: В работе рассматривается проблема атак на системы машинного обучения. Под такими атаками понимаются специальные воздействия на элементы конвейера машинного обучения (тренировочные данные, собственно модель, тестовые данные) с целью либо добиться желаемого поведения системы, либо воспрепятствовать ее корректной работе. В целом, эта проблема является следствием принципиального момента для всех систем машинного обучения – данные на этапе тестирования (эксплуатации) отличаются от таковых же данных, на которых система обучалась. Соответственно, нарушение работы системы машинного обучения возможно и без целенаправленных действий, просто потому, что мы столкнулись на этапе эксплуатации с данными, для которых генерализация, достигнутая на этапе обучения, не работает. Атака на систему машинного обучения – это, фактически, целенаправленное выведение системы в область данных, на которых система не тренировалась. На сегодняшний день, эта проблема, которая, в общем случае, связана с устойчивостью работы систем машинного обучения, является главным препятствием для использования машинного обучения в критических приложениях.
- Добавил в систему: Намиот Дмитрий Евгеньевич