|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Обзор методов очистки данных для машинного обучениястатья
Дата последнего поиска статьи во внешних источниках: 24 июля 2024 г.
- Авторы: Макаров А.В., Намиот Д.Е.
- Журнал: International Journal of Open Information Technologies
- Том: 11
- Номер: 10
- Год издания: 2023
- Издательство: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова
- Местоположение издательства: Москва
- Первая страница: 70
- Последняя страница: 78
- Аннотация: В последние несколько лет модели машинного обучения и нейросети начали активно внедряться в повседневную жизнь. Основными параметрами при их обучении являются точность и эффективность. Один из главных этапов, который позволяет улучшить эти показатели, заключается в подготовке набора данных. Перед применением любого метода необходимо произвести предварительную очистку данных, так как иначе полученные результаты могут быть неточными или некорректными. Даже несмотря на то, что начинающие исследователи подготавливают наборы данных, зачастую очистка производится некорректно или неэффективно с множеством ошибок. В данной статье представлен обзор основных методов, рассмотрены их достоинства и недостатки, а таже даны общие рекомендации, позволяющие улучшить процесс очистки данных. Помимо этого, особое внимание уделено важности умения пользоваться различными инструментами для очистки данных. Рассмотрены основные библиотеки, такие как Pandas, scikit-learn и NumPy, специализированные программы типа OpenRefine, различные возможности языка R, а также методы нормализации, стандартизации и обработки текстовых данных. Правильное использование инструментов для очистки данных существенно влияет на качество анализа и моделирования, способствуя более точным и надежным результатам.
- Добавил в систему: Намиот Дмитрий Евгеньевич