РАЗРАБОТКА АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ КЛАССИФИКАЦИИ ТЕКСТОВЫХ СООБЩЕНИЙ ПО ТОНАЛЬНОСТИ И СЕМАНТИЧЕСКИМ КАТЕГОРИЯМ НА ОСНОВЕ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА
Keywords:
искусственный интеллект, обработка естественного языка (NLP), анализ тональности, семантическая классификация.Abstract
В статье рассматривается разработка алгоритмов искусственного интеллекта для автоматической классификации текстовых сообщений по тональности и семантическим категориям на основе методов обработки естественного языка (NLP). Описывается полный цикл построения модели: сбор и разметка данных, предобработка текста, извлечение признаков и обучение классификаторов, а также оценка качества по метрикам точности, полноты, F1-меры и ROC-AUC. Отдельное внимание уделяется сравнению традиционных подходов (TF-IDF, SVM, логистическая регрессия) и современных нейросетевых моделей на базе трансформеров, способных учитывать контекст и смысл высказывания.
References
1. Журафский Д., Мартин Дж. Ҳ. Обработка речи и языка. — 3-е изд. — Пирсон, 2023.
2. Мэннинг К. Д., Рагхаван П., Шютце Х. Введение в информационный поиск. — Кембридж: Кембридж Юниверсити Пресс, 2009.
3. Девлин Дж., Чанг М.-В., Ли К., Тутанова К. BERT: Предобучение глубоких двунаправленных трансформеров для понимания языка // Материалы конференции НААКЛ-ХЛТ. — 2018.
4. Васвани А. и др. Механизм внимания как основа трансформеров (Attention Is All You Need) // Материалы конференции НейрИПС. — 2017.
5. Панг Б., Ли Л. Анализ тональности и извлечение мнений // Foundations and Trends in Information Retrieval. — 2008.
