Оценка и тестирование ИИ систем, тестирование LLM, RAG и AI-агентов

Программа курса

Ознакомьтесь с программой курса «Оценка и тестирование ИИ систем, тестирование LLM, RAG и AI-агентов» от Eval-AI - eval-ai.com

1. Основы Evaluation и Python - 2 часа. Понимание основ AI. Введение в оценку и её важность. Типы данных Python и базовые классы. Функции и пользовательские классы в Python. Интеграция внешних библиотек Python.
2. Введение в оценку машинного обучения - 2 часа. Введение в машинное обучение. Что такое матрица ошибок (Confusion Matrix). Классические ML метрики для классификации (ROC-AUC, PR-AUC). Классические ML метрики для регрессии (R-squared, RMSE, MAE).
3. Оценка нейронных сетей и глубокого обучения - 2 часа. Введение в глубокое обучение и нейронные сети. Особенности оценки нейронных сетей. Валидация в глубоком обучении (Softmax outputs, Confidence scores, Top-k accuracy, Entropy). Инструменты мониторинга обуче…
4. Оценка больших языковых моделей (LLM) - 2 часа. Как работают LLM. Подходы к оценке LLM. Популярные метрики оценки (Reference-based, Reference-free, Embedding-based). Оценка с использованием benchmark датасетов (MMLU, TruthfulQA, BIG-Bench Hard, HellaSwag и др…
5. Оценка RAG - 2 часа. Понимание RAG (Retrieval-Augmented Generation). Архитектура и типы RAG. Оценка релевантности ответов, галлюцинаций и релевантности контекста. Дополнительные метрики оценки контекста. Обзор фреймворков оценки (DeepEval, Opik Comet, Promptf…
6. Оценка AI агентов - 2 часа. Введение в AI агенты: классификация, архитектуры (ReAct, PaE, Toolformer, Multi-agent). Индикаторы выполнения задач и метрики успеха. Оценка многошагового рассуждения. Точность выбора инструментов и успешность выполнения. Работа с…
7. Оценка Multi-Turn и мультимодальных AI систем - 2 часа. Особенности оценки диалоговых систем. Метрики и методы оценки диалогов (Knowledge Retention, Turn Relevancy, Role Adherence, Conversation Completeness и др.). Оценка генерации изображений (FID, IS, CLIP…
8. Bias, Safety и ответственный AI - 2 часа. Что такое предвзятость и токсичность в AI. Как оценивать предвзятость и токсичность. Предобученные модели детекции. Как работает red teaming. Типы уязвимостей. Распространённые типы атак (Prompt injection, Jailbreaks)…

Чему вы научитесь

• изучение навыка