Оценка качества и метрики LLM: как измерить интеллект нейросети
Курс погружает в методы объективного сравнения больших языковых моделей. Вы изучите ключевые бенчмарки, такие как MMLU и HumanEval, и научитесь выявлять ограничения, оценивая логику, код и безопасность нейросетей.
Программа курса
Ознакомьтесь с программой курса «Оценка качества и метрики LLM: как измерить интеллект нейросети» от Gurufy - gurufy.ru
- Классические метрики генерации текста: Perplexity, BLEU и ROUGE - 1 час. Классические метрики генерации текста: Perplexity, BLEU и ROUGE.
- Оценка эрудиции и логики: бенчмарки MMLU и GSM8K - 1 час. Оценка эрудиции и логики: бенчмарки MMLU и GSM8K.
- Проверка навыков программирования: бенчмарк HumanEval и метрика Pass@k - 1 час. Проверка навыков программирования: бенчмарк HumanEval и метрика Pass@k.
- Оценка диалоговых моделей: Chatbot Arena и подход LLM-as-a-Judge - 1 час. Оценка диалоговых моделей: Chatbot Arena и подход LLM-as-a-Judge.
- Измерение безопасности: оценка галлюцинаций, токсичности и устойчивости к взлому - 1 час. Измерение безопасности: оценка галлюцинаций, токсичности и устойчивости к взлому.
Чему вы научитесь
- Освоите и сможете применять: проверка навыков программирования бенчмарк humaneval и метрика pass@k.
- Освоите и сможете применять: классические метрики генерации текста perplexity, bleu и rouge.
Подробная информация о курсе
Курс погружает в методы объективного сравнения больших языковых моделей. Вы изучите ключевые бенчмарки, такие как MMLU и HumanEval, и научитесь выявлять ограничения, оценивая логику, код и безопасность нейросетей.
Цены и сроки
- Стоимость0 ₽
- Дата началаc Invalid Date
Содержание
- Формат обучениясамостоятельно
Похожие курсы
0,0
Оценка качества и метрики LLM: как измерить интеллект нейросети
₽