Архитектура смыслов: как работают большие языковые модели

Программа курса

Ознакомьтесь с программой курса «Архитектура смыслов: как работают большие языковые модели» от Gurufy - gurufy.ru

1. От слов к числам: векторные представления и семантическое пространство - 1 час. От слов к числам: векторные представления и семантическое пространство.
2. Вероятностная природа языка: как модель предсказывает следующее слово - 1 час. Вероятностная природа языка: как модель предсказывает следующее слово.
3. Механизм внимания (Attention): как нейросеть находит связи между словами в контексте - 1 час. Механизм внимания (Attention): как нейросеть находит связи между словами в контексте.
4. Архитектура Transformer: объединение блоков внимания в единую вычислительную систему - 1 час. Архитектура Transformer: объединение блоков внимания в единую вычислительную систему.
5. Этап Pre-training: как модель впитывает знания из колоссальных объемов данных - 1 час. Этап Pre-training: как модель впитывает знания из колоссальных объемов данных.
6. Alignment и RLHF: обучение модели следовать инструкциям и соблюдать этику - 1 час. Alignment и RLHF: обучение модели следовать инструкциям и соблюдать этику.

Чему вы научитесь

• Освоите и сможете применять: механизм внимания (attention) как нейросеть находит связи между словами в контексте.
• Освоите и сможете применять: архитектура transformer объединение блоков внимания в единую вычислительную систему.
• Освоите и сможете применять: этап pre training как модель впитывает знания из колоссальных объемов данных.
• Освоите и сможете применять: alignment и rlhf обучение модели следовать инструкциям и соблюдать этику.
• Освоите и сможете применять: вероятностная природа языка как модель предсказывает следующее слово.