Полный цикл data annotation: gold data, inter-annotator agreement, crowdsourcing, validation, LLM annotation и LLM-as-a-Judge.
Семинар был проведён для коллег из разных лабораторий Института искусственного интеллекта МФТИ. Презентация использовалась только как рабочий материал и на сайт не публикуется.
Содержание охватывало метрики качества разметки, золотые датасеты, экспертную и краудсорсинговую аннотацию, многоуровневую валидацию, использование LLM, структурирование инструкций и LLM-as-a-Judge.
