опыт Plario.ru

Как научить искусственный интеллект обучать людей математике


«Меня зовут Дмитрий Бубнов, и вот уже 14 лет я руковожу компанией ENBISYS. Мы помогаем крупным западным клиентам на пути к цифровизации. Кроме услуг классической заказной разработки, в 2016 г. мы создали лабораторию машинного обучения и с тех пор накопили значительный опыт работы с большими данными.

Компания ENBISYS реализовала несколько проектов по созданию систем адаптивного обучения в Западной Европе. Работая с этими проектами, мы увидели возможность улучшить качество образования в России за счёт умных алгоритмов на технологиях машинного обучения. Именно этим мы занимаемся с 2018 года в партнерстве с Томским государственным университетом и другими ведущими вузами страны».

«В этой статье я хочу поделиться нашим опытом по созданию Plario.ru. Это онлайн-платформа адаптивного обучения математике для старшеклассников и первокурсников.
Я опишу технологические подходы к созданию таких систем, расскажу о технологиях, которые используются за рубежом, а также о том, как и зачем их можно дорабатывать».
Для начала разберёмся, что такое адаптивное обучение, и чем оно отличается от неадаптивного. Из названия очевидно, что адаптивное обучение подстраивается под особенности конкретного ученика, его уровень знаний и потребности. Хорошим примером адаптивного обучения является индивидуальная работа с репетитором. В процессе работы с подопечным хороший репетитор выявляет имеющиеся знания, фиксирует пробелы, а также определяет, как ученик лучше всего усваивает новые знания.

Развитие технологий позволило тиражировать этот подход. Современные системы онлайн-обучения могут варьировать последовательность обучающих материалов в соответствии с индивидуальным прогрессом учеников, который определяется по их ответам на вопросы и задания. В конечном счёте, цель адаптивного обучения — превратить учащегося из пассивного приемника информации в активного участника учебного процесса.
Какие задачи призваны решать системы адаптивного обучения? Почему они стали таким мощным трендом современного образования?
Ответ кроется в желании современных пользователей:

• формулировать цели обучения на понятном языке
• достигать их за максимально короткое время
• отслеживать прогресс
• учиться в любом месте в любое время
Задача адаптивности
• Зная успехи по предыдущим элементам, выбрать лучший следующий (цифровой след)
• Предсказать вероятность решения
Чтобы обеспечить процесс обучения в подобном формате, недостаточно «оцифровать» учебники и лекции. Нужно научить систему помогать пользователям осваивать только необходимые им навыки
Таким образом, современное образование должно быть:

• индивидуализировано (т.е. адаптивно);
• гранулировано (представлено в формате микроконтента);
• социализировано (коммуникация внутри платформы и за ее пределами);
• непрерывно.
Задачи алгоритма
• распознать (профиль) ученика
• исключить эмоциональные факторы
• выбрать оптимальную траикторию
Петля адаптивного обучения
Именно для этого создаются системы адаптивного обучения, где основная задача адаптивности – это выбор наиболее подходящего контента для учащегося в соответствии с его цифровым следом.

Существует несколько видов адаптивных систем:
Machine learning based
Искусственный интеллект распознает паттерн, создается цифровой двойник как база для прочих алгоритмов.
Rules based
Такие системы предусматривают несколько траекторий и обеспечивают грубую индивидуализацию.
Advanced algorithm
Данные алгоритмы записывают клики и интервалы, сравнивают с другими студентами, пересчитывают траекторию.
Decision trees
Эти алгоритмы содержат фиксированные жесткие условия «если-то»: если ученик неправильно ответил на вопрос T1, то показать теорию или вернуть назад к навыку X2.
Концептуальная модель системы адаптивного обучения
Среди наиболее успешных и подтвердивших свою эффективность платформ можно выделить:

• Knewton;
• ALEKS;
• LearnSmart;
RedBird.

Большинство из них являются очень сложными и дорогими для использования в российских вузах и школах. Эти системы используют формальные математические модели для представления и оценки состояния обучающегося, например, расширенную Item Response Theory (IRT) в Knewton, или Knowledge Space Theory / Learning Space Theory в ALEKS. Кроме того, адаптивная логика, как правило, предполагает использование «больших данных» (обрабатываемых методами машинного обучения и глубинного анализа данных).

Также, в интеллектуальных обучающих системах широко применяют алгоритм Bayesian Knowledge Tracing (BKT), представляющий знание студента (степень владения определённым навыком) как скрытую переменную в марковском процессе, обновляемую путём наблюдения правильности / ошибочности взаимодействия студента с системой, в котором он применяет рассматриваемый навык (решает задачу, требующую владение навыком).
Пример Plario.ru
Компания ENBISYS совместно с Томским государственным университетом реализовала задачу «выравнивания» уровня владения навыками элементарной математики с использованием технологий адаптивного обучения в онлайн тренажёре Plario.ru.

Математику как предметную область мы решили выбрать в силу нескольких причин: данный предмет достаточно просто разложить на необходимый и логичный «гранулярный» контент. Кроме того, существует объективная проблема: студенты, поступающие в вуз, находятся на самых разных уровнях подготовки по математике, и, зачастую, этого уровня недостаточно для изучения более сложной вузовской программы. Это негативно сказывается на эффективности групповых аудиторных занятий, т.к. преподавателю крайне сложно адаптировать состав и темп подачи материала к фактическому уровню каждого студента. Помимо этого, есть необходимость дополнительно заниматься математикой и у учащихся старших классов школ с целью подготовки к ЕГЭ.
Plario.ru состоит из 6 обучающих модулей: преобразование алгебраических выражений, тригонометрия, логарифмы, уравнения, неравенства, функции.
Каждый модуль — это совокупность взаимосвязанных «навыков» (от 30 до 60), где каждый «навык» соответствует конкретному умению/способности использовать определенный набор теоретических знаний из этой темы для решения практических задач. Состояние знаний (модель) студента представляется совокупностью пар (навык, мастерство). Мастерство – это степень освоения навыка, уверенность в том, что студент освоил этот навык. Мастерство может принимать значения в диапазоне от 0 до 100%. Навык считается освоенным, если уверенность в его освоении превышает некоторое пороговое значение, например, 90%.
В ходе разработки системы мы учли следующие требования:
1. При использовании Plario.ru учащийся должен достичь целевого состояния – освоить все навыки с уверенностью не ниже порогового значения, например, 90%. Это означает, что с вероятностью 90% студент будет владеть навыком на необходимом уровне.

2. Исходный уровень подготовки студента позволяет определить, какие именно навыки ему нужно тренировать и с какого навыка необходимо начать процесс обучения. Plario.ru должна диагностировать входной уровень знаний студента с детализацией по каждому навыку.

3. Для достижения целевого состояния каждому студенту требуется разное количество учебных материалов различного уровня сложности. Система должна предоставлять то количество учебных материалов различной сложности, которое будет достаточным для освоения каждого навыка. Чтобы исключить вероятность механического запоминания правильного ответа, предусмотрена избыточность контента.

4. Текущее состояние студента (мастерство по каждому навыку) должно быть доступно в каждый момент времени.

5. Система должна предлагать студенту индивидуальную последовательность учебных материалов, соответствующих его текущему состоянию.

6. Теоретические материалы должны быть доступны студенту в полном объеме независимо от текущего состояния.
Таким образом, Plario.ru состоит из следующих блоков: адаптивный алгоритм, модель предметной области в виде онтологий (графов навыков) и диагностический алгоритм.
Из-за особенностей предметной области (математики) в Plario.ru мы решили использовать расширенную версию алгоритма BKT (Bayesian Knowledge Tracing), отличающуюся от стандартной возможностью:

• задавать индивидуальные значения вероятностей «transit», «slip» и «guess» для каждой связи «учебный материал» – «навык»;
• соотносить учебные материалы более чем с одним навыком;
• задавать зависимости типа «пре-реквизит» между навыками.

Расширенная версия BKT в Plario.ru обеспечивает динамическое формирование индивидуальной траектории обучения, когда траектория меняется после выполнения каждого задания.
Данный алгоритм позволяет оценивать текущее состояние студента (какими навыками владеет и какие навыки готов осваивать) после каждого совершенного взаимодействия с системой в виде ответа на предложенное задание.
Поскольку на начальном этапе мы не имели реальных фактических данных о параметрах и результатах обучения, для реализации рекомендательной части системы (адаптивной логики) мы решили использовать алгоритм ранжирования материалов, исправленный и дополненный в соответствии с требованиями к системе. Со временем, после накопления достаточного количества данных, мы планируем перевести механизм адаптивной логики на технологии машинного обучения.

Адаптивность процесса обучения обеспечивается гибким алгоритмом рекомендации упражнений для студента, который обеспечивает:

• ускоренное устранение пробелов;
• непрерывность процесса обучения;
• готовность пререквизитов (уровень освоения, достаточный для продвижения далее).

Модель компетенций (граф навыков)

Модель компетенций для каждого модуля в Plario.ru была разработана группой экспертов ТГУ и представляет собой ориентированный ациклический граф, в котором:

вершины – это конкретные навыки (например, «Выносить за скобки общий множитель», «Группировать слагаемые»);

дуги – это зависимости между навыками, где начальная вершина соответствует навыку-пре-реквизиту, а конечная вершина – зависимому навыку;

зависимости имеют «силу», описывающую «степень обязательности» изучения пре-реквизита для перехода к изучению навыка (где 1 – максимальная степень зависимости, не допускающая перехода к освоению зависимого навыка, если не освоен навык-пре-реквизит).

Состояние знаний студента в каждый момент времени (модель студента) может быть представлено как совокупность навыков, для каждого из которых определено индивидуальное значение мастерства (уверенности в том, что данный студент освоил данный навык). В результате наложения модели студента на граф навыков мы получаем индивидуальный граф навыков конкретного студента.
Таким образом, процесс обучения в упрощённом виде представляет собой продвижение по индивидуальному графу от освоенных навыков к неосвоенным в соответствии с зависимостями между ними.
Фрагмент графа навыков для модуля «Упрощение алгебраических выражений»
Образовательный контент для Plario.ru создается экспертами ТГУ в соответствии с разработанной ими методикой. Она основана на следующих принципах:

• высокая степень гранулярности – приоритет «микродоз» контента, которые нацелены на прояснение / тренировку небольшого по объёму, но целостного по смыслу элемента знаний (применения конкретного правила, формулы), для освоения которых не требуется много времени;

• независимость единиц контента друг от друга, позволяющая комбинировать их в любой последовательности;

• приоритет практической составляющей над теоретической.

Образовательный контент в Plario.ru состоит из:

• теоретических материалов, представленных преимущественно фрагментами справочной информации или примерами решения задач с пояснениями;
• практических задач, играющих в системе двоякую роль: обучающую и контролирующую.
При создании учебных материалов в системе они описываются в соответствии с требованиями расширенной версии BKT, используемой в Plario.ru. Отдельное место занимают тестовые задачи, используемые для диагностики входного уровня. На этапе диагностики важно за минимально возможное время максимально достоверно определить мастерство по каждому навыку. В связи с этим к подготовке диагностических задач предъявляются несколько иные требования:

• количество и сложность задач должны быть подобраны таким образом, чтобы среднестатистический студент мог выполнить весь тест не более, чем за 2 академических часа;

• задачи должны покрывать все навыки модуля;

• каждый навык должен быть, по возможности, покрыт более чем одной задачей для минимизации влияния случайных ошибок / угадывания;

• неправильные ответы являются источником дополнительной информации о имеющихся пробелах в знаниях и должны давать возможность использовать её.

Планы и варианты развития подобных систем
Платформа Plario.ru проектировалась как система, работающая без участия преподавателя. Преподаватель в ней осуществляет контроль над прогрессом обучения, но непосредственно не вмешивается.

В данный момент мы дорабатываем платформу под другие предметы и добавляем возможность помощи преподавателю во время образовательного процесса.

Система Plario будет улучшена и трансформирована в цифровой учебно-методический комплекс, позволяющий:

• индивидуально выдавать домашние задания и контролировать выполнение в зависимости от целевого состояния, заданного преподавателем, и успеваемости обучаемого;

• предлагать преподавателю оптимальный план курса / предмета с учетом специализации обучаемых;

• выявлять таланты и отстающих учеников и помогать преподавателю корректировать целевые показатели обучения;

• обеспечивать интерфейсы для различных предметов (видео, AR/VR контент, проверка логики решения задачи итд).
В условиях новой реальности и развития технологий системы адаптивного обучения должны максимально индивидуализировать процесс освоения навыков и помогать преподавателю, делая весь процесс смешанного обучения приближенным к индивидуальному.
Pario.ru — это удачный пример создания адаптивной системы, решающей реальные проблемы студентов и преподавателей.
Концепция платформы соответствует приоритетной задаче вузов, связанной с цифровизацией образовательной среды. Благодаря задействованию умных алгоритмов, онтологий и экспертности ведущих математиков ТГУ, система Plario.ru трансформирует процесс выравнивания знаний студентов в математике, снимает нагрузку с преподавателей, освобождает их от рутинной работы и помогает снижать загрузку аудиторий. В течение 2019 и 2020 г. система Plario.ru была внедрена в 5 вузов РФ, а также 6 школ с общим количеством пользователей свыше 5000.

А теперь я хочу задать вопрос вам, коллеги: как вы видите развитие адаптивных систем? Смогут ли алгоритмы Искусственного Интеллекта стать постоянными помощниками преподавателей и эффективно решать задачи образования, повышая его качество?
Напишите нам