Як навчати AI-репетитора враховувати типові помилки конкретного студента

Студент кілька разів неправильно застосував правило. Репетитор зберіг це як стійку слабкість і тепер постійно дає простіші вправи, хоча учасник уже розібрався. Така персоналізація може утримувати людину в застарілому уявленні про її підготовку. Щоб допомога залишалася корисною, записи про труднощі мають спиратися на конкретні відповіді, містити межі й регулярно переглядатися. Помилка є даними для вибору наступної практики, а не характеристикою особистості, яку потрібно назавжди закріпити в системі.

«Навчити репетитора» в цьому контексті означає налаштувати інструкції, матеріали та спосіб використання профілю. Це не обов'язково технічне донавчання ваг моделі. Можливості пам'яті й контексту залежать від сервісу, тому їх потрібно перевіряти окремо. Педагогічна основа однакова: визначити, що студент продемонстрував, сформулювати обережну гіпотезу про труднощі та перевірити її новою дією. Лише після цього змінювати допомогу, зберігаючи шлях до самостійного застосування знань.

Описуйте помилку як спостереження

Запис «не розуміє дроби» надто широкий. Корисніше: «У двох завданнях із однаковим чисельником обрав більший дріб за більшим знаменником і пояснив вибір розміром числа». Такий опис містить дію, умови та підставу. Його можна перевірити й уточнити. Він також дозволяє підібрати цільову практику, замість повторювати весь розділ без розуміння того, яка саме частина знання потребує уваги та що студент уже виконує правильно.

Зберігайте правильні дії поруч із помилками. Якщо учасник коректно порівнює дроби з однаковим знаменником, це важлива межа. Профіль має показувати розрізнення, а не лише список недоліків. Інакше асистент може давати надто прості пояснення й витрачати час на засвоєне. Для кожної труднощі запишіть, у яких умовах її спостерігали та де немає достатнього доказу. Так персоналізація залишається пропорційною реальним матеріалам, а не загальному враженню від кількох невдалих відповідей.

Окремо позначайте рівень допомоги. Правильна відповідь після повної підказки не означає те саме, що незалежне рішення. Проте вона теж може показувати, яку частину студент уже зрозумів. Для вибору наступної вправи важливо знати, що саме довелося підказати. Не змішуйте всі спроби в один середній бал без умов: він приховує зміни самостійності й не дозволяє відрізнити засвоєння основи від успіху завдяки постійній підтримці репетитора.

Не робіть висновок з одного випадку

Неправильний результат може походити з описки, неоднозначної інструкції, незнайомого слова або предметної прогалини. Попросіть пояснити вибір і дайте інший короткий випадок. Якщо причина повторюється, гіпотеза стає сильнішою. Якщо ні, не закріплюйте її як типову помилку. Потрібно також перевірити саме завдання. Можливо, студент прочитав умову інакше через недолік формулювання, а не через нерозуміння поняття, яке репетитор уже вирішив повторно пояснювати.

У профілі використовуйте зрозумілі статуси: спостережено, перевіряється, підтверджено в певних умовах, більше не проявляється в контрольних спробах. Не додавайте точні відсотки впевненості без обґрунтованого способу їх отримати. Для невеликого курсу достатньо короткого доказу та наступного питання. Така структура допомагає асистенту не перетворити попередню помилку на незмінну істину й дає викладачеві можливість перевірити, чому саме система змінила складність або запропонувала певний тип допомоги студенту.

Відрізняйте профіль навчальних дій від психологічних висновків. Немає потреби пояснювати помилку характером, мотивацією або незмінним стилем навчання. Для цільової практики достатньо предметного опису. Якщо учасник не помічає умову, потрібно перевірити її розпізнавання. Якщо неправильно застосовує правило, дати відповідну практику. Такі дії точніші й перевірюваніші, ніж широкі ярлики, які асистент може переконливо сформулювати без достатньої підстави про реальні обставини конкретної людини.

Побудуйте невелику карту компонентних навичок

Розкладіть ціль на кілька потрібних дій. Для порівняння дробів це може бути розуміння частини цілого, значення чисельника й знаменника та вибір способу порівняння. Не потрібно одразу моделювати весь предмет. Важливо бачити передумову, яка пояснює конкретні труднощі. Принципи навчання CMU допомагають пов'язати компонентні навички та їх інтеграцію. У персоналізованій практиці карта дає основу для вибору наступного завдання, яке перевіряє саме потрібну частину знання.

Підготуйте приклад правильної дії та кілька типових неправильних пояснень. Репетитор повинен розрізняти їх за змістом. Якщо він орієнтується лише на остаточне число, то може не помітити неправильну логіку, яка випадково привела до правильного результату. Запропонуйте коротке обґрунтування або проміжний крок. Обсяг доказу має бути достатнім для мети, але не перетворювати кожну просту вправу на довгий письмовий звіт, що відволікає від самої навчальної дії.

Для кожної навички визначте новий контрольний випадок. Він має зберігати основу, але змінювати поверхневі деталі. Інакше студент може запам'ятати відповідь на знайомий приклад. Карта повинна допомагати перевіряти перенесення. Якщо нова вправа виявляє інший тип труднощів, оновіть гіпотезу. Не намагайтеся будь-яку нову помилку пояснити старим записом лише тому, що він уже є в профілі та робить розповідь про прогрес простішою для асистента.

Врахуйте досвід моделей знань без надмірного перенесення

Corbett та Anderson у роботі 1994 року описували knowledge tracing у конкретному програмувальному репетиторі з моделлю правил. Це важливий приклад того, як система може використовувати історію дій для оцінювання стану знань. Проте з нього не випливає, що будь-який сучасний чат автоматично має таку саму перевірену модель студента. Потрібно розрізняти дослідницьку архітектуру, конкретну реалізацію та простий текстовий профіль, який школа передає генеративному асистенту.

Для початкового сценарію не потрібна складна ймовірнісна система. Можна почати з короткої картки: навичка, доказ, гіпотеза, наступна перевірка й дата. Важливо, щоб запис змінювався за новими даними. Якщо потрібна автоматична адаптація великої програми, її проєктування та оцінювання потребують відповідних фахівців. Не називайте довгу історію чату повноцінним діагностичним профілем лише тому, що в ній містяться всі попередні повідомлення студента та відповіді асистента.

Перевірте, яку частину профілю інструмент фактично отримує. Контекст може бути обмежений, скорочений або змінений налаштуваннями. Збереження запису не гарантує його правильне використання. Для контролю дайте відомий профіль і нову вправу, потім перевірте, чи допомога відповідає визначеній потребі. Якщо асистент ігнорує актуальну картку або спирається на стару, потрібно змінити процес перед використанням з аудиторією, а не лише додати більше даних у розмову.

Налаштуйте допомогу навколо гіпотези

Після підтвердженої труднощі запропонуйте вправу, яка змушує розрізнити потрібні умови. Для дробів можна використати однаковий чисельник і різний знаменник, зберігши однакове ціле. Студент пояснює, чому розмір частини змінюється. Потім переходить до нового прикладу. Це цільова практика, а не просто більше завдань на ту саму тему. Репетитор має підтримувати конкретне розрізнення, яке було відсутнє в попередній відповіді, й перевірити, чи воно з'явилося самостійно.

Не давайте однакову підказку нескінченно. Якщо студент повторює її без розуміння, змініть представлення або поверніться до передумови. Можна порівняти схему, словесне пояснення й короткий контрприклад, якщо вони відповідають меті та доступні учаснику. Важливо не оголошувати один формат його постійним стилем навчання. Вибір матеріалу має спиратися на те, яку дію потрібно виконати й який доказ покаже засвоєння, а не на неперевірений ярлик профілю.

Після допомоги дайте нову спробу без тієї самої підказки. Якщо вона успішна, не видаляйте всі обмеження автоматично після одного випадку. Визначте достатню для вашої задачі повторну перевірку. Якщо помилка не проявляється в різних доречних умовах, змініть статус і складність. Так профіль не утримує студента на простому рівні й не продовжує нав'язувати пояснення того, що він уже може виконати та обґрунтувати самостійно в новому прикладі.

Дайте студенту можливість уточнити профіль

Покажіть запис звичайною мовою. Учасник має розуміти, які труднощі система враховує та на підставі чого. Він може пояснити, що попередня відповідь містила описку, або показати новий правильний спосіб. Це не означає автоматично приймати будь-яке самоописання як доказ. Потрібно перевірити конкретну дію. Проте без такого шляху профіль стає непрозорим рішенням, яке студент не може зрозуміти або змістовно обговорити з викладачем під час навчання.

Якщо виникла розбіжність, передбачте короткий контрольний випадок або людський перегляд. Не змушуйте студента сперечатися з асистентом до виснаження. Питання має вирішуватися через предметну підставу. Після зміни профілю запишіть причину, щоб майбутня допомога не повернулася до застарілого припущення. Це особливо важливо, якщо кілька викладачів або інструментів працюють з одним навчальним маршрутом і можуть по-різному тлумачити попередні записи про спроби та рівень самостійності учасника.

Зберігайте формулювання без стигматизації. «Потребує перевірки вибору знаменника в таких умовах» описує навчальну дію. «Слабкий у математиці» приховує деталі й може впливати на очікування. UNESCO розглядає людську відповідальність у використанні GenAI. У цьому сценарії вона включає можливість переглянути автоматичне припущення, пояснити його підставу та повернути студенту доступ до складнішої практики після підтвердженого прогресу.

Збирайте мінімум потрібних даних

Для вибору наступної вправи часто достатньо навички, умов спроби, типу допомоги й результату перевірки. Повний особистий профіль, приватні історії або сторонні оцінки можуть бути непотрібними. Назвіть призначення кожного поля. Якщо воно не впливає на педагогічне рішення, відкладіть збір. Обсяг пам'яті не повинен ставати метою персоналізації. Важливіша якість невеликого актуального запису, який правильно пов'язаний із конкретним наступним завданням і доступний відповідальним учасникам процесу.

Перевірте маршрут зберігання й доступу в конкретному інструменті. Не припускайте, що будь-який текстовий профіль можна передавати зовнішньому сервісу. Для пілоту використовуйте вигадані картки. NIST Privacy Framework дає ширшу основу для роботи з ризиками приватності. Локальний сценарій має чітко визначати мету, необхідні дані й відповідальних, а не покладатися на загальну назву персонального репетитора як доказ належних умов використання студентської інформації.

Визначте строк актуальності та привід перегляду. Після завершення модуля деякі записи більше не потрібні для поточного маршруту. Якщо вони зберігаються, поясніть навіщо. Особливо важливо не переносити старі труднощі автоматично в новий предмет без перевірки. Знайомий термін може позначати іншу дію. Профіль повинен допомагати навчанню в установленому контексті, а не накопичувати всеосяжну історію помилок, яку потім використовують для невизначених майбутніх рішень про людину.

Перевірте адаптацію на контрольних картках

До запуску створіть кілька вигаданих профілів: підтверджена типова помилка, один сумнівний випадок, засвоєна навичка та суперечливі дані. Для кожного визначте очікувану наступну дію. Репетитор має запитати уточнення там, де підстави слабкі, і не повторювати прості пояснення там, де прогрес уже підтверджено. Так ви перевірите не загальну приємність розмови, а логіку використання профілю для вибору конкретної допомоги в різних навчальних умовах.

Додайте правильну відповідь у незвичному формулюванні. Якщо асистент оцінює її як помилкову через відмінність від шаблону, профіль може наповнюватися хибними записами. Перевірте також помилкову відповідь із переконливим поясненням. Гладкість не повинна приховувати зміст. NIST GenAI Profile допомагає розглядати недостовірні результати як ризик. Для вашого пілоту потрібні саме контрольні випадки, що показують наслідок такої помилки для наступної практики студента.

Після виправлення інструкцій повторіть визначальні тести на нових прикладах. Не обмежуйтеся тим, що стара контрольна відповідь тепер проходить. Потрібно перевірити, чи змінилася логіка, а не лише запам'ятовано знайомий текст. Збережіть умови й короткий підсумок. Це допоможе повторити перевірку після оновлення сервісу, зміни профілю або додавання нового модуля, не покладаючись на спогад про одну вдалу демонстрацію персоналізованої допомоги перед початком програми.

Умовний приклад оновлення навчальної гіпотези

Студент кілька разів порівнює дроби з однаковим чисельником за величиною знаменника. Початкова картка містить спостереження й гіпотезу, але не загальний висновок про предмет. Репетитор просить пояснення та пропонує інший випадок з однаковим цілим. Після цільового розбору студент сам правильно порівнює нову пару й пояснює розмір частин. Це умовний сценарій, який показує послідовність оновлення, а не повідомляє про виміряний ефект певної системи чи реального навчального продукту.

Наступна перевірка змінює числа й представлення. Якщо логіка збережена без підказки, картка оновлюється: попередні труднощі не проявилися в контрольних умовах, можна перейти далі. Пізніша помилка не обов'язково означає повернення тієї самої причини. Потрібно знову прочитати пояснення. Можливо, тепер проблема стосується різних цілих або способу подання. Такий процес зберігає профіль рухомим і не дозволяє старій гіпотезі поглинати всі нові спостереження незалежно від їхнього предметного змісту.

Викладач перевіряє, чи асистент справді змінив допомогу. Якщо він продовжує пояснювати засвоєну основу, персоналізація працює неправильно, навіть коли всі записи технічно збережені. Корисний результат — відповідна нова практика з достатньою складністю. Студент має бачити, що доказ прогресу змінює маршрут. Це підтримує зрозумілість процесу й дає можливість обговорити рішення за конкретними матеріалами, а не за непрозорим загальним рейтингом здібностей, який неможливо відновити з окремих навчальних дій.

Виберіть пріоритет, коли помилок кілька

Профіль може містити різні труднощі, але наступна вправа не повинна виправляти все одночасно. Визначте передумову, без якої студент не може виконати поточну дію. Почніть із неї, а інші спостереження залиште видимими для подальшого перегляду. Це допомагає зменшити навантаження та зрозуміти причину змін. Якщо після засвоєння основи інша помилка залишається, вона потребує окремого цільового завдання, а не ще одного повторення вже зрозумілого пояснення під ширшим заголовком теми.

Попросіть репетитора пояснити вибір вправи через конкретний запис. Наприклад, потрібно перевірити розуміння розміру частини перед порівнянням складніших дробів. Викладач може оцінити логіку й змінити її. Студент також бачить сенс практики. Не потрібно показувати весь внутрішній опис на кожному кроці, але визначальне рішення має бути зрозумілим. Якщо інструмент не може пов'язати завдання з актуальним доказом, його вибір не слід називати персоналізованим лише через звернення до учасника на ім'я.

Розрізняйте повернення помилки та новий контекст

Після перерви студент може забути правило, а в новому представленні — не впізнати його застосування. Це різні потреби. У першому випадку корисна практика відтворення основи, у другому — зіставлення умов. Попросіть коротке пояснення й дайте один контрольний приклад. Не поновлюйте стару гіпотезу автоматично. Профіль має враховувати, що саме змінилося між спробами: час, формат, предметна умова або рівень допомоги, який учасник отримав під час попередньої роботи.

Якщо студент правильно пояснює правило, але не застосовує його в незнайомій ситуації, не повертайтеся без потреби до довгого визначення. Підготуйте пару випадків і попросіть назвати спільну основу. Потім змініть поверхневі деталі. Така практика допомагає пов'язати знання з ознаками задачі. Її результат потрібно перевірити новою спробою. Сам факт того, що асистент дав інше пояснення, не означає, що він усунув визначальні труднощі або правильно встановив її причину за попередньою відповіддю.

Перевірте користь самого профілю

Для внутрішнього пілоту порівняйте, яку вправу асистент обирає з актуальною карткою та без неї на однаковому контрольному випадку. Це не доводить навчального ефекту, але показує, чи запис узагалі змінює допомогу в потрібний бік. Якщо різниці немає, перевірте формат, обсяг і ясність інструкції. Додавати більше історії не завжди корисно. Невелика структурована картка з конкретним наступним питанням може бути придатнішою за довгий переказ усіх розмов без пріоритетів і часових меж.

Окремо протестуйте застарілу картку, яку потрібно переглянути після нової правильної відповіді. Якщо асистент тримається старого запису всупереч наданому доказу, змініть правило оновлення або залиште відповідне рішення викладачеві. Персоналізація має бути здатною виправляти власні припущення. Інакше помилка в початковій оцінці буде багато разів відтворюватися в наступних завданнях, а студент витрачатиме час на практику, яку система обрала на підставі вже спростованої або надто широко сформульованої гіпотези.

Пов'яжіть профіль із навчальним маршрутом

LMS платформа WeStudy може допомагати організувати матеріали та послідовність практики. Можливість зберігання й передавання конкретного профілю зовнішньому асистенту перевіряйте окремо. Не приписуйте системі автоматичну діагностику без перевіреної реалізації. Для початку достатньо зрозумілої картки, яку викладач використовує для вибору завдання. Важливо, щоб запис про труднощі мав предметну підставу, дату й наступну перевірку, а результат цієї перевірки справді впливав на подальшу навчальну дію учасника.

Коли LMS платформа WeStudy є частиною програми, переглядайте профіль разом із результатами нових самостійних спроб. Хороша персоналізація зменшує непотрібну допомогу після засвоєння та повертає її там, де з'явився конкретний доказ нової потреби. Вона не повинна закріплювати людину в старому описі. Її якість видно в тому, чи студент отримує доречну практику, може пояснити прогрес і поступово виконує потрібну предметну дію з більшою самостійністю в нових умовах.

Перед наступним модулем перевірте, чи актуальні записи справді допомагають обрати потрібну дію та не приховують нових предметних потреб студента.

Джерела

• Corbett, Anderson: Knowledge tracing — Modeling the acquisition of procedural knowledge.

• Carnegie Mellon University: Learning Principles.

• UNESCO: Guidance for generative AI in education and research.

• NIST: Generative Artificial Intelligence Profile.

• NIST: Privacy Framework.