Комп’ютерно орієнтована методика оцінювання якості тестів з вищої математики викладачами закладів вищої освіти

- Дудко, А.Ф. (orcid.org/0000-0003-3858-7313) (2019) Комп’ютерно орієнтована методика оцінювання якості тестів з вищої математики викладачами закладів вищої освіти Doctoral thesis, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського».

	Text (Дисертація Дудко А.Ф.) diss Дудко А.Ф..pdf Download (11MB)
	Text (Відгук Триуса Ю.В. на дисертацію Дудко А.В.) Відгук_Триус Ю.В..pdf Download (455kB)
	Text (Відгук Кислової М.А на дисертацію Дудко А.Ф.) Відгук Кислової М.А..pdf Download (5MB)

* Анотація

Дисертація на здобуття наукового ступеня кандидата педагогічних наук (доктора філософії) за спеціальністю 13.00.10 «Інформаційно-комунікаційні технології в освіті» (01 «Освіта / Педагогіка»). ‒ Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Інститут інформаційних технологій і засобів навчання НАПН України, Київ, 2019. Дисертаційне дослідження присвячено проблемі оцінювання якості тестів з вищої математики викладачами закладів вищої освіти (ЗВО). Проаналізовано зарубіжний та вітчизняний досвід з теми дослідження та уточнено поняття «тест», «тестове завдання», «якість тесту», «оцінювання якості тесту», «комп’ютерно орієнтована методика оцінювання якості тестів». Обґрунтовано необхідність поєднання методів класичної теорії тестів (КТТ) та Item Response Theory (IRT) для оцінювання якості тестів з вищої математики. Визначено основні методи оцінювання якості тестів з вищої математики в рамках КТТ, які передбачають як аналіз окремих тестових завдань, так і тесту у цілому. Аналіз тесту у цілому полягає у такому: аналізі розподілу вибірки результатів; оцінюванні надійності тесту; оцінюванні критеріальної валідності тесту. Аналіз тестових завдань передбачає: аналіз кореляційної матриці завдань; оцінювання валідності окремих завдань; аналіз дистракторів завдань множинного вибору. Визначено моделі IRT для оцінювання якості тестів з вищої математики: Раша та Бірнбаума (для дихотомічних завдань), Андерсенена для політомічних завдань та Тіссена-Стейнберга для завдань множинного вибору. IRT-аналіз тестових завдань і тесту у цілому проводиться із використанням визначених моделей і передбачає: оцінювання значень латентних параметрів використовуваних IRT-моделей; аналіз ансамблю характеристичних кривих завдань тесту; аналіз характеристичних кривих рівнів політомічних тестових завдань; аналіз характеристичних кривих дистракторів завдань множинного вибору. Досліджено питання оцінювання латентних параметрів IRT-моделей. Для оцінювання латентних параметрів обрано метод максимальної вірогідності. Розглянуто його застосування на прикладі моделі Раша-Мастерса. Вирішено такі проблеми практичного оцінювання параметрів IRT-моделей: вибір початкових значень; зсув оцінок параметрів; наявність тривіальних рівнів політомічних тестових завдань. Розроблено авторську систему автоматизованого аналізу якості тестових завдань (СААЯТЗ). Основні функціональні можливості СААЯТЗ: гнучкий вибір алгоритму статистичного опрацювання результатів тестування; наочність графічного представлення результатів; формування та обслуговування бази каліброваних завдань. В основу статистичного аналізу системи покладено методи КТТ та IRT. Розроблено комп’ютерно орієнтовану методику оцінювання якості тестів з вищої математики викладачами ЗВО. Метою оцінювання якості тестів є покращення контролю знань студентів з вищої математики. Основним засобом оцінювання якості тестів є СААЯТЗ. Методами оцінювання якості тестів з вищої математики є дібрані методи теорії ймовірностей та математичної статистики, а саме методи КТТ та IRT. Змістовий компонент оцінювання відображає загальна схема, що включає в себе такі етапи: формування таблиці результатів; аналіз окремих тестових завдань і тесту в цілому; приймання остаточних рішень. Формування таблиці результатів тестування передбачає підготовку даних до подальшої роботи з ними в СААЯТЗ. Аналіз тесту у цілому полягає у такому: аналізі розподілу вибірки результатів; оцінюванні надійності тесту; оцінюванні критеріальної валідності тесту; оцінюванні ефективності тесту. Аналіз тестових завдань передбачає: аналіз кореляційної матриці завдань; оцінювання валідності окремих завдань; аналіз ансамблю характеристичних кривих завдань; аналіз політомічних завдань; аналіз дистракторів завдань множинного вибору. Приймання остаточних рішень здійснюється на підставі сумісного аналізу взаємодоповнюючих характеристик IRT та КТТ. При цьому робляться висновки щодо якості як окремих тестових завдань, так і тесту в цілому. Впровадження комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики доцільно здійснювати поетапно: розвиток компетентності викладачів щодо оцінювання якості тестів та безпосереднє застосування викладачами комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики у своїй професійній діяльності. Застосування викладачами комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики доцільно здійснювати відповідно до загальної схеми роботи викладача з тестами з вищої математики, яка передбачає: вирішення питання визначення підходу до розроблення тестів; створення тесту; оцінювання змістової валідності; завантаження тестів у систему комп’ютерного тестування (Moodle); проведення пробного тестування та вирішення питань, пов’язаних з його організацією та проведенням; імпортування результатів тестування та оцінювання якості тестів за розробленою методикою; прийняття рішення щодо якості тесту та подальшої роботи з ним; збереження тесту та завдання тесту разом з їх статистичними характеристиками у базі каліброваних завдань. Робота з тестами за описаною схемою вимагає від викладача високого рівня компетентності щодо оцінювання якості тестів з вищої математики. Визначено компетентність викладача щодо оцінювання якості тестів з вищої математики як готовність та здатність викладача із застосуванням ІКТ обчислювати характеристики тесту, тестових завдань та на основі цих характеристик оцінювати якість окремих завдань і об’єктивно складати висновки щодо якості тесту в цілому, його покращення та доцільності використання в освітньому процесі для контролю знань студентів з вищої математики. Визначено та описано основні критерії компетентності викладачів щодо оцінювання якості тестів з вищої математики: ціннісно-мотиваційний, когнітивний та операційно-діяльнісний. Представлено характеристики визначених критеріїв для трьох рівнів: базового, поглибленого та професійного. Розроблено модель розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики, яка складається з таких компонентів: мотиваційно-цільового, змістового, операційно-технологічного, діагностичного та результативного. На підґрунті даної моделі побудовано технологію розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики. Загальні результати педагогічного експерименту показали, що впровадження комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики сприятиме розвитку компетентності викладача щодо оцінювання якості тестів з вищої математики та покращенню контролю знань студентів. Результати впровадження розробленої комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики викладачами ЗВО підтверджують її ефективність. Наукова новизна та теоретичне значення полягає в тому, що вперше обґрунтовано комп’ютерно орієнтовану методику оцінювання якості тестів з вищої математики викладачами ЗВО на основі спільного застосування методів КТТ та IRT; визначено критерії та рівні розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики; розроблено модель розвитку компетентності викладача щодо оцінювання якості тестів з вищої математики; уточнено поняття тесту, тестового завдання, якості тесту, оцінювання якості тесту, комп’ютерно орієнтованої методики оцінювання якості тесту та компетентності викладача щодо оцінювання якості тестів з вищої математики; удосконалено методи розрахунку латентних параметрів тестових завдань; методи покращення якості тестів; дістали подальшого розвитку теоретико-методичні засади створення та використання комп'ютерно-орієнтованих систем і засобів навчання, теоретичні та методичні проблеми розроблення та використання інформаційно-комунікаційних технологій для вимірювання та оцінювання рівня навчальних досягнень і моніторингу освітньої діяльності, теорія та методика підвищення кваліфікації кадрів інформатизації освіти. Практичне значення одержаних результатів полягає в тому, що розроблено: основні компоненти комп’ютерно орієнтованої методики оцінювання якості тестів з вищої математики викладачами ЗВО; автоматизовану систему аналізу якості тестових завдань з вищої математики; технологію розвитку компетентності викладачів щодо оцінювання якості тестів з вищої математики; навчальну програму «Формування компетентності викладачів щодо оцінювання якості тестів з вищої математики» для підвищення кваліфікації наукових і науково-педагогічних працівників, розміщену на сайті Навчально-методичного комплексу «Інститут післядипломної освіти» КПІ ім. Ігоря Сікорського (http://ipo.kpi.ua/ua/pidvishchennja-kvalifikaciji.html); дистанційний курс за навчальною програмою «Формування компетентності щодо оцінювання якості тестів з вищої математики» в системі Moodle, розміщений на сайті Навчально-методичного комплексу «Інститут післядипломної освіти» КПІ ім. Ігоря Сікорського (https://do.ipo.kpi.ua/course/view.php?id=16); базу каліброваних завдань для тестів з вищої математики (1647 завдань); пакет тестів з вищої математики для студентів технічних спеціальностей ЗВО, що використовується викладачами фізико-математичного факультету КПІ ім. Ігоря Сікорського. Теоретичні та практичні результати дисертаційної роботи можуть бути використані: у ЗВО викладачами для аналізу та підвищення якості тестів з вищої математики, призначених для контролю знань студентів; у системі підвищення кваліфікації наукових та науково-педагогічних працівників для розвитку компетентності щодо оцінювання якості тестів з вищої математики, а також у процесі розроблення навчальних і методичних посібників з оцінювання якості тестів з вищої математики.Проведене дослідження не вичерпує всієї повноти проблеми і може бути продовжено за такими напрямами наукового пошуку: розроблення та впровадження методики комп’ютерно орієнтованого оцінювання якості тестів інших дисциплін; дослідження інноваційних методів IRT оцінювання якості тестів та вдосконалення засобів розробленої методики.

Downloads

Actions (login required)

Оглянути опис ресурсу