Статистичний аналіз тесту в MOODLE
Обработка статистической информации в Moodle
Розділи
Бочаров Б.П., Воеводина М.Ю., Левиков Ю.В.
Харьковская национальный университет городского хозяйства
ОБРАБОТКА СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ В MOODLE
Любая автоматизированная система решает не более 80% задач обработ-ки информации. Moodle не является исключением из этого универсального пра-вила, поэтому в этой системе возникают задачи, которые разработчики еще не решили (или не собираются решать в принципе).
Пример такой задачи – определение реальной обеспеченности учебного процесса дистанционными курсами, т.е. получение статистической информации о курсах и преподавателях в Moodle. У нас создано много курсов, поэтому по-лучить информацию о том какие курсы реально используются в учебном про-цессе, а какие нет, очень трудоемкий процесс. Практически необходимо про-смотреть все курсы.
Moodle ориентирован на работу в реальном времени и задача однократно-го формирования отчетов и дальнейшего их многократного просмотра (а зада-ча, которую мы собираемся решать, именно такая) не решается просто внутри системы.
Отметим, что получать информацию о курсах чаще, чем раз в месяц бессмысленно, поэтому для решения задачи можно использовать следующую схему – получение информации из базы данных, обработка информации и формирование отчетов вне системы Moodle.
Для оценки курса мы выбрали следующие критерии:
• дата последнего входа преподавателя на курс,
• количество пользователей курса,
• активность на курсе (т.е. все действия всех пользователей курса),
• видимость курса для студентов.
Решение, о том, является ли курс работающим (мы будем называть его «активным»), принимает человек (с учетом изложенных выше критериев). Преподавателя, у которого есть хотя бы один активный курс будем считать «работающим в системе Moodle».
Необходимо определить количество курсов и преподавателей для каждого подразделения ВУЗа, выделить из них активные курсы и работающих препода-вателей.
Кроме того, у нас уже более четырех лет действуют курсы повышения квалификации преподавателей «Теория и практика работы в Moodle». В выходной информации необходимо отразить наличие у преподавателя сертификата об успешном окончании обучения.
Следует отметить, что в работе представлена первая версия программно-го продукта, которая будет наверняка изменяться. Поэтому основное внимание мы уделили логике работы всех программ, изучив которую каждый сможет раз-вивать систему в нужном ему направлении [1].
Описываемая в работе задача без сомнения принадлежит к классу задач принятия решений. Ее полная формализация и построение необходимых мате-матических моделей – предмет будущих исследований.
Список использованных источников
- Бочаров Б.П., Воеводина М.Ю. Использование технологий автоматизации библиотечных процессов в системах дистанционного образования. // Биб-лиотеки учебных заведений. – М.: 2011. – №40. – С.3-63.
Аналіз тестових завдань засобами Moodle
Розділи
- Загальне
Загальне
Мокрієв М.В.
Національний університет біоресурсів і природокористування України
Аналіз тестових завдань засобами Moodle
Постановка проблеми. Для сучасного розвитку системи освіти України характерними є модернізація та спрямованість до західного зразка освіти, як такого, що добре зарекомендував себе в розвитку. Також приєднання України до Болонського освітнього процесу стимулює входження до європейського освітнього та наукового простору. В рамках цього процесу передбачається провести певні зміни, які повинні забезпечити підвищення якості підготовки фахівців. Необхідною умовою є розвиток та вдосконалення форм і методів контролю навчальних досягнень, які реалізують зворотній зв’язок у навчанні. Однією з форм автоматизованого контролю є комп’ютерне тестування – процедура, що дозволяє отримати об’єктивну, оперативну та достовірну інформацію про знання студентів, отримані в процесі навчання, про готовність до сприйняття нового матеріалу. І хоча безумовно тестування не повинно бути єдиним способом контролю, проте в багатьох випадках допомагає провести його швидко.
Аналіз останніх досліджень. Удосконалення навчального процесу у ВНЗ безпосереднім чином пов’язано з упровадженням інноваційних технологій у процес навчання. Однією з таких інновацій є запровадження тестування за допомогою комп’ютерного алгоритмічно-програмного забезпечення.
Проведення тестування з використанням різних комп1ютерних систем має перевагу у тому, що дає змогу опитати багатьох студентів з різних предметів пройшовши весь матеріал використовуючи ті ж самі умови та однакову шкалу оцінок. При цьому значно скорочується час перевірки знань студентів, автоматизується процес обробки результатів тестування, знижується навантаження на викладача [1].
Процес підготовки тестів, описаний в багатьох літературних джерелах, передбачає, що складання тесту повинно проходити ряд етапів: визначення цілей тестування, визначення ресурсних можливостей розробників, відбір змісту навчального матеріалу, конструювання технологічної матриці і її експертиза, складання тестових завдань та їх експертиза, побудова вибірки для апробації завдань і тестів, компонування завдань для апробації, апробація тестових завдань, визначення і розрахунок показників якості тестових завдань, відбракування завдань і складання тесту, апробація тесту, визначення і розрахунок показників якості тесту, складання остаточного варіанта тесту, стандартизація тесту, нормування тесту, оснащення тесту [2, с. 48].
Важливим аспектом комп’ютерного тестування – є наявність уніфікованого інструментарію, призначеного для комфортної та ефективної роботи з тестами викладачів для студентів [3]. Одним варіантів такого інструментарію є використання модуля тестування в системі Moodle.
Moodle має можливість підготувати тестові завдання різноманітної складності, організувати тестування з підготовкою максимально об’єктивних та однакових для всіх студентів білетів. А також провести аналіз результатів. І це може бути використано як для апробації тесту та аналізу його підготовки, так і для подальшого аналізу рівня підготовки студентів.
Постановка завдання. Тестування в системі Moodle включає в себе модуль статистичного аналізу результатів тестування. Мета доповіді – повноцінне визначення статистичних показників цього модуля та пояснення їх інтерпретації. Також додатковим завданням є удосконалення українського перекладу інтерфейсу вказаного модуля.
В доповіді розглядається тільки результати аналізу тесту.
Виклад основного матеріалу. Кухар Л.О. та Сергієнко В.П. у своєму курсі лекцій “Конструювання тестів” виділяються 16 етапів якісного створення тесту. І те, що припадає на апробацію, як тестових завдань, так і тестів, може бути вирішено за допомогою Moodle.
Апробація є одним з важливих компонентів будь-якої системи екзаменування, що проводиться з метою оцінки професійних компетенцій. Завдяки коректному використанню апробації підвищуються показники якості екзаменування (валідність, надійність, об’єктивність, обґрунтованість, ефективність та прийнятність).
Moodle дозволяє оцінити загальний результат по тесту. Також, порівняти результати окремої групи із загальним результатом. А побудова відразу графіку результатів дозволяє побачити розподіл відповідей та наскільки він відрізняється від нормального розподілу. Графік дозволяє відзначити явні аномалії (хоча деякі з них можуть показувати проблеми з проведенням тестування, а не власне тестом), побачити, наскільки загалом складним чи легким був тест для групи. Відразу розраховані статистичні показники дозволяють ще глибше зануритися в аналіз.
А глибше є аналіз кожного запитання. Moodle зокрема аналізує питання те тільки окремо, а й в контексті тесту: де питання було в структурі – на початку, в середині чи в кінці.
Для оцінки результату тестування групи студентів достатньо перейти до Керування -» Керування тестом -» Результат -» Огляд . [4] В цьому випадку можна побачити успіхи студентів. Як кожного окремо (рис. 1), так і в загальному (рис.2.)
Рисунок 1 — Результати тестування студентів в розрізі кожного тестового завдання
Рисунок 2 – Гістограма кількості студентів за визначеними балами
Для налаштування видачі даних, які ми хочемо аналізувати, потрібно на початку сторінки вказати необхідні параметри (рис. 3).
Рисунок 3 — Налаштування подачі результатів тестування студентів
Як видно з рис.2, студенти проходять тестування з майже нормальним розподілом (з невеликим зсувом вліво). Нормально, коли вся кількість потрапляє в межі від 50 до 100% після проходження навчання за темами тестування.
Проте, наскільки наш тест та кожне запитання окремо відображають реальні знання студентів можна більше сказати, якщо перейти до сторінки статистичного аналізу тесту: Керування -» Керування тестом -» Результат -» Статистика .
В даній системі використовуються статистичні показники, які обчислюються з використанням класичної (СТТ – Classical Test Theory) та сучасної теорії тестів (IRT – Item Response Theory). Теоретичні основи цих теорій описані у роботі [5].
Відразу ми маємо дві таблиці аналізу та графік [6].
Перша таблиця подає загальну інформацію про тест. Тут, крім стандартних даних (назви курсу, назви тесту, дати початку та закінчення тестування, часу доступності тестування) подаються загальні статистичні показники по всьому тесту (Рис.4).
Рисунок 4 — Статистичний аналіз тесту в цілому.
Кількість перших та всього спроб — інформація про те, скільки людей було протестовано.
Середній бал з перших, останніх та зі всіх спроб, а також середній бал з найвище оцінених спроб — у випадку, якщо ви дозволяєте студентам проходити тестування кілька разів, то якісний поступ буде показувати збільшення середньої оцінки останніх спроб у порівнянні з першими. Відсутність прогресу може означати, що студенти не навчаються, або тест не репрезентує їхні знання. Проте, якщо різниця між всіма спробами та першими спробами невелика, то різницю в середніх балах побачити важко. Нормальний середній бал повинен потрапляти в межі 50-75%. Якщо ж середній бал виходить за ці межі, потрібно детальніше аналізувати результати. Також потрібно пам’ятати, що в навчальних тестах (де результат отримується не в кінці тестування, а після кожної відповіді) середнє значення буде дещо більшим.
Медіана — середина між найменшим та найбільшим значенням. При нормальному тестові бали половини студентів повинні бути меншими за це значення.
Стандартне відхилення — визначає розкид балів по відношенню до середньої величини. Нормальне очікування для цих значень знаходиться в межах 12-18%. Менше значення означає, що оцінки занадто скупчилися.
Значення асиметрії розподілу — визначає наскільки крива нормального розподілу нахилена вліво або вправо. Нульове значення означає абсолютну симетрію. Позитивне значення означає, що вершина нахилена ліворуч, а негативне — що праворуч. Тобто, в першому випадку тест в цілому був складним для групи студентів, а в другому — легкий. Якщо вершина занадто відхилена, то потрібно детальніше проаналізувати тест для його виправлення.
Значення ексцесу розподілу — визначає міру сукупчення результатів учасників тестування. Ексцес визначає “крутизну” кривої розподілу. Для нормального розподілу значення ексцесу дорівнює нулю. Потрібно намагатися, щоб це значення було в межах 0-1. Якщо значення більше, то це означає, що студенти здають тест однаково і це не дозволяє диференціювати кращих та гірших.
Коефіцієнт внутрішньої узгодженості (КВУ)— показує внутрішню узгодженість між окремими питаннями та тестом в цілому. Внутрішня узгодженість тесту — характеристика тесту, яка вказує на ступінь однорідності завдань тесту. Якщо значення більше 75%, то тест є задовільним. Якщо ж значення менше 64%, то тестування в загальному є незадовільним і потрібно його переглянути на коректність запитань. Потрібно довести стан тесту до такого стану, при якому кожне тестове завдання корелюється з тестом загалом і при цьому мінімально корелюється з іншими завданнями.
Співвідношення помилок (СП)— це значення пов’язане з коефіцієнтом внутрішньої узгодженості і визначає відсоток стандартного відхилення, що може трапитися через випадковості, а не в результаті відмінності між знаннями студентів. Значення понад 50% не може вважатися задовільним, оскільки вказує на велику ймовірність випадковості у результатах тестування.
Таблиця 1 — відношення між коефіцієнтом внутрішньої узгодженості та співвідношенням помилок
Тестирование средствами Moodle
Какую бы форму обучения Вы не практиковали — очную или онлайн-обучение, периодически Вам необходимо осуществлять контроль усвоения знаний. Одним из наиболее распространенных методов контроля является тестирование — метод, состоящий в предоставлении испытуемому системы заданий, позволяющих эффективно измерить уровень и структуру его знаний.
Электронное тестирование качественно отличается от тестирования, выполняемого на бумажном носителе, благодаря:
- Возможности мгновенной автоматической проверки и оценки заданий (с закрытым ответом).
- Автоматическому статистическому анализу теста и его элементов.
Если первое в одинаковой степени интересно и проверяющему и тестируемому (в случае полностью самостоятельного обучения это может быть один и тот же человек), то второе крайне важно для проверяющего, точнее, для разработчика теста, так как позволяет понять насколько тест эффективен и предпринять действия по его доработке.
Помимо контроля знаний, с помощью электронных тестов может быть решена задача развития того или иного умения, перехода умения в навык. Для этого можно использовать тесты-тренинги, предполагающие несколько попыток ответа на вопрос. В таких тестах можно дать возможность обучающемуся осуществлять своеобразный «поиск знаний». Делается это посредством добавления отзывов-комментариев, отображаемых после выбора варианта ответа. При этом может использоваться система начисления штрафов за каждую дополнительную попытку (вычет из итогового балла).
На сегодняшний день имеется множество средств разработки электронных тестов. Такой функционал заложен и в авторские средства (Articulate Storyline, iSpring Suite и др.), и, непосредственно, в системы управления обучением (Moodle, eFront, eLearning 4g и др.).
Используя Moodle для организации электронного тестирования, Вы получаете действительно мощный инструментарий для создания тестов, одновременно с хорошим анализатором качества теста и его составляющих — тестовых заданий. Едва ли объема данной статьи может хватить для того, чтобы описать все возможности системы тестирования в Moodle, поэтому мы попробуем дать лишь краткий обзор.
Управление тестовыми вопросами в Moodle осуществляется через «Банк вопросов». Если Вы (возможно, совместно с коллегами) создаете курс или комплекс курсов в Moodle, то, наверняка, там будут тесты, и, скорее всего, их будет много. Тесты могут решать задачи входного контроля, текущего, итогового контроля или это могут быть тесты-тренажёры. При этом, тестовые вопросы могут быть общими для некоторых тестов, а также выбираться случайным образом из некоторого набора вопросов — оба эти условия могут быть реализованы благодаря «Банку вопросов». Кроме того, используя «Банк вопросов» легко организовать совместную работу над созданием тестовых вопросов и быстро найти нужный вопрос для теста.
Базовая сборка Moodle включает возможность создавать следующие типы тестовых вопросов:
- выбор одного/нескольких из нескольких;
- верно/не верно;
- краткий открытый ответ (или «вопрос с пропуском»);
- числовой ответ;
- вычисляемый (по формуле) ответ;
- установление соответствия;
- эссе (проверяется вручную);
- вложенные ответы (комбинированный).
Множество плагинов для Moodle позволяют реализовать вопросы drag&drop, выбор области на изображении, открытые вопросы с механизмом проверки, использующим регулярные выражения, и другие типы вопросов.
При разработке теста в Moodle необходимо знать следующие основные возможности системы:
- тест может быть ограничен по времени ипо числу попыток его прохождения;
- день и время доступности теста могут быть жестко заданы, либо тест может быть открыт всегда;
- порядок представления вопросов в тесте и вариантов ответов в вопросах может быть как заданным, так и случайным;
- тест может быть запущен в различных режимах, например, в адаптивном режиме тестируемому предоставляется неограниченное количество попыток ответа на каждый из вопросов теста (предполагается использование подсказок), при этом за неправильные ответы могут начисляться штрафные баллы, которые вычитаются из итоговой оценки за прохождение теста;
- отчет о результатах теста для тестируемого может быть гибко настроен;
- итоговая оценка за тест складывается из баллов, полученных за каждый вопрос теста, с учетом веса вопроса. Оценка выражается в процентах (доля баллов от максимально возможного).
Завершив разработку теста, следует обязательно проверить его работу, чтобы внести возможные корректировки как в настройки теста, так и в содержание вопросов, прежде, чем тест будет пройден испытуемыми. После того, как все предварительные работы завершены, тест можно открыть.