Рассмотрим некоторые полезные советы и функции по использованию программы Тесты 2009.

Пароль к редактору тестов Options.exe – по умолчнаю пустой, жмете ОК и заходите в редактор. Выставляется во вкладке Настройки: Пароль – Пароль окна администратора.

Выбор алгоритма тестирования
В программе есть три основных алгоритма тестирования:
1) случайный,
2) от простых к сложным,
3) с учетом веса вопросов.

1й алгоритм: вопросы из базы выбираются в случайном порядке, в принципе при этом каждому испытуемому попадается случайный набор вопросов.

Удобно организовывать тестирование, когда учитывается сложность вопросов или их последовательность в зависимости от сложности (или тематики). Для этого в редакторе тестов каждому вопросу нужно определить уровень сложности (вес) и выбрать 2й или 3й алгоритм тестирования.

2й алгоритм: задания будут предлагаться блоками по нарастанию трудности, сначала простые (с уровнем сложности 1), потом сложнее (уровень сложности 2) и т.д. – без учета веса вопросов и с одинаковым количеством вопросов в каждом блоке. Кроме того, этот алгорим можно использовать, когда тестовый материал разбит на тематические блоки, соответственно каждому блоку можно сопоставить определенный уровень.

3й алгоритм: учитывание веса (учитывает уровень сложности заданий ). См. рис:

Согласно рисунку выше в тесте будет предложено сначала 3и вопроса 1го уровня сложности, потом 3и вопроса 2го уровня, и в конце 2а вопроса 3го уровня (цифры можно определять любые). Оценка будет подсчитана, как процент набранных баллов от максимального суммарного балла всех вопросов.
Кроме того, в этом алгоритме можно определить, чтобы вес вопросов не учитывался, т.е. вес каждого вопроса будет приравнен единице. Это удобно, когда вы хотите, чтобы в начале теста были вопросы по-проще, а в конце несколько заданий повышенной сложности, но оценивались они одинаково. В принципе этот момент не учитывает 1й алгоритм тестирования, в котором сложный (или простой) вопрос может выпасть как в начале, так и в конце.

Использование подсказок, комментариев, пояснений
Во вкладке Редактор модуля настроек введите комментарий к вопросу, во вкладке Тесты выставьте опции "Показ. отчет" или "Отображать подсказки" – 1я опция отображает отчет по тесту после его сдачи с возможностью просмотра комметариев, а 2я отображет комментарии во время тестирования. См. рис:

Часто при тренировочном или индивидуальном тестировании, является очень полезным не только узнать правильность ответа или сам правильный ответ, но и подробный комментарий к вопросу, объяснение, подсказку. Что обеспечивает не только проверку качества знаний или навыков, но и позволяет проанализировать допущенную ошибку, выявить пробелы в знаниях, повысить уровень обученности.

Статистический анализ качества теста
Немного теории. Характеристики тестов отвечают требованиям, которые предъявляются всем измерительным материалам. Наиболее существенными считаются следующие характеристики:
• валидность — соответствие проверочного материала целям контроля;
• надежность — устойчивость результатов тестирования при многократном использовании контрольного материала;
• репрезентативность — полнота охвата в тесте изученного материала;
• стандартизованность — единая процедура проведения и подведения итогов тестирования.

В соответствии с классической теорией тестов, показателем качества тестовых заданий является такая статистическая характеристика, как трудность. Трудность задания необходимо определить для правильного конструирования теста. Она определяется как доля учащихся, справившихся с заданием. Статистическая трудность необходима для определения места задания в тесте. Значение трудности — это условная величина, поскольку она зависит от выборки: для сильных и слабых групп это значение будет меняться. Если достаточно большое количество учащихся выборки не могут правильно выполнить задание, стоящее в начале теста, то его следует переместить в другую часть теста (переопределить сложность), и наоборот, — разумеется, предварительно обратив внимание на корректность формулировки условия, ответов, а также на выбранную форму представления задания. Если же в итоговом тесте встречаются задания, которое выполняют все учащиеся (или, наоборот, не выполняет никто), то их исключают из теста, поскольку они не несут информацию о степени подготовленности учащихся.

Так же важную информацию о тесте несут такие статистические характеристикаи, как среднее значение баллов испытуемых, дисперсия, мода, стандартное отклонение, корреляция.
Мода — это наиболее часто встречающееся значение среди результатов выполнения теста. Если одинаково часто встречаются два значения (т. е. имеется две моды), то такое распределение называют бимодальным. Нормальное же распределение результатов должно быть унимодальным (с одним значением моды) и симметричным. Бимодальное распределение говорит о неудачно построенном тесте, требующем внимательного анализа других характеристик для выявления причин.
На рисунке ниже представлено нормальное распределение результатов для абстрактных данных; это идеальный вид кривой, достаточно редко встречающийся на практике. Но если распределение приближается к такой картине, то с определенной допустимой ошибкой измерения можно говорить о распределении по нормальному закону.

Хороший нормативно-ориентированный тест обеспечивает нормальное распределение индивидуальных баллов репрезентативной выборки тестируемых, если среднее значение баллов (X) находится в центре распределения, а остальные — концентрируются вокруг: примерно 70% в центре, а остальные сходят до минимума по краям. Смещение среднего значения влево говорит о слишком трудной подборке заданий теста, и наоборот, смещение вправо — о слишком легкой подборке заданий. Среднее выборочное значение вычисляется просто, поскольку оно есть среднее арифметическое индивидуальных баллов тестируемого.
Дисперсия — отражает меру неоднородности результатов по тесту. Низкая дисперсия говорит о слабом разделении тестируемых по уровню подготовки, а излишне высокое значение дисперсии говорит об искаженной картине распределения, а значит — о наличии проблем в тесте. Для анализа чаще используют стандартное отклонение, которое равно корню квадратному из дисперсии.

Приведем пример расчета статистических характеристик с помощью программы Тесты 2009. Такой анализ особенно удобно проводить при тестировании в компьютерных классах по локальной сети, когда все результаты тестов сводятся в единую базу данных на серверном ПК. Кроме того, если тестирование проводится в нескольких группах, то данные для анализа могут быть значительными и особенно полезными.
Пример. Для возможности анализа результатов теста необходимо, чтобы:
1. во вкладке Тесты модуля Options.exe была проставлена галочка возле надписи "Заносить оценки в журнал",
2. сформированы группы и списки учащихся во вкладке Списки,
3. во вкладке Отчеты созданы таблицы для соответствующих групп и тестов, далее при запуске теста подробные результаты по каждому испытуемому будут сохраняться в этих таблицах.

Чтобы проанализироваться данные тестов выберите вкладку Отчеты->Анализ, выберите тест, в списках доступных таблиц отчетов выберите одну или несколько таблиц и нажмите кнопку Анализ.
Будет получена следующая информация:
1) количество испытуемых, которые проходили тест,
2) средня оценка,
3) дисперсия оценок,
4) среднее отклонение,
5) показатели качества знаний и абслютной успеваемости (проценты удовлетворительных и хороших оценок),
6) таблица коефициентов трудности заданий (содержит номер задания, коеф. трудности задания, количество правильно и не правильно ответивших пользователей).
По результатам этих данных особенно удобно определять уровень трудности заданий. Для этого нажмите ПКМ на таблице и выберите уровень сортировки. См. рис:

Формирование отчетности
Использование отчетов удобно при зачетном, экзаменационном тестировании. Отчеты содержат детальную информацию по группе и по каждому студенту. В отчетах при желании можно собрать подписи со студентов, членов экзаменационной комиссии и т.п.
См. общий отчет:

При организации теста в виде нескольких вариантов можно формировать один отчет для нескольких подобных тестов, – для этого во вкладке Тесты в опции Подобный тест запишите тест (назв. таблицы БД), отчет которого будет использоваться совместно.