ФОРМАЛЬНЫЕ ТРЕБОВАНИЯ К РАЗРАБОТКЕ ТЕСТОВ
1. Количество вопросов-ответов для целей компьютерного тестирования, которые требуется разработать
Разрабатываемые вопросы-ответы должны быть разной категории сложности. В данном случае устанавливаются четыре категории сложности разработки.
К первой категории сложности относятся вопросы в текстовом виде, содержащие два простых варианта ответа («Да»/«Нет», «Присутствует» / «Отсутствует», другие односложные варианты ответов).
К четвёртой категории сложности относятся вопросы в графическом виде, содержащие не менее шести вариантов ответов. Ко второй и третьей категории относятся вопросы - ответы по сложности пропорционально более сложные, чем первой категории, и менее сложные, чем четвёртой категории.
Не имеют категории сложности, и, соответственно, не подлежат приёмке вопросы - ответы общеупотребительного характера, в которых определение ответа не составляет сложности для лиц, не обладающих специальными знаниями.
Вопросы - ответы первой категории не могут составлять более 25 процентов от общего числа разработанных вопросов - ответов. Вопросы - ответы четвертой категории сложности, не могут составлять менее 10 процентов от общего числа разработанных вопросов - ответов.
2. Предметом вопросов-ответов являются пропущенные темы (модули, практические занятия – кейсы…)
3. Требования к представлению вопросов-ответов
3.1. Вопросы могут разрабатываться в текстовой форме или в виде графического изображения (рисунка, фотографии и т.п.). Ответы могут разрабатываться только в текстовой форме.
3.2. Каждый вопрос должен иметь не менее четырех вариантов ответов, из которых не менее одного являются правильными и не менее одного являются неправильными.
3.3.Правильные ответы на вопросы должны иметь обоснование со ссылкой на конкретную норму документа в данной сфере (технический регламент, международный стандарт, национальный стандарт, региональный стандарт, свод правил, стандарт НОСТРОЙ, руководящий документ и т.п.), либо на инструктивный, методический документ или научный результат. При ссылке на конкретный документ необходимо указывать реквизиты такого документа и его структурную единицу, содержащую подтверждение правильного ответа на вопрос (раздел, часть, пункт, подпункт, литера, параграф, абзац и т.п.). Не допускается обосновывать правильный ответ общедоступными литературными источниками.
3.4. Вопросы могут быть сгруппированы по разделам (подразделам и т.д.) модулям для целей установления критериев определения положительными результатов оценки уровня знаний.
ТРЕБОВАНИЯ К РАЗРАБОТКЕ ТЕСТОВ
Тесты должны удовлетворять следующим общим требованиям:
1. Легкости понимания;
2. Относительной новизны по способу решения и содержания;
3. Лаконичности;
4. Минимальной вероятности случайного решения;
5. Экономичности с точки зрения выполнения.
Тесты должны составлять таким образом, чтобы они не вызывали посторонних вопросов со стороны тестируемых, не требовали больших усилий для выполнения вспомогательных операций, были компактны и удобны для учета результатов и обработки материала преподавателем, допускали возможность формализации окончательных результатов, четкой стандартизации процедуры оценки и интерпретации.
Имеется ряд правил формулирования содержания тестов, а именно:
1. В основе каждого теста (пункта), вопроса, набора суждений и т.д. должна лежать одна мысль. Если состав утверждений сложный (два или более относительно независимых высказывания), то формулировку следует сократить или разделить на соответствующее количество пунктов.
2. Следует избегать употребления многозначных понятий, редких значений слов, сленга, диалектизмов, узкоспециальных терминов и формулировок.
3. Слишком короткие, в телеграфном стиле, формулировки вызывают дополнительные вопросы и нередко являются многозначными.
4. Непомерно длинные высказывания ведут к затруднению их понимания, удлиняют время тестирования, излишне утомляют, создают условия для возникновения посторонних помех, которые могут оказать влияние на результат тестирования (устойчивость внимания, навык чтения, индивидуальный уровень развития понимания сложных синтаксических конструкций и т.д.).
5. Тесты должны быть реальными, отражать существующие отношения, соответствовать времени, иметь конкретное содержание.
6. Тесты не должны быть похожими друг на друга по содержанию, чтобы решение одного не служило "ключом" для другого.
Составление тестов открытого типа рекомендуется проводить в следующей последовательности:
I. Написать определение (принцип, закон).
II. Выделить в нем ключевое слово.
III. Перестроить фразу так, чтобы это слово оказалось последним.
СОСТАВЛЕНИЕ ТЕСТОВ
Исходным моментом составления тестов является выделение цели, преследуемой тестом.
По форме задания или вопросы должны быть не допускающими разночтений и имеющими однозначный ответ, правильно грамматически и литературно выраженными.
Конструирование тестов требует четкого деления изучаемого материала на логически оконченные дозы информации, порции, фрагменты и т.п., уровень усвоения которых можно было бы оценить кратко и однозначно. Такая доза должна содержать не менее чем одно-два новых понятия.
После этой операции приступают к составлению формулы задания, т.е. собственно теста. Формула задания, по мнению Т.А.Ильиной (Ильина Т.А. Вопросы методики программирования. М., 1969, с. 59), может иметь свыше пятнадцати видов: узнавание требуемого явления среди данных; отнесение данного явления к соответствующей категории; нахождение наиболее точного и правильного определения; нахождения правила, которое проиллюстрировано данным примером; определение наиболее вероятной причины данного явления; определение наиболее вероятного исхода данного события; нахождение типичного признака, характеризующего данное явление; нахождение одного верного утверждения среди неверных; нахождение варианта наиболее экономичного и рационального решения; дополнение утверждения недостающим элементом из числа данных; определение явления по характерному признаку и др.
Каждый из названных вариантов может быть положен в конструкцию формулы теста (задания), причем оно может быть построено с выборочным либо сконструированным ответом.
Составление вопросов – самый ответственный и трудный этап работы над тестовыми заданиями. Все дело в том, что смысловая ориентация вопросов, логическая непогрешимость их и грамотность выражения определяют в значительной степени качество ответов. Двусмысленность и неясность формулировок – наиболее распространенный недостаток. Неправильное понимание заданий может оказаться следствием их краткости. Единичное предложение трудно сделать ясным и четким. При обычном изложении двусмысленность одного предложения снимают предложения, следующие за ним. В этом случае лучшей проверкой ясности является прочтение написанного материала другим человеком. Пишущий задание замкнут на контекст, в котором это задание должно восприниматься, и ему трудно заметить другой смысл своих формулировок. Прочтя написанное некоторое время спустя, он, возможно, сам увидел бы получившуюся двусмысленность.
Следует избегать двойных отрицаний (отрицания отрицаний). Например: "Что из ниже перечисленного не относится к качествам…?" Такие вопросы сложны для восприятия слушателей и затрудняют решение задания. Правильно будет сформулировать данный вопрос следующим образом: "Что из ниже перечисленного относится к качествам…
Вопросы (как и ответы) не должны содержать жаргонизмов, аббревиатур, так как слушатель не всегда знает их содержания.
При разработке тестов закрытого типа формулу задания рекомендуется представлять в виде утверждения, но допускается и в виде вопроса. Разработчик теста должен быть убежден, что среди множества возможных вопросов стоит задать именно этот. Затем он должен сформулировать условие и ответы тестового задания таким образом, чтобы правильный ответ наверняка не мог быть найден каким-нибудь поверхностным путем. Хорошо составленные тесты должны заставить при поиске правильного ответа отобрать, взвесить и использовать те знания, которые накоплены.
Способы конструирования ответов имеют не меньшее значение, чем формулирование вопросов. Ряд понятий, из которого производится выбор правильной информации, должен быть максимально правдоподобным. Защита заданий от нечестных приемов решения является элементом методики составления тестовых заданий. На всех стадиях составления заданий необходимо предусматривать способы защиты. Среди них можно выделить следующие:
- помещение правильного ответа среди неправильных;
- подбор и использование правильной и неправильной информации, предельно близких по форме и внешним признакам;
- использование неправильной информации с относительной ложностью;
- изменение соотношений между количеством порций правильной и неправильной информации;
- хаотическое размещение правильной и неправильной информации.
Наиболее простым и распространенным приемом построения заданий является помещение правильного ответа среди неправильных. Сущность данного приема не требует особых пояснений – один правильный ответ помещается среди нескольких неправильных, которые образуют информационный ряд. Защищенность задания от угадывания ответов будет тем выше, чем меньше внешних признаков различия будут иметь члены информационного ряда.
Главная задача следующего приема – подбор неправильной информации, предельно близкой по форме и внешним признакам к правильному ответу, но отличающейся по содержанию.
При формулировании вариантов ответов необходимо стремиться к тому, чтобы использовалось минимальное количество слов примерно одинаковой длины, чтобы они все были одинаково привлекательны. Из самого вопроса необходимо устранить все несоответствующие подсказки к правильному ответу.
Для подбора информации и для конструирования альтернативных рядов целесообразно в качестве неправильной информации использовать: а) термины, определения из смежных тем и разделов изучаемого курса; б) неполные ответы; в) типичные ошибки, допускаемые слушателями в ответах при изучении контролируемого материала.
Необходимо отметить, что использование в выборочных ответах абсурдной, провокационной, вымышленной информации недопустимо, поскольку, с одной стороны, это демаскирует правильную информацию, а с другой – ведет к заучиванию ненужного, порой вредного материала.
Изменение соотношения между количеством правильной и неправильной информации в выборочном ответе также является одним из действенных приемов защиты задания от угадывания.
Обычно при выборочном способе конструирования задания одну порцию правильной информации помещают среди трех-пяти неправильных (уменьшение этого числа увеличивает вероятность случайного отгадывания правильного ответа, увеличение же затрудняет решение задания при анализе предложенных в нем ответов). Это, так сказать классическая схема построения выборочного ответа. По эту схему обычно разрабатываются и компьютерные системы тестирования. Но по этой схеме можно запрограммировать не каждое понятие, которое имеет несколько признаков. В этом случае количество порций правильной информации увеличивается (при сохранении общего количества порций). Если вся информация является правильной, то в информационный ряд помещается выражение типа "Все ответы верны".
Не менее интересным приемом защиты ответа от угадывания является помещение в информационном ряду отсылки типа: "Правильного ответа нет". Данный прием активизирует мыслительную деятельность слушателя при решении задачи, но одновременно он выполняет и функцию защиты задания от угадывания.
При конструировании ответов для тестовых задач, построенных по принципу восстановления соответствия частей, используется такой прием, как увеличение числа ответов по сравнению с количеством задач в данном тестовом задании.
