Структура и содержание КИМ КИМ по каждому предмету состоят из трёх частей - часть «А» - задания с выбором ответа из предложенных; - часть «В» - задания с кратким свободным ответом; - часть «С» - задания с развернутым свободным ответом (включает словесное обоснование или сочинение-рассуждение, решение или доказательство и т.п.)
Часть А - тип заданий В - с выбором ответа (уровень сложности – базовый "Б" и повышенный "П"); Часть В – тип заданий К - с кратким свободным ответом (в виде целого числа или числа, записанного в виде десятичной дроби, слова) (уровень сложности – повышенный "П"); Часть С - тип заданий Р - с полным развернутым ответом (с записью полного решения). (уровень сложности – высокий "В").
Задания с выбором одного или нескольких правильных ответов это простейший вид задания, в котором правильный ответ уже содержится, и задача испытуемого состоит в его узнавании Инструкции: 1. ОБВЕДИТЕ КРУЖКОМ НОМЕР ПРАВИЛЬНОГО ОТВЕТА: 2. ОБВЕДИТЕ КРУЖКОМ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ: Содержательная основа задания: Задание представляет собой часть утвердительного предложения, но не вопрос. Предлагаемые варианты ответов дополняют его до полного утвердительного предложения. Задача испытуемого – выбрать правильный вариант утверждения
Форма В3 Задания, состоящие из вопроса (или предписания), перечня двух или более содержательных элементов для анализа и четырех вариантов ответа, из которых только один правильный. Ответы в данном задании включают один элемент из перечня, несколько элементов в разном сочетании или в ответе указывается, что все элементы являются правильными или ни один из них.
Пример: Верны ли следующие суждения о государстве? А. В любом государстве существует верховенство права. Б. В правовом государстве гражданин и власть ответственны друг перед другом. 1)верно только А 2)верно только Б 3)верны оба суждения 4)оба суждения неверны Ответ: 2
Пример: Что из перечисленного относилось к деятельности революционных народников? А) пропаганда среди крестьян Б) составление «Русской правды» В) увлечение теориями французского Просвещения Г) издание «Словаря иностранных слов» Д) увлечение теориями «общинного», «крестьянского» социализма Е) террор против правительственных чиновников и царя Укажите верный ответ. 1)Б Г Е 2)А В Д 3)А Д Е 4)Г Д Е Ответ: 3
Задания с кратким ответом на выбор нескольких правильных ответов из предложенного списка. Эти задания, как правило, оцениваются двумя баллами за полный правильный ответ. За частично правильный (с одной ошибкой) учащийся получает один балл. МНОЖЕСТВЕННЫЙ ВЫБОР
Пример: Папоротники относят к царству растений, так как А)в процессе дыхания они поглощают кислород и выделяют углекислый газ Б)в процессе фотосинтеза они образуют органические вещества и выделяют в атмосферу кислород В)их клетки содержат хлоропласты Г)их клетки содержат цитоплазму Д)выполняют роль консументов в экосистеме Е)выполняют роль продуцентов в экосистеме Ответ: ____________. (Запишите соответствующие буквы в алфавитном порядке.) Ответ: БВЕ
Пример: Установите соответствие между областями культуры и особенностями деятельности в этих областях: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца. Особенности деятельностиОбласти культуры 1стремление к достоверностиА)наука 2обоснованность предположенийВ)искусство 3субъективность 4образное отражение реальности Запишите в таблицу выбранные буквы, а затем получившуюся последовательность букв перенесите в бланк ответов (без пробелов и других символов) Ответ: ААББ
Э то более сложный тип задания в тестовой форме, в процессе выполнения которого испытуемый конструирует ответ из предложенной неупорядоченной последовательности слов - используются для проверки знаний хода процесса, цепочки событий, действий и операций, а также определений и понятий. - помогают формировать у учащихся алгоритмические мышление, знание и умение. - задания этой формы полезны как в качестве средства контроля знаний, так и в качестве средства обучения. ИНСТРУКЦИИ: Упорядочите: или Установите правильную последовательность:
Пример: Установите, в какой последовательности в пищевой цепи должны располагаться указанные организмы: А)лягушка Б)ёж В)голый слизень Г)капуста Запишите в таблицу буквы выбранных ответов, а затем перенесите в бланк ответов получившуюся последовательность букв (без пробелов и других символов). Ответ: ГВАБ
Задание открытой формы конструируется в виде утверждения, рядом с которым готовые ответы с выбором не приводятся. Испытуемый сам дописывает в отведенном для этого месте свой ответ так, чтобы в результате получилось истинное высказывание ИНСТРУКЦИЯ Дополните:
Задания открытого типа для проверки терминов КАК НАЗЫВАЕТСЯ ОТВЕТЫ: 1) ПРОЦЕСС ОТЫСКАНИЯ ПРОИЗВОДНОЙ ФУНКЦИИ _________________________ 2) (x 0,х n) ПО РЯДУ НАБЛЮДЕННЫХ ПАР ЗНАЧЕНИЙ (x 0, y 0), (x 1, y 1),…, (x n, y n) _________________________ 3) ФУНКЦИЯ, РАВНАЯ ОТНОШЕНИЮ ДВУХ ПОЛИНОМОВ _________________________ 4) ФУНКЦИЯ R=a 1 x 1 + a 2 x 2 +…+ a n x n, МАКСИМУМ ИЛИ МИНИМУМ КОТОРОЙ НАХОДИТСЯ ПРИ РЕШЕНИИ ЗАДАЧИ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ _________________________
Пример: Электрический кипятильник рассчитан на напряжение 220 В. Сопротивление нагревательного элемента кипятильника 30 Ом. Какое количество энергии выделяется кипятильником при прохождении тока через нагревательный элемент в течение 5 минут? Ответ выразите в кДж. Ответ: 484
Задания с развернутым ответом Для проверки самых сложных умений (анализировать ситуацию, делать выводы, проводить логически и математически грамотные рассуждения, обоснования, доказательства своих действий и грамотно записывать их). Эти задания должны быть направлены на применение в новой ситуации знаний из различных разделов школьного курса. Их назначение заключается в выявлении выпускников, имеющих наиболее высокий уровень подготовки
НЕВЕРНО! Когда была Великая Отечественная война? ВЕРНО! Великая Отечественная война началась в... году 1) в 1941г.1)) в 1945г.2)) с 1941по1945 гг.3)) в 1943 г.4) 1945 ?
НЕВЕРНО! Ни 1942 год, ни 1943 год не является годом начала Великой Отечественной войны. Это... год ВЕРНО! Великая Отечественная война началась в... году 1)))) 1945 ?
4. В заданиях закрытого типа не должно быть заведомо ложных ответов, ответов, содержащих подсказку, а также явно выделяющихся, обособленных ответов. Все ответы должны быть приблизительно одной длины. Подсказок не должно быть и в тексте (формулировке) задания.
НЕВЕРНО! Дата начала Великой Отечественной войны... ВЕРНО! Дата начала Великой Отечественной войны... 1) 19411) 20 июля) 19452) 31 декабря) 22 июня 1941 года3) 22 июня) 19404) 11 января 1940 ?
НЕВЕРНО! Великая Отечественная война началась... ВЕРНО! Великая Отечественная война началась в... году 1) в 19411)) в 19422)) в 19433)) в 19454) 1945 ?
6. ТЗ должно быть однозначным. Однозначность (формальность) это искусство описания тестового суждения, когда нечеткость и неясность задания очевидна из исходных предпосылок для тестируемого, обладающего нужными знаниями. Например, не допускается обращение к субъективному мнению тестируемого.
НЕВЕРНО! Выберите из перечисленного ниже списка те возможности, которыми, по Вашему мнению, могут обладать современные системы управления базами данных: ВЕРНО! Возможности современных систем управления базами данных: 1) Поддержка языка SQL 2) Обеспечение целостности данных 3) Поддержка концептуальной модели 4) Поддержка семантических моделей?
НЕВЕРНО! Из сердца рыбы к органам тела идёт кровь ВЕРНО! Кровь, идущая из сердца рыбы к органам тела называется.... 1) венозная 2) смешанная 3) артериальная 4) смешанная с преобладанием артериальной 1) венозная 2) смешанная 3) артериальная 4) смешанная с преобладанием артериальной?
10. Должно быть предусмотрено достаточное количество вариантов заключений. Для заданий закрытой формы рекомендуется 4-6 вариантов ответов для заданий на последовательность 4-8 элементов для заданий на соответствие наиболее оптимальным считается соответствие 3 к 4 или 3 к 5. В открытой форме должны быть предусмотрены все возможные образцы эталонных ответов.
11. ТЗ должно соответствовать содержанию ГОС или учебной программе. 12. ТЗ должно быть ясным и понятным по смыслу. Ясность смысла тестовой ситуации и представления ТЗ свидетельствует о том, что при конструировании тестовой ситуации ничего существенного не упущено, а исходные посылки и требование проблемной тестовой ситуации понятны для тестируемых с определенным уровнем обученности. 13. Тестовые задания должны иметь различную трудность (для более объективной оценки знаний).
14. ТЗ должно быть компактным и свернутым. Желательно использование рисунков, формул и других поясняющих объектов. При помощи графических объектов задание может быть представлено на экране более компактно и свернуто. Если выделить цветом главный элемент рисунка, то внимание тестируемого сразу будет акцентировано на существенном признаке. 15. Среднее время решения ТЗ (трудность ТЗ) не должно превышать более 2-3 минут (оптимальное время для ответа на краткое суждение). Наиболее оптимальным считается, что на поиск правильного ответа на ТЗ тестируемый потратит около одной минуты.
Обобщённый набор требований к тестам краткость технологичность правильность формы корректность содержания логическая форма высказывания одинаковость правил оценки ответов наличие определенного места для ответов правильность расположения элементов задания одинаковость инструкции для всех испытуемых адекватность инструкции форме и содержанию задания
К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа
2.2. Задания закрытого типа
К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос
2.3. Задания на восстановление соответствия
В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств). Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа
2.4. Задания на восстановление последовательности
Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел
2.5. Использование заданий психологических тестов на выявление структуры интеллекта для тестов учебных достижений
Часто в тестах достижений можно найти попытки использования специфичных заданий, специально разработанных психологами для тестов интеллекта. Это в основном три вида заданий: аналогии, классификации и исключения лишнего. Особенность этих заданий в том, что результат их выполнения зависит не только от знания предметного содержания задания, но и от сложности той интеллектуальной операции, выполнение которой предполагают эти задания
По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :
Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;
Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;
Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;
Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.
Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.
Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:
Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;
Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);
Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;
Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;
Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.
Процесс тестовых измерений предельно стандартизируется, если:
Ни одному студенту не дается никаких преимуществ перед другими;
Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;
В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;
Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;
Группа тестируемых выровнена по мотивации;
Все испытуемые выполняют одни и те же задания.
Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.
5.2. Задания с выбором одного или нескольких правильных ответов
В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.
Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.
Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.
Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.
Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.
Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».
Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».
Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».
Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».
При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».
Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.
Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.
К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.
Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.
Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:
В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;
Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;
Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;
В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;
Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;
Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;
Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;
Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.
При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.
Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.
ПРИМЕРЫ ЗАДАНИЙЗадание 1
ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ
А. Увеличилось
Б. Уменьшилось
Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.
Задание 2
ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С
A. Быстрым экономическим ростом
Б. Усилением роли крупных городов
B. Массовой миграцией населения из деревень в города
В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).
Задание 3
ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ
A. Номиналистической
Б. Металлической
B. Количественной
Г. Трудовой
Задание 4
КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?
A. Проектная
Б. Системная
B. Матричная
Г. Функциональная
Д. Географическая
Задание 5
ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:
A. Металлические деньги
Б. Идеальные деньги
B. Реальные деньги
Г. Мысленно представляемые деньги
Д. Кредитные деньги
Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.
Задание 6
КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?
1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.
2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.
A. Только первое
Б. Только второе
B. Ни первое, ни второе
Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.
Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.
Задание 7
МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.
A. Информационных
Б. Людских
B. Временных
Г. Материальных
Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.
Задание 8
К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ
{Москвы
Санкт–Петербурга}
ОТНОСЯТСЯ:
1) Павловск, Ораниенбаум
2) Архангельское, Царицыно
3) Петергоф, Гатчина
4) Царское Село, Стрельня
В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.
Задание 9
ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ
A. Экономическое благо
Б. Неограниченность ресурсов
B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов
Д. Правовые отношения
Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.
Задание 10
УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ
A. Неопределенность
Б. Сложность
B. Динамичность
Г. Определенность
Д. Ограниченность
Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.
При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.
Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид
X" i = X i – [W i / (k – 1)]
где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.
При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.
Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.
В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:
Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;
Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;
Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;
Выбор ответов по разным основаниям;
Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.
Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.
Задание 11
КРУГООБОРОТ КАПИТАЛА – ЭТО
A. Непрерывное и последовательное движение денежного капитала
Б. Последовательное превращение капитала из одной функциональной формы в другую
B. Возвращение авансированной стоимости
Г. Функционирование товарного капитала
Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.
Задание 12
ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ
Б. Меньше
B. Такой же
Г. Зависит от конъюнктуры рынка
Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.
Задание 13
КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?
1. Взаимоотношение человека и окружающей среды
2. Оценка времени
3. Природа людей
4. Манера общения
5. Оценка степени активности
6. Свобода доступа информации
7. Взаимоотношение людей
8. Отношение к обладанию пространством
A. Четвертый и шестой
Б. Третий и шестой
B. Третий и пятый
Г. Четвертый и седьмой
Задание 14
A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними
Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности
B. Открыта для любых нововведений, необходимых собственнику
Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач
Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.
Задание 15
КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:
Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.
Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?
A. 0,01 х 1 + 0,04 х 2 > max
Б. 0,02 х 1 + 0,03 х 2 > max
B. 0,02 х 1 + 0,04 х 2 > max
Г. 0,03 х 1 + 0,01 х 2 > max
5.3. Задания с конструируемым ответом
В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.
Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.
В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.
Например: Впишите правильный ответ.
Задание 1
Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .
Задание 2
Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.
При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.
Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:
Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;
Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;
Все прочерки в заданиях для одного теста рекомендуется делать равной длины;
Место для ответа лучше отводить в конце задания или как можно ближе к концу;
После прочерка, если это возможно, указываются единицы измерения;
Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.
Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.
Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.
Задание 3
НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).
Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.
В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения
Задание 4
ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?
Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.
Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .
Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.
Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;
Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;
Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;
Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.
Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:
Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;
Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);
Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;
Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;
Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;
Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.
Задания типа эссе можно оценивать в соответствии со следующим:
Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;
Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;
При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.
Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».
Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».
5.4. Задания на установление соответствия
Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.
Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.
Задание 1
К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).
Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга
Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.
Задание 2
УСТАНОВИТЕ СООТВЕТСТВИЕ
Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.
При разработке заданий на соответствие следует руководствоваться следующими правилами:
Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;
Элементы задающего столбца располагаются слева, а элементы для выбора – справа;
Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;
Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;
Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;
Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.
В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.
К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».
Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.
5.5. Задания на установление правильной последовательности
Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.
Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.
Задание 1
РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.
A) Дмитрий Пожарский
Б) Алексей Ермолов
B) Михаил Скобелев
Г) Алексей Орлов
Задание 2
УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:
? – спадение легких
? – торможение центра дыхательных мышц в спинном мозге
? – возбуждение центра выдоха в продолговатом мозге
? – расслабление диафрагмы и вспомогательных мышц
? – уменьшение грудной полости
Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.
5.6. Сравнительная характеристика форм тестовых заданий
В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.
Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.
Преимущества и недостатки различных форм заданий
1. Задания с двумя ответами
Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.
Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.
2. Задания с выбором из четырех-пяти ответов
Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.
Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.
3. Задания с конструируемыми регламентированными ответами
Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.
Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.
4. Задания со свободно конструируемыми ответами
Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.
Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.
5. Задания на соответствие
Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.
Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.
Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.
Таблица 5.1 Сравнительные технологические характеристики форм
Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.
Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.
Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.
Практические задания и вопросы для обсуждения
1. Обведите номер правильного ответа.
Тестовые задания с двумя ответами эффективнее использовать в контроле:
1) текущем
2) тематическом
3) итоговом
4) входном
2. Обведите номер правильного ответа.
1) текущего
2) итогового
3) входного
3. Обведите номер правильного ответа.
Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:
4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.
Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?
1. Класс рыб
2. Класс пресмыкающихся
3. Класс земноводных
4. Класс млекопитающих
5. Предложите метод улучшения формулировки заданий.
Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?
1. Самодержавие
2. Крепостничество
3. Сословность
4. Помещичья собственность на землю
5. Национальный гнет
Тесты можно разделять по многим признакам. Основная классификация - по направленности теста: оценивать можно способности человека, его личностные качества, интеллект, отдельные психические функции (внимание, память, воображение), знания. Поскольку сайт посвящен вопросам использования тестов в образовании, то дальше речь пойдет именно о последних - тестах знаний.
Традиционные тесты
Традиционный тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Результат традиционного теста зависит от количества вопросов, на которые был дан правильный ответ.
Нетрадиционные тесты
К нетрадиционным тестам можно отнести тесты
интегративные, адаптивные, многоступенчатые и так
называемые критериально-ориентированные тесты.
1. Интегративные тесты
Интегративным можно назвать тест, состоящий из системы заданий, нацеленных на обобщенную итоговую диагностику подготовленности выпускника образовательного учреждения. Диагностика проводится посредством предъявления таких заданий, правильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин.
2. Адаптивные тесты
Адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметры трудности и дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Самая главная характеристика заданий адаптивного теста - это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных учащихся интересующего контингента.
Виды тестовых заданий
Рассмотрим наиболее популярную классификацию тестовых заданий. В рамках данной классификации тестовые задания можно разделить на две группы:
- тестовые задания закрытого типа (каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных);
- тестовые задания открытого типа (на каждый вопрос испытуемый должен предложить свой ответ: дописать слово, словосочетание, предложение, знак, формулу и т.д.).
Выбор типа и вида тестового задания определяется, прежде всего, целями, в соответствии с которыми проводится тестирование, характером материала, усвоение которого необходимо выявить, возрастными особенностями испытуемых. Немаловажное значение играет финансовое, кадровое и ресурсное обеспечение, а также запас времени, которым располагает разработчик.
Множественный выбор - испытуемому необходимо выбрать один или несколько правильных ответов из приведенного списка
Альтернативный выбор - испытуемый должен ответить «да» или «нет»
Установление соответствия - испытуемому предлагается установить соответствие элементов двух списков
Установление последовательности - испытуемый должен расположить элементы списка в определенной последовательности
Свободное изложение - испытуемый должен самостоятельно сформулировать ответ; никакие ограничения на них в задании не накладываются
Дополнение - испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений (например, дополнить предложение)
Приложение 3
Формы тестовых заданий (с вариантами представления ответов)
И требования по их составлению
Тестовые задания могут быть четырех типов:
1. Закрытое тестовое задание
2. Открытое тестовое задание
3. Тестовое задание на установление соответствия
4. Тестовое задание на установление правильной последовательности
1.ЗАКРЫТОЕ ТЕСТОВОЕ ЗАДАНИЕ – это задание на выбор правильного ответа (одного или нескольких) из предложенных вариантов. Задание формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа.
· Задание формулируется предельно кратко (не более 250 символов, т.е. примерно четырех строк экранного текста). Каждый ответ в тестовом задании открытого типа должен содержать не более двух-трех строк экранного текста. Все ответы к одному заданию должны быть приблизительно одной длины.
Закрытое тестовое задание с одним вариантом ответа:
Фиксированная дань была установлена при …
а) князе Олеге
б) князе Игоре
В) княгине Ольге
г) князе Владимире
Закрытое тестовое задание с несколькими вариантами ответа:
Угроза русским землям в XIII в. исходила от …
а) Византии
б) Хазарии
В) немецких рыцарей
Г) шведских рыцарей
· Из текста задания необходимо исключать все ассоциации, способствующие выбору правильного ответа с помощью догадки.
· Тестовые задания закрытой формы должны содержать 3–10 (оптимально 4–6) вариантов ответов на каждый вопрос, в т.ч. минимум один правильный и минимум один ошибочный.
· Правильные варианты ответов на задания составитель теста должен выделить жирным шрифтом.
· Среди предложенных вариантов ответа может быть как один, так и несколько верных. Отсутствие верного ответа, как и отсутствие ошибочного – недопустимо.
· Тестовое задание не должно содержать повторов, двойных отрицаний и сленга, а также глаголов повелительного наклонения («выберите», «вычислите», «укажите» и т.д.).
· «… не …» (отрицательная форма) заменяется на «Неверно, что …» (утвердительная форма):
Неверно, что первой женщиной-космонавтом была …
а) В. Терешкова
Б) Е. Кондакова
В) С. Савицкая
Г) С. Райд
· Не допускается использование вариантов ответа: «все выше перечисленное верно» «верны варианты а), б) и в)», «все ответы верные» и «нет правильного ответа», так как подобные словосочетания невозможно подставить в текст задания.
· Нельзя начинать тестовое задание фразой типа «Из перечисленного ниже …», так как в этом случае невозможно с помощью подстановки ответа превратить текст задания в законченное утверждение.
· При составлении тестовых заданий следует избегать вводных фраз или предложений, имеющих мало связи с основной мыслью.
· Неправильные ответы должны быть умело подобраны, не должно быть очевидности их ошибочности (как ответ (В) «луна-парками»):
Территории, наиболее важные для сохранения разнообразия живой природы, называются …
А) экорегионами
б) экологическими парками
в) луна-парками
г) заповедниками
· Варианты ответов должны быть рядоположенными (не такими, как ответ (Г)):
Первый антимонопольный закон был принят в …
А) США
Б) России
В) Англии
Г) прошлом веке
· Необходимо, чтобы варианты ответов принципиально отличались друг от друга, а не были одинаковыми по сути, но изложенными другими словами.
2. ОТКРЫТОЕ ТЕСТОВОЕ ЗАДАНИЕ – это задание на дополнение предложенного текста пропущенным словом или словосочетанием. Составитель должен указать к данному заданию один короткий правильный ответ (слово или число) или конечное множество эталонных ответов, если возможно различное написание.
Ответ: 20 век; 20 в., XX век, XX в., двадцатый век
· Дополнение в тексте может быть только одно, его место обозначается тмноготочием {…}. Ответом является ключевой элемент содержания задания, знание которого является наиболее существенным для контролируемого материала.
Открытое тестовое задание:
Даровой принудительный труд зависимого крестьянства, работающего собственным инвентарем в хозяйстве феодала, – это …
Ответ: барщина
· Текст задания должен обладать предельно простой синтаксической конструкцией. В тексте задания не должно быть повторов и двойного отрицания.
3. ТЕСТОВОЕ ЗАДАНИЕ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ – это задание на определение связей между элементами, входящими в разные множества.
· Соответствие между элементами множеств должно быть однозначным, одному элементу первого множества должен соответствовать один элемент второго множества. Первое множество должно включать не менее 2 элементов, второе множество по количеству элементов должно быть больше (но не более чем в 2 раза) или равно первому множеству.
· Множества должны иметь разные нумерации: первое множество – арабскими цифрами со скобками, второе – русскими строчными буквами со скобками. Ответ оформляется жирным шрифтом в виде указания порядкового номера элемента первого множества вместе с порядковым номером соответствующего элемента второго множества.
Тестовое задание на установление соответствия:
Установите соответствие между именами политических лидеров страны и идеями, концепциями и программами этого периода:
1) Н.С. Хрущев
2) Л.И. Брежнев
3) Ю.В. Андропов
4) М.С. Горбачев
а) концепция развитого социализма
б) программа строительства коммунизма
в) концепция перестройки
г) концепция преодоления некоторых деформаций социализма путем укрепления дисциплины и порядка
д) концепция капитализма с человеческим лицом
е) концепция информационного общества
Ответ: 1б, 2а, 3г, 4в.
4. ТЕСТОВОЕ ЗАДАНИЕ НА УПОРЯДОЧИВАНИЕ – это задание на систематизацию предложенных элементов по какому-либо принципу (в основном, хронологическому).
· В тексте задания должен быть четко и кратко сформулирован критерий упорядочения элементов.
· Последовательность устанавливаемых объектов должна быть однозначной, не рекомендуется составлять последовательность, требующую повторения одного из объектов.
· Ответ оформляется жирным шрифтом в виде перечисления порядковых номеров элементов задания в нужной последовательности.
Тестовое задание на упорядочивание:
Московские государи правили в следующей последовательности:
2) Дмитрий Донской
4) Иван Калита
5) Василий III
Ответ: 4, 2, 3, 5, 1.
ПРАВИЛА ДОРАБОТКИ ТЕСТОВ.
В том случае, если Вы получили информацию о необходимости доработки какого-либо теста, необходимо следовать следующим правилам. Если Вы не получали тест на доработку от тестолога, необходимо запросить его конечный вариант в отделе контента. При получении теста, проверенного тестологом, необходимо проверить отредактированные элементы (набраны синим шрифтом) и, если смысл задания не искажен редактурой, снять выделение цветом и маркером с текста (это будет означать, что Вы согласны с редактурой). Задания, выделенные красным маркером, необходимо переделать, приведя их в соответствие с требованиями к составлению тестовых заданий, или удалить. Все замечания по необходимой переработке заданий приведены в фигурных скобках в конце «проблемных» заданий, а также выделены красным маркером. Внимание! Изменения необходимо вносить именно в присланный тестологом файл.
Приложение 1.
Правила оформления тестовых заданий
· Все задания оформляются обычным шрифтом (не курсивом, не жирным). Жирным шрифтом обозначаются правильные варианты ответов.
· Место для вставки ответа обозначается многоточием {…}
· Тестовое задание начинается с заглавной буквы, ответы – со строчной (кроме имен собственных, географических и административных названий, астрономических наименований и пр.)
Исключение: когда тестовое задание начинается с многоточия {…} для вставки ответа, тогда все ответы следует писать с заглавной буквы.
· При оформлении тестового задания закрытого типа в конце высказывания не ставятся точка, двоеточие или знак вопроса, допускаются только многоточие или отсутствие знаков препинания.
Угроза русским землям в XIII веке исходила от …
Угроза русским землям в … веке исходила от немецких и шведских рыцарей
· После вариантов ответа знаки препинания (запятые, точки с запятой, точки) не ставятся.
· В тестах для самопроверки должна быть сквозная нумерация заданий – от начала до конца теста (а не внутри каждой темы).
· В заданиях на установление соответствия множества должны иметь разные нумерации: первое множество нумеруется арабскими цифрами со скобками: 1) 2), второе – русскими строчными буквами со скобками: а) б).
· Задания нумеруются только с помощью автонумерации Word (не вручную).
· Ответы закрытого тестового задания нумеруются (вручную, без использования автонумерации Word), строчными русскими буквами со скобкой, в столбик (каждый ответ с красной строки):
· Ответ (ответы) открытого тестового задания приводится с красной строки, жирным шрифтом, в конце ставится точка:
Ответ: двенадцать, 12.
· Ответ тестового задания на установление соответствия оформляется жирным шрифтом в виде указания порядкового номера элемента первого множества вместе с порядковым номером соответствующего элемента второго множества. Ответ приводится в одну строку, с красной строки, жирным шрифтом, в конце ставится точка.
Ответ: 1 – а, б. 2 – в, г.
· Ответ тестового задания на упорядочивание приводится в одну строку, с красной строки, жирным шрифтом, в конце ставится точка.
Ответ: 4, 2, 3, 5, 1.
· Тестовые задания и варианты ответов не следует оформлять в форме таблиц.
· В рамках одного теста не должно быть повторов . Если текст Задания 2 идентичен тексту Задания 1, а варианты ответов Задания 2 более чем на 50 % совпадают с ответами Задания 1, то Задание 2 считается повтором и должно быть изменено.
Приложение 2.
Виды тестов, используемых в учебном процессе МФПУ «Синергия»
| Виды тестов | Описание |
| Тест (в контексте данного документа) понимается как совокупность тестовых заданий, соответствующих Требованиям к составлению тестовых заданий Положения об учебно-методических комплексах. В приведенной ниже информации указано минимальное количество тестовых заданий. Максимальное количество не регламентировано. Выделение верных вариантов ответа жирным шрифтом обязательно. | |
| Тест промежуточной аттестации (ПА) | Разделен на 2 части: Часть А, Часть Б. Тестовых заданий: Часть А - 30 (базис на оценку 3), Часть Б - 15 (на оценку 4). Доп. требования: В Части А задания только закрытой формы с одним вариантом ответа. Используется для проведения ЭЛАЗов в компьютерных классах Университета. |
| Контрольный тест к учебным материалам | Деления на части нет. Тестовых заданий: 30 Разрабатывается по предоставляемым учебным материалам (пока не разработан Интернет-курс или handbook). При соблюдении этого условия в качестве контрольного теста может быть использован тест ПА. |
| Тесты для самопроверки СПО | К каждой теме учебного пособия по 5 тестовых заданий. |
| Контрольный тест СПО | Деления на части нет. Тестовых заданий: 30. Доп. требования: Должен соответствовать учебным материалам для программы СПО. |
| Тесты для самопроверки в структуре интернет-курса | К каждой теме интернет-курса по 10 тестовых заданий. |
| Контрольный тест интернет-курса | Деления на части нет. Тестовых заданий: 50. Доп. требования: может быть составлен из тестов для самопроверки с добавлением 20% новых заданий. При создании может быть использован тест ПА, при условии, что информация для ответа на задания прямо или косвенно присутствует в интернет-курсе, и добавлении к тесту 5-10 заданий на оценку 5. |
| Тесты для самопроверки в структуре handbook | К каждой теме handbook по 5 тестовых заданий. |
| Контрольный тест handbook | Деления на части нет. Тестовых заданий: 30. Доп. требования: может быть составлен из тестов для самопроверки с добавлением 20% новых заданий. Является частью ЗИМа, задания итогового мероприятия. За выполнение теста предусматривается начисление 50 баллов, оставшиеся 50 баллов обучающиеся могут получить за выполнение другой часть ЗИМа – комплексного практического задания. Используется в основном для дистанционного обучения. |
Приложение 3.
Примеры составления тестовых заданий с разбором типичных ошибок
| Правильный пример тестового задания | ||
| В XIII в. русские земли подверглись угрозе; эта угроза исходила от … а) Византии б) Хазарии в) немецких рыцарей г) шведских рыцарей | Тестовое задание должно представлять собой одну законченную мысль и содержать не более 250 символов (четырех строк экранного текста) | Угроза русским землям в XIII в. исходила от … а) Византии б) Хазарии в) немецких рыцарей г) шведских рыцарей |
| Как назывался даровой принудительный труд зависимого крестьянства, работающего собственным инвентарем в хозяйстве феодала? Ответ: барщина | Задание должно быть представлено в форме высказывания (недопустимо формулировать задание в виде вопроса, задачи, загадки и т.д.) | Даровой принудительный труд зависимого крестьянства, работающего собственным инвентарем в хозяйстве феодала, – это … Ответ: барщина |
| К социально-культурным факторам, оказывающим непосредственное влияние на покупательское поведение, безусловно, не могут не относиться следующие факторы: | Формулировка задания должна быть четкой, ясной и однозначной, не содержать повторов и двойных отрицаний | Социально-культурные факторы, оказывающие непосредственное влияние на покупательское поведение, – это … |
| Назовите правителя, при котором была установлена фиксированная дань. a) князь Олег б) князь Игорь в) княгиня Ольга г) князь Владимир | Задание должно быть представлено в виде предложения утвердительного, а не повелительного наклонения (правило относится к открытым и закрытым тестовым заданиям) | Фиксированная дань была установлена при … а) князе Олеге б) князе Игоре в) княгине Ольге г) князе Владимире |
| Ошибочный пример тестового задания | ТРЕБОВАНИЯ К СОСТАВЛЕНИЮ тестовых заданий | Правильный пример тестового задания |
| Государства Западной Европы в период классического средневековья существовали в форме … монархии а) раннефеодальная б) абсолютная в) конституционная г) сословно-представительная | Формулировки задания и ответов должны быть грамматически согласованы | Государства Западной Европы в период классического средневековья существовали в форме … монархии а) раннефеодальной б) абсолютной в) конституционной г) сословно-представительной |
| Фирма – это … а) организационная форма легализации бизнеса б) объект делового администрирования в) рабочее место профессионального предпринимателя г) все вышеперечисленное | Каждое задание должно иметь хотя бы один правильный ответ и хотя бы один неправильный, поэтому запрещены ответы: «Все вышеперечисленное» и «Ничего из вышеперечисленного». (правило относится к закрытым тестовым заданиям) | Фирма – это … а) организационная форма легализации бизнеса б) объект делового администрирования в) диверсифицированный бизнес г) рабочее место профессионального предпринимателя д) символ богатства |
| Первой женщиной-космонавтом была … а) В. Терешкова б) Ю. Гагарин в) А. Волков г) С. Райд | Формулировки задания и ответов не должны содержать «подсказок», чтобы не влиять на выбор ответа | Первой женщиной-космонавтом была … а) В. Терешкова б) Е. Кондакова в) С. Савицкая г) С. Райд |
| ЛФ, оказывающие неслабое влияние на покупательское поведение, – это … | Формулировки задания и ответов могут содержать только общепринятые аббревиатуры и не должны содержать сленга | Личностные факторы, оказывающие непосредственное влияние на покупательское поведение, – это … |
| | | следующая лекция ==> | |