В большинстве случаев тестовые оболочки (ТО) построены на принципах однозначного распознавания ответов тестируемого: выбор, шаблонный ответ, конструирование ответа.

Другим важным свойством ТО должно быть наличие возможности передачи результатов и протокола тестирования какому-либо статистическому пакету для дальнейшей обработки, что в некоторых существующих ТО представлено неполно. [5]

    1. 3. Критерии качества тестов

Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности. Традиционно выделяются два основных критерия качества тестов. Первый из них связан с понятием точности измерений и известен, главным, образом, в виде понятия надежности теста. Качество педагогического контроля в вузе зависит не только от надежности используемых методов, но и от их валидности. Валидность теста —его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию или, что то же самое, характеристика его способности изучать то, что он должен изучать по замыслу авторов. [1]

    1. 3. 1. Надежность тестов.

Существует несколько практических способов определения надежности теста. Самый безупречный со статистической точки зрения метод определения надежности – это коррелирование двух параллельных тестов, созданных для измерения одного и того же свойства.

Суть корреляции состоит в том, что из полученной каждым студентом суммы баллов вычитается ровно то число, которое может быть угадано в соответствии с теорией вероятностей. Корреляция осуществляется с помощью соотношения:

    ,

где - скорректированный на догадку тестовый балл испытуемого; - число правильных ответов, полученных испытуемым в тесте;

    - число неправильных ответов;
    - число готовых ответов в заданиях теста.

Эта формула применяется к заданиям с одинаковым числом готовых ответов. Интуитивно наиболее понятный и простой способ определения надежности теста –это двукратное, по меньшей мере, использование одного и того же теста в той же самой группе студентов. Результаты обоих опросов анализируются с целью поиска корреляции между ними. Данный метод имеет свои достоинства и недостатки. Достоинства заключаются в сравнительной простоте его использования, ясности основных посылок, лежащих в определении надежности, простоте расчетов. К недостаткам можно отнести неопределенность в выборе временного интервала между первым и вторым опросами. Этот интервал может колебаться от нескольких минут до нескольких дней, месяцев и даже лет. Надежность тестов достаточно просто оценить в гомогенных тестах. Однако, оценка надежности заметно осложняется в гетерогенных тестах. Осложнение вызвано главным образом некоррелируемостью (или слабой коррелируемостью) гомогенных тестов между собой. Соответственно ответы студентов на задания одного гомогенного теста, как правило, редко коррелируют с ответами на задания другого. Отсутствие же корреляции мешает всякой надежде на мало-мальски заметную надежность теста в целом. Все методы оценки надежности теста основаны на разных теоретических положениях, но все они призваны ответить на один и тот же вопрос –насколько точны проведенные измерения? Само понятие "точность" в каждом случае оценки приобретает несколько отличающийся смысл.

Имеются, по меньшей мере, два источника погрешностей, мешающие говорить об абсолютной надежности теста. Первый источник связан с выборкой испытуемых. Вряд ли можно найти две такие выборки, в которых тестовый опрос был бы одинаково надежным. Скорее всего, значения варьировали бы от выборки к выборке в некоторых пределах в соответствии с законом нормального распределения. Уже одно это призывает к осторожности в интерпретации коэффициента надежности. Вместо выражения “надежность теста” мы вынуждены использовать другое, более точное – "полученная в данной выборке оценка надежности теста". Второй источник погрешностей –в формулировании и отборе заданий. Если мы примем небезосновательное предположение о детерминации (в статистическом смысле) или, иначе, о зависимости конкретных результатов измерения от истинных, присущих данным испытуемым в идеальных условиях, то коэффициент надежности удобно интерпретировать как коэффициент детерминации. [1]

    1. 3. 2. Валидность тестов.

вотличие от надежности, определение которой сводится к выбору одной из множества расчетных схем, обоснование валидности теста представляет собой задачу методологического характера. Как и обоснование любой деятельности, процесс валидизации начинается с уточнения цели и конкретных задач педагогического контроля. Если ставится цель проверить знания студентов по какой-либо дисциплине и при этом не важно, каким методом это надо будет сделать, то легко понять, что эта цель может быть достигнута посредством использования зачетов, экзаменов, курсовых и дипломных работ. Эти и другие методы неравноценны с точки зрения объективности и качества оценки, и потому вопрос о валидности легко переводится в прагматическую плоскость оценки сравнительной пригодности того или иного метода для достижения поставленной цели.

Тест может быть валидным, если помимо прочих требований средние результаты соответствуют большей части студентов, а сами данные распределяются по нормальному закону. Если это условие не выполняется, то тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда возникает стремление разработчиков тестов добиваться нормальности распределения за счет варьирования числа легких и трудных заданий.

Если в тесте нет достаточного числа легких и трудных заданий, то возникает вопрос о его сбалансированности по трудности, то есть обычно в тесте должно быть больше заданий средней трудности и несколько меньше откровенно легких или трудных заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте легко добиваются нормальности распределения. Дальнейшее совершенствование идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться– какой ответ правильный. Но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки всей массы студентов будет тем ниже, чем труднее тест. Такое же влияние на надежность, – но по другой причине –оказывает легкий тест, в котором студенты, наоборот, догадываются редко, их ответы устойчивы, но почти нет различий между испытуемыми.

Валидность теста существенно зависит от его различающей способности. Если десять человек в группе получают “отлично”, такая оценка не позволяет различать, кто из этих десяти лучше, а кто несколько хуже знает предмет. Различающая способность тем выше, чем меньше одинаковых оценок студенты по нему получают. Следовательно, тем больше вариация результатов и более чувствительна шкала к индивидуальным различиям. Поэтому повышению различающей способности теста (РСТ) в стадии его создания уделяется большое внимание. При этом применяются несколько методов: 1. Регулирование по времени тестирования; чем больше стандартное отклонение, тем больше различающая способность теста. 2. Оптимальный подбор заданий. В принципе РСТ, а вместе с ней и надежность теста, возрастают с увеличением доли заданий средней трудности в тесте. Однако в тесте обязательно должна быть некоторая часть легких и трудных вопросов, точное количество которых зависит от конкретных обстоятельств. 3. Точность измерений. Если, например, время реакции измерять у испытуемых с точностью до одной десятой, сотой, тысячной и так далее секунды, то получим различную различающую способность теста. Валидность теста связана, помимо прочего, с понятиями “гомогенный и гетерогенный тест”. Если тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней, то такой тест считается гомогенным, а значит и валидным для этой частной цели. Поэтому в более чистом виде гомогенный тест представляет собой тест для изучения знаний какому-то частному разделу программы.

Для комплексной оценки знаний студентов может быть составлен тест, состоящий из вопросов по нескольким дисциплинам. Это– пример гетерогенного теста, который состоит из группы гомогенных тестов. Соответственно такой тест является валидным именно для комплексной оценки. Валидность теста зависит и от так называемой длины теста. Под длиной теста понимается количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7– 15 заданий, и очень длинные, состоящие из более чем пятисот заданий. Если тест очень длинный, то ухудшается мотивация и внимание у испытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то при этом возникают организационные проблемы, испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем длиннее тест, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или иную сторону, в зависимости от конкретного случая. Валидность теста зависит еще и от расположения заданий в тесте. Существует различная практика расположения заданий: 1. По степени возрастания трудности. Такое расположение характерно в основном для гомогенных тестов. Для гетерогенных тестов сохранение этого принципа выражается в так называемой “спиральной” форме расположения заданий. 2. В случайном порядке. Этот способ расположения заданий широко применяется в психологических тестах и в процессе компьютерного тестирования. 3. В специальном порядке, в соответствии с какой-либо теорией, соображениями переноса навыков, концентрации внимания и других. 4. В порядке, сочетающем специальный и случайный подбор. Обычно это делается в гетерогенных тестах.

Существуют несколько подходов к валидизации тестов, различающихся в зависимости от используемых критериев. В педагогической практике наибольшее распространение в последние годы получили такие тесты, валидность которых не требуется доказывать эмпирически: в таких тестах критерием их пригодности является само содержание теста, одобренное опытными преподавателями-экспертами. При этом у преподавателя должна быть уверенность в том, что: задания теста находятся в соответствии с программой;

задания теста охватывают не один какой-либо раздел, а всю программу курса; высока вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой. Перечисленные три пункта объединяются общей идеей –содержит ли тест задания, пригодные для оценки знаний по конкретной дисциплине? Если в результате статистической проверки выявляется, что ответы на вопросы теста вполне позволяют обоснованно судить о знаниях студентов, то считается, что тест содержит валидные вопросы; он валиден по содержанию. Требование валидности по содержанию предъявляется к каждому вопросу теста, мерой валидности является коэффициент корреляции ответов по заданию с критерием. При создании теста в качестве критерия обычно берутся оценки, выставляемые студентам группой преподавателей-экспертов без тестов. Результаты студентов по вопросам теста и по оценкам экспертов коррелируются. Высокая согласованность оценок по тесту и у экспертов указывает и на высокую валидность.

Надо подчеркнуть, что нет показателей раз и навсегда установленных надежности и валидности теста. В каждом отдельном исследовании рекомендуется проверять качество теста и лишь на этой основе делать выводы о достоверности данных. К показателям надежности, как и валидности, предъявляют определенные требования. Надежность и валидность можно оценить с помощью таблицы 1. 1. [1]

    2. РАЗРАБОТКА ПАКЕТА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ
    ОПЕРАТИВНОГО КОНТРОЛЯ УРОВНЯ ЗНАНИЙ
    СТУДЕНТОВ ПО КУРСУ “МЕХАНИКА”

Одним из эффективных инструментов при проведении педагогического эксперимента является компьютерная технология оценки качества знаний, умений и навыков. Систематическое использование компьютерной технологии тестирования в учебном процессе вуза дает возможность проводить оценку качество подготовки и дифференциацию знаний студентов на всех этапах обучения в динамике его изменения. При проведении тестирования решаются следующие основные задачи:

формирование структуры испытательного (тестового) модуля в диалоговом режиме; подготовка необходимого количества различных вариантов испытательного педагогического модуля заданной структуры как с одинаковыми, так и различными характеристиками (сложность, трудоемкость, число операций и тому подобное); организация и проведение контрольных мероприятий;

первичная обработка информации, её представление в форме, удобной для анализа и принятия решений на различных уровнях управления учебным процессом (преподаватель, кафедра, факультет, ректорат, аттестационная служба). Главное преимущество компьютерной технологии - "автоматическая" процедура контрольного мероприятия, когда обучаемый выполняет задание в непосредственном диалоге с ЭВМ, результаты сразу переносятся в блок обработки, что позволяет за довольно короткий срок провести процесс дифференциации знаний большого количества испытуемых. [6]

    №4. Определение момента инерции методом
    крутильных колебаний.

Цель работы: определение методом крутильных колебаний момента инерции тела и проверка справедливости теоремы Гюйгенса-Штейнера.

Страницы: 1, 2, 3