ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ КОНТРОЛЯ ОСВОЕНИЯ ТЕМЫ «РЫНОК ТРУДА» ПРИ ОБУЧЕНИИ УЧИТЕЛЕЙ ЭКОНОМИКИ Баранов А.В.,Чучкалова С.И.

Филиал Кубанского государственногог университета в городе Славянске-на-Кубани


Номер: 4-2
Год: 2016
Страницы: 21-26
Журнал: Актуальные проблемы гуманитарных и естественных наук

Ключевые слова

тестовые задания, корреляция, рынок труда. Кeywords: test tasks, correlation, labour market

Просмотр статьи

⛔️ (обновите страницу, если статья не отобразилась)

Аннотация к статье

В статье исследуется эффективность контроля освоения темы «Рынок труда». Обоснован метод использования корреляционного анализа для повышения валидности и надежности тестовых заданий.

Текст научной статьи

Во время прохождения практики на базе филиала ФГБОУ ВО «Кубанский государственный университет» в г. Славянске-на-Кубани было проведено исследование в группе Д-11-Э направления «Педагогическое образование», профиль «Экономика». Данное исследование проводилось на основе практического занятия на тему «Рынок труда и его особенности» в рамках дисциплины «Экономическая теория» (Макроэкономика). [3,254]. Цель исследования состояла в выявлении эффективности контроля освоения указанной темы. На лекционном занятии были рассмотрены: понятие рынка труда, факторы, влияющие на спрос и предложение на рынке труда, особенности рынка труда в России, модели рынка труда. Для контроля освоения темы студентам было предложено решить задания в тестовой форме по теме «Рынок труда и его особенности» после прочтения лекции, до и после проведения практического занятия. Всего было разработано 15 тестовых заданий для двадцати испытуемых. Рассмотрим результаты первого тестирования до практического занятия. Ответы студентов на тестовые вопросы представлены в таблице 1. Средний процент правильных ответов составил 55%. Таблица 1 Результаты первого тестирования № Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 X11 X12 X13 X14 X15 Yi pi qi pi/qi ln pi/qi 1 1 0 1 0 0 1 0 1 0 1 1 0 0 1 1 8 0,53 0,47 1,13 0,12 2 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 14 0,93 0,07 13,3 2,6 3 1 0 1 1 0 1 0 1 1 0 0 0 1 0 0 7 0,47 0,53 0,9 -0,11 4 1 1 1 0 0 1 0 1 0 1 1 0 0 1 0 8 0,53 0,47 1,13 0,12 5 0 0 0 0 1 1 1 1 1 0 1 0 1 1 0 8 0,53 0,47 1,13 0,12 6 1 0 0 1 0 1 1 1 1 0 0 0 0 0 1 7 0,47 0,53 0,9 -0,11 7 1 1 1 1 0 1 0 1 0 1 1 1 1 0 1 11 0,73 0,27 2,7 0,99 8 0 0 0 1 0 1 1 1 1 1 0 0 0 1 0 7 0,47 0,53 0,9 -0,11 9 1 1 1 0 1 1 0 1 1 1 1 0 1 1 1 12 0,8 0,2 4 1,39 10 1 0 1 1 0 1 0 1 1 1 0 0 0 1 1 9 0,6 0,4 1,5 0,40 11 0 1 0 0 0 1 0 1 1 1 1 0 0 0 1 7 0,47 0,53 0,9 -0,11 12 1 0 1 1 0 1 1 1 0 0 0 1 1 1 0 9 0,6 0,4 1,5 0,40 13 1 0 0 0 0 1 1 1 1 0 0 0 1 0 1 7 0,47 0,53 0,9 -0,11 14 0 0 1 1 1 1 1 1 1 1 1 0 0 1 1 11 0,73 0,27 2,7 0,99 15 0 0 1 0 0 0 1 1 1 0 1 0 0 1 0 6 0,4 0,6 0,67 -0,40 16 0 0 0 1 1 0 1 1 1 0 0 0 0 0 1 6 0,4 0,6 0,67 -0,40 17 1 0 1 1 0 1 0 1 1 1 1 0 1 0 0 9 0,6 0,4 1,5 0,40 18 1 0 0 0 0 1 1 0 1 0 0 0 1 1 1 7 0,47 0,53 0,9 -0,11 19 0 1 0 1 0 1 0 1 1 1 1 0 0 0 1 8 0,53 0,47 1,13 1,12 20 0 0 0 0 0 0 0 1 1 1 0 0 0 1 1 5 0,33 0,67 0,5 -0,7 Rj 12 6 11 11 5 17 9 19 16 12 11 3 9 12 13 166 Wj 8 14 9 9 15 3 11 1 4 8 9 17 11 8 7 М= 166 =8,3 20 pj 0,6 0,3 0,55 0,55 0,25 0,85 0,45 0,95 0,8 0,6 0,55 0,15 0,45 0,6 0,65 qj 0,4 0,7 0,45 0,45 0,75 0,15 0,55 0,05 0,2 0,4 0,45 0,85 0,55 0,4 0,35 pjqj 0,24 0,21 0,248 0,248 0,188 0,128 0,248 0,048 0,16 0,24 0,248 0,128 0,248 0,24 0,228 qj/pj 0,67 2,33 0,82 0,82 3 0,18 1,22 0,05 0,25 0,67 0,82 5,67 1,22 0,67 0,54 ln qj/pj -0,40 0,85 -0,20 -0,20 1,10 -1,71 0,20 -2,99 -1,39 -0,40 -0,20 1,74 0,20 -0,40 -0,62 1 - балл за правильный вариант ответа; 0 - балл на неправильный вариант ответа; Yi - тестовый балл испытуемого; Rj - число правильных ответов, полученных по каждому заданию; pj - доля правильных ответов; qj - доля неправильных ответов; М - среднее арифметическое балла; lnqj/pj - мера трудности задания. Можно проанализировать индивидуальный уровень знаний учащихся: - самый высокий процент правильных ответов составил 93 % - у испытуемого № 2 и 80 % - у испытуемого № 9; - самый низкий процент правильных ответов составил 33% и 40%, его дали испытуемый № 20 - 33 % и испытуемый № 16 - 40 %. Определим сложность тестовых вопросов: - самым сложным вопросом оказался вопрос № 12, в котором учащиеся должны были определить, согласно какой модели на рынке труда отсутствуют условия совершенной конкуренции, процент правильных ответов по этому вопросу составил - 15 %; - самым легким вопросом оказался вопрос № 8, где требовалось дать определение понятию «трудовые ресурсы», процент правильных ответов по этому вопросу составил - 95 %. Обычно исследователи ограничиваются средним процентом правильных ответов и основываются на нем при продолжении эксперимента. Однако, по-нашему мнению, этого недостаточно, так как этим не проверена взаимосвязь тестовых заданий друг с другом, их надежность и валидность, для чего необходимо использовать метод корреляции. Обработка результатов тестирования проведена по методике профессора Аванесова В.С [1,178], результаты которой представлены в таблице 2. Определяем средний арифметический тестовый балл в данной группе испытуемых: М = 166 /20 =8,3 (1) [5,81], где: М - средний арифметический тестовый балл. Далее определяем сумму квадратов отклонений значений баллов от среднего арифметического тестового балла по формуле: SSy= ∑ (Yi - My) 2 (2) [2,14], SSy = ∑(8-8,3)2+(14-8,3)2+(7-8,3)2+(8-8,3)2+(8-8,3)2+(7-8,3)2+(11-8,3)2+(7-8,3)2+(12-8,3)2+(9-8,3)2+(7-8,3)2+(9-8,3)2+(7-8,3)2+(11-8,3)2+(6-8,3)2+(6- 8,3)2+(9-8,3)2+(7-8,3)2+(8-8,3)2+(5-8,3)2=94,2. При анализе используют второй показатель - делят SSy на число испытуемых в группе. В результате получается стандартный показатель вариации тестовых баллов, называемый дисперсией sy2 или вариацией. Дисперсия вычисляется таким образом: Sy²= SSy (3) [3,18], (N-1) где: Sy - стандартное отклонение тестовых баллов; SSy - сумма квадратов отклонений баллов испытуемых от среднего арифметического балла. При N=20 дисперсия равна Sy²=94,2:(20-1)=5. Стандартное отклонение Sy является общепринятой мерой вариации тестовых баллов и определяется по формуле: Sy= √SSy/(N-1) (4) [3,16 ], где: Sy= √94,2/(20-1)=2,23. Для проверки меры связи ответов испытуемых по всему тесту строится вспомогательная таблица 2 (приведены данные для примера по 7 вопросу). Таблица 2 Данные для расчета коэффициента корреляции при первом тестировании Х7 Y X7Y X2 Y2 0 8 0 0 64 0 14 0 0 196 0 7 0 0 49 0 8 0 0 64 1 8 8 1 64 1 7 7 1 49 0 11 0 0 121 1 7 7 1 49 0 12 0 0 144 0 9 0 0 81 0 7 0 0 49 1 9 9 1 81 1 7 7 1 49 1 11 11 1 121 1 6 6 1 36 1 6 6 1 36 0 9 0 0 81 1 7 7 1 49 0 8 0 0 64 0 5 0 0 25 ∑= 9 166 68 9 1472 Коэффициент корреляции определяется по формулам: 1. Сумма квадратов отклонений баллов испытуемых от среднего арифметического балла в интересующем задании: SS7=∑Х7² - (∑Х7)² = 9-9²/20 = 4,95 (5) [5,189]. N 2. Сумма квадратов отклонений тестовых баллов испытуемых от среднего арифметического балла по всему тесту: sj2= pjqj= SSy= 94,2. 3. Скорректированная на среднее значение сумма произведений X и Y: SPxy= ∑XY - (∑X)(∑Y) (6) [3,11]. N SPxy= -6,7 4. Коэффициент корреляции: rxy= SPxy_ (7) [3,10]. √SSx *SSy rxy= -6,7 / √4,95×94,2= -0,3. Чем выше значение rxy, тем больше вероятность превращения задания в тестовой форме в тестовое задание, то есть быть включенным в тест. Если взять значение r2×100%, то получим значение так называемого коэффициента детерминации, выраженного в удобной для интерпретации процентной мере связи задания с суммой баллов. Получаем: (-0,3)2 ×100% = 9%. Рассчитаем коэффициенты корреляции по всем пятнадцати представленным тестовым заданиям по формуле: rpb = M1-M0/Sy ×√n0n1/n(n-1) (8) [3,12], где: rpb- коэффициент корреляции; M1 - среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию один балл; M0 - среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию ноль баллов; n1 - число испытуемых, получивших в задании один балл; n0 - число испытуемых, получивших в задании ноль баллов. Таблица 3 Коэффициенты корреляции при первом тестировании Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 X11 X12 X13 X14 X15 ∑ rpb rpb 0,4 0,9 0,6 0,3 0,5 0,5 -0,2 0,1 -0,2 0,44 0,5 0,6 0,41 0,2 0,2 5,05 Из данных таблицы видно, что вопросы № 7 и № 9, № 8, № 14 и № 15 оказались наименее сочетаемыми с другими вопросами. Отрицательное значение корреляции, говорит о том, что эти задания не выдержали эмпирической проверки, поэтому задания № 7, № 9, № 8, № 14 и № 15 следует заменить на другие тестовые вопросы. Остальные задания составлены в правильной форме и являются доступными для учащихся. Вычитанием из максимального значения тестового балла минимального значения получаем одну из характеристик вариации - размах баллов испытуемых, что лучше выразить следующим образом: RA= Ymax-Ymin (9) RA= 14 - 3=11, следовательно, при прочих равных условиях лучше тот тест, у которого размах баллов больше. Расчет коэффициента надежности теста выполним по формуле Kuder - Richardson 8 (KR-8). rKR-8 = sy2 - ∑ pjqj/ 2 sy2 + [(sy2 - ∑ pjqj/ 2 sy2)2 + ∑r2xjypjqj/2 sy2]½ (10) [4,112] Практическое применение данной формулы для оценки надежности измерения знаний дает нам в результате rKR-8 = 5,8. Это говорит о надежности теста. Они могут быть использованы для расчета так называемой стандартной ошибки измерения (se): se = sy√ 1- rxx (11) [4,117], где: sy - стандартное отклонение тестовых баллов испытуемых; rxx- коэффициент надежности измерения. Подстановка в эту формулу полученных уже ранее данных дает se = 2,23×√1-5,8=1,02. Полученное значение se является положительным результатом, то есть тест надежный, и это значение используется для построения доверительного интервала, в пределах которого находится, вероятнее всего, истинное значение тестового балла испытуемого. Доверительный интервал определяется из выражения: ŋi= Yi+/- tse (12) [4,184]. Таким образом, истинный балл первого испытуемого может варьироваться от 3 до 9. Следовательно, можно сказать о том, что в предложенном тесте почти все вопросы оказались доступными для понимания студентов. Вопросы № 2, 5, 12 являются менее валидными (набрали меньшее количество ответов). На практическом занятии по данной теме был закреплен пройденный материал решением соответствующих задач и после него проведено второе тестирование по скорректированному тесту, результаты которого приведены в таблице 4. Самый высокий процент правильных ответов среди студентов оказался 87 %. Такие результаты показали испытуемые № 1, 16, 17, 20. Процент правильных ответов на тестовые задания колеблется у 15 студентов от 67 % до 80 %. Менее содержательным оказался результат испытуемого № 8 - всего 53 %. Средний процент правильных ответов среди студентов составил 75,5 %. Рассчитаем коэффициент корреляции по тестовым вопросам. Результаты данных расчетов представлены в таблицах 4, 5, 6, 7. Таблица 4 Результаты второго тестирования № Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 Х11 Х12 Х13 Х14 Х15 Yi pi qi pi/qi 1 1 1 0 1 1 1 1 1 1 0 1 0 1 1 1 12 0,8 0,2 4 2 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 13 0,87 0,13 6,7 3 1 1 1 1 0 0 1 1 0 1 1 0 1 1 1 11 0,73 0,27 2,7 4 1 1 1 0 1 1 0 1 1 1 1 1 1 0 0 11 0,73 0,27 2,7 5 1 0 1 1 1 1 1 0 1 1 1 1 1 1 0 12 0,8 0,20 4 6 1 1 1 1 0 1 1 1 1 0 0 1 1 1 1 12 0,8 0,20 4 7 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 11 0,73 0,27 2,7 8 1 0 1 0 1 0 1 0 1 1 1 0 1 0 0 8 0,53 0,47 1,13 9 1 0 1 1 1 1 0 1 0 1 1 1 1 0 1 11 0,73 0,27 2,7 10 1 1 1 1 0 1 1 1 1 0 1 1 0 1 0 11 0,73 0,27 2,7 11 1 1 1 1 0 1 1 1 1 0 1 1 0 1 0 11 0,73 0,27 2,7 12 1 1 1 1 0 1 1 0 1 1 0 1 1 1 0 11 0,73 0,27 2,7 13 1 1 0 1 0 1 1 1 1 0 1 1 1 1 1 12 0,8 0,20 4 14 1 1 1 0 1 1 0 0 1 1 1 0 1 1 1 11 0,73 0,27 2,7 15 0 1 0 0 1 0 1 1 1 0 1 1 1 1 1 10 0,73 0,27 2,7 16 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 13 0,87 0,13 6,7 17 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 13 0,87 0,13 6,7 18 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 11 0,73 0,27 2,7 19 1 0 1 1 1 1 0 1 0 1 1 1 0 1 1 11 0,73 0,27 2,7 20 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 13 0,87 0,13 6,7 Rj 19 16 17 13 13 17 16 14 17 11 15 16 16 14 14 228 Wj 1 4 3 7 7 3 4 6 3 9 5 4 4 6 6 М = 228/20 = 11,4 pj 1 0,8 0,85 0,65 0,65 0,85 0,8 0,7 0,85 0,55 0,75 0,8 0,8 0,7 0,7 qj 0 0,2 0,15 0,35 0,35 0,15 0,2 0,3 0,15 0,45 0,25 0,2 0,2 0,3 0,3 pjqj 0 0,16 0,13 0,23 0,23 0,13 0,16 0,21 0,13 0,25 0,19 0,16 0,16 0,21 0,21 ∑2,56 qj/pj 0 0,25 0,18 0,54 0,54 0,18 0,25 0,43 0,18 0,82 0,29 0,25 0,25 0,43 0,43 Таблица 5 Расчет показателей вариации тестовых баллов при втором тестировании SSy Sy² Sy 27 1,42 1,2 Таблица 6 Расчет коэффициента корреляции и детерминации при втором тестировании SS8N sj2 SPxy rxy Коэффициент детерминации (%) 4,2 2,56 14,4 1,4 9 Таблица 7 Коэффициенты корреляции при втором тестировании Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 Х11 Х12 Х13 Х14 Х15 rpb 0,3 0,4 0,21 0,3 0,1 0,7 0,23 0,3 0,14 0 0,5 0,4 0,7 0,6 0,5 ∑ rpb 5,38 RA 13 - 8 = 5 Согласно расчетов из 15 тестовых заданий вопрос № 5 и 10 не сочетаются с другими. Эти задания необходимо пересмотреть, либо заменить. По всем остальным вопросам коэффициент корреляции является приемлемым. По сравнению с первым тестированием суммарный коэффициент корреляции вырос на 0,33. При условии, что размах баллов по данному тестированию равен 5, то можно сказать, что второе тестирование оказалось лучше первого. Результаты расчетов коэффициентов надежности теста: Расчет по формуле (10) r KR-9 = 1,2-2,56/2,4+ [(1,2-2,56/2,4)2 + 13,98×2,56/1,2]½ = -0,75 + √0,57 + 16,2456 = 4,12 Коэффициент надежности измерения теста составляет 4,12 (rxx = 4,12). Стандартная ошибка измерения результатов тестирования формуле (11) составляет se = 1,2×√1-4,12 = 3,7. Значит, истинный балл первого испытуемого может варьироваться от 10 до 15 (по формуле 16 ŋi =3,7=12+/-3). Следовательно, можно сказать о том, что в предложенном тестировании почти все вопросы оказались доступными для понимания студентов. Вопросы № 4, 5, 10 являются менее валидными (набрали меньшее количество ответов). Все вопросы, предложенные в тесте после его корректировки, являются эффективными и подтверждают пригодность к контролю и результативность. После проведения практического занятия доля правильных ответов в тесте повысилась. Таким образом, проведенное исследование показало, что использование корреляционного анализа позволяет создавать более валидные и надежные тесты, что позволяет улучшить контроль освоения темы.

Научные конференции

 

(c) Архив публикаций научного журнала. Полное или частичное копирование материалов сайта возможно только с письменного разрешения администрации, а также с указанием прямой активной ссылки на источник.