Основните етапи на проектиране на тестове в психодиагностиката. Педагогическа диагностика в образователния процес
На етапа на разработване на тест, както и всеки друг метод, се извършва процедура по стандартизация, която включва три етапа.
Първа стъпка
стандартизирането на психологическия тест е да се създаде единна процедура за тестване. Той включва дефинирането на следните точки от диагностичната ситуация:
1. условия на изпитване (стая, осветление и други външни фактори).
3. Наличие на стандартен стимулен материал. Времеви ограничения за този тест. Стандартен формуляр за извършване на този тест. Използването на стандартен формуляр улеснява процедурата по обработка.
4. Отчитане на влиянието на ситуационните променливи върху процеса и резултатите от теста. Променливите означават състоянието на изпитвания субект (умора, пренапрежение и др.), нестандартни условия на тестване (лошо осветление, липса на вентилация и т.н.), прекъсване на тестването.
5. Разглеждане на влиянието на поведението на диагностика върху процеса и резултата от изследването. Например, одобряващото и окуражаващо поведение на експериментатора по време на тестване може да се възприеме от респондента като намек за „верния отговор“ и т.н.
6. Отчитане на влиянието на опита на респондента при тестване. Естествено, респондентът, който не за първи път се подлага на тестовата процедура, е преодолял чувството на несигурност и е изградил определено отношение към тестовата ситуация.
7. Втора фаза
Стандартизацията на психологическия тест се състои в създаване на единна оценка на изпълнението на теста: стандартна интерпретация на получените резултати и стандартна предварителна обработка. Този етап включва и сравняване на получените показатели с нормата за извършване на този тест за дадена възраст.
8. Трети етап
стандартизирането на психологическия тест е да се определят нормите на теста.
Разработени са норми за различни възрасти, професии, пол и др.
Наличието на нормативни данни (норми) в стандартизираните методи на психодиагностика е тяхната съществена характеристика.
Нормите са необходими при интерпретиране на резултатите от теста (първични индикатори) като стандарт, с който се сравняват резултатите от теста.
На етапа на създаване на тест се формира определена група от предмети, върху които се провежда този тест. Средният резултат от този тест в тази група се счита за норма. Средният резултат не е едно число, а диапазон от стойности. Има определени правила за формиране на такава група от субекти или, както се нарича по друг начин, стандартизационни проби.
Правила за стандартизиране на извадката:
1. извадката за стандартизация трябва да се състои от респонденти, към които по принцип е насочен даденият тест,
2. Стандартизационната извадка трябва да е представителна, т.е. трябва да бъде модел на намалена популация по отношение на такива параметри като възраст, пол, професия, географско разпределение и т.н.,
Разпределението на резултатите, получени от тестване на тествани субекти от стандартизираната извадка, може да бъде изобразено с помощта на графика - крива на нормално разпределение.
Тази графика показва кои стойности на първичните показатели са включени в зоната на средните стойности (в зоната на нормата) и кои са над и под нормата.
Производните показатели се получават чрез математическа обработка на първичните показатели.
Основните показатели за различните тестове не могат да се сравняват един с друг поради факта, че тестовете имат различна вътрешна структура
Важно е да запомним, че, както пише А. Анастаси, „Всяка норма, независимо как е изразена, е ограничена до определен набор от хора, за които е разработена. Що се отнася до психологическите тестове, те (нормите) в никакъв случай не са абсолютни, универсални или постоянни. Те просто изразяват изпълнението на теста от субекти от стандартизационната извадка.
Клинични задачи
Задача 1 При назначаването на лекаря пациентът е с бистър ум, правилно ориентиран в средата и в собствената си личност. Казва, че от около година усеща външно влияние. Той предполага, че "с него работи някаква организация", чиито членове с помощта на "телепатични устройства" действат върху неговите мисли, чувства...
Методология на психологията
Задачи на социалната психология: 1) изучаване на проблемите на социалната психология, които взаимодействат с други науки; 2) необходимостта от преразглеждане на социално-психологическите проблеми във връзка с настъпилите социални промени у нас; 3) изследване на етнически, икономически, класови, политически, идеологически явления; 4 ...
Признаци на самоактуализираща се личност
Маслоу отбелязва, че липсата на стоки, блокирането на основни и физиологични нужди от храна, почивка, сигурност води до факта, че тези нужди могат да станат водещи за обикновения човек („Човек може да живее само с хляб, когато няма достатъчно хляб ”). Но ако основните, първични нужди са задоволени, тогава човек показва ...
Процесът на създаване на тест, неговото научно обосноваване, обработка и усъвършенстване може да бъде разделен на няколко етапа.
1. Определяне на целта на тестването, избор на вида на теста и подхода за неговото създаване.
3.Определяне на структурата на теста и стратегията за подреждане на задачите.
4. Разработване на тестова спецификация, априорен избор на дължина на теста и време за изпълнение.
5. Създаване на предтестови задачи.
6. Избор на задачи в теста и тяхното класиране според избраната стратегия за представяне въз основа на априорни авторски оценки за трудността на задачите.
7. Разглеждане на съдържанието на предтестови задачи и тестове.
8. Проверка на формата на предтестови задачи.
9. Преработка на съдържанието и формата на заданията въз основа на резултатите от изпита.
10. Разработване на методика за апробационно тестване.
11. Разработване на инструкции за ученици и за учители, тестващи теста.
12. Провеждане на апробационно тестване.
13. Колекция от емпирични резултати.
14. Статистическа обработка на резултатите от теста.
15. Интерпретация на резултатите от обработката с цел подобряване на качеството на теста. Проверка на изпълнението на теста спрямо основани на доказателства критерии за качество.
16. Корекция на съдържанието и формата на задачите въз основа на данните от предходния етап. Почистване на теста и добавяне на нови елементи за оптимизиране на диапазона от стойности за параметъра на трудност и подобряване на основните свойства на тестовите елементи. Оптимизиране на продължителността на теста и времето за изпълнение на базата на апостериорни оценки на характеристиките на теста. Оптимизиране на реда на заданията в теста.
17. Повтаряне на фазата на тестване за изпълнение на следващите стъпки за подобряване на качеството на теста.
18. Интерпретация на обработваните данни, установяване на тестови норми и създаване на скала за оценка на резултатите от учебните предмети.
Възниква един вид цикъл, тъй като след почистване на теста разработчикът трябва да се върне към етапа на събиране на емпирични данни и като правило не веднъж, а два, три или повече. В известен смисъл този цикъл е безкраен, но не защото всички задачи са лоши и разработчикът няма достатъчно опит в създаването на тест. Просто процесът на проектиране на тест е доста труден, тъй като е необходим цялостен подход за оценка на качеството на теста и характеристиките на тестовите елементи, за проверка на техните системообразуващи свойства.
Освен това можем да предположим, че проблемът за оптимален подбор на състава на теста няма едно решение, тъй като не всичко тук се определя от качеството на тестовия материал, но все пак много зависи от нивото на подготовка на теста. група студенти. Задачите, които работят добре за една извадка от ученици, може да са напълно безполезни за друга, тъй като ще бъдат или твърде лесни, или твърде трудни и нито един ученик в групата няма да ги изпълни правилно.
Успехът на създаването на тест до голяма степен зависи от високото качество на първоначалния тестов материал, което се осигурява от правилния избор на проверяваното съдържание и от способността на разработчика да го изведе правилно в тестовите елементи. Изключително важен е етапът на обработка на резултатите от емпирични тестове, за който са необходими специални софтуерни инструменти за професионална разработка на тестове.
Разбира се, далеч не винаги е необходимо да се постигне професионално ниво на качество в процеса на създаване на тестове, особено ако пренебрегнем целите за прием на кандидати и сертифициране на завършилите. В ежедневната дейност на учителя са необходими тестове с различно, понякога ниско качество, фокусирани върху задачите на текущия контрол. Изпълнението на последната задача е по силите на отделен учител или група учители. Въпреки това, дори и в този случай, можете самостоятелно да направите редица изчисления, базирани на минималния математически апарат, което ви позволява значително да преминете от задачи преди теста към реалния тест.
заключения
1. Теорията на педагогическите измервания има интердисциплинарен характер, като съчетава постиженията на педагогиката и психологията с постиженията на математиката, статистиката и теорията на измерването.
2. Развитието на понятийния апарат на теорията на педагогическите измервания е важно за подобряване на качеството на тестовете.
3. При формулиране на понятийния апарат е необходимо да се класифицират видовете тестове, за да се приведат въведените определения в съответствие с различните видове тестове и целите на тяхното създаване. .
4. Педагогическите тестове могат да се използват за входен, текущ и заключителен контрол при оценяване на резултатите от реализирания образователен процес.
5. Педагогическите тестове се разработват в рамките на два подхода, които позволяват различни интерпретации на резултатите от тяхното изпълнение.
6. Наблюдаваните резултати от теста се получават в резултат на взаимодействието на много субекти с много тестови задачи.
7. Професионално разработените тестове дават индикация за истинските резултати на учениците, определени по специални методи от наблюдаваните резултати от теста.
8. Процесът на конструиране на тест включва редица етапи, изпълнението на които е задължително. Изключването на всеки етап води до неизбежна загуба на качеството на теста.
ВЪПРОСИ И ЗАДАЧИ
1.Какви са функциите на входящите тестове? Има ли смисъл да се разработват приемни тестове в училище?
2. Какви са целите на разработването на формиращи тестове? Има ли разлики между формиращите тестове и традиционните инструменти за наблюдение?
3. Каква е целта на финалния тест?
4. Какъв подход според вас трябва да се използва при разработването на тестове за матурите в училище?
5. Вашето училище оценява ли правилно работата на учителите?
6. Какъв процес се нарича стандартизация на теста?
7. Избройте факторите, които влияят върху стабилността на тестовите норми.
8. Какви тестове, според вас, трябва да се разработят на първо място, за да се подобри ефективността на образователния процес в училище?
9. Формулирайте определенията на предтестова задача, тестова задача, педагогически тест. Сравнете отговора си със съдържанието на съответните раздели на ръководството.
10. Какви са предимствата на предтестовата задача в сравнение с традиционните контролни задачи?
11. Какви са общите изисквания към задачите преди теста? Сравнете отговора си със списъка с общи изисквания, предоставен в ръководството.
12. Опишете факторите, които намаляват точността на тестовите измервания.
13. Възможно ли е да се добие представа за истинските резултати на учениците, използвайки традиционните контроли?
14. Трима ученици отговориха на 6 тестови задачи, подредени по нарастваща трудност. В резултат на отговорите бяха получени следните профили:
първо: 111000; втори: 101010; трети: 000111.
Кой според вас е научил по-добре съдържанието на тествания курс? Колко грешки има в профила на отговорите на всеки от тримата ученици? Кой от тримата ученици ще има по-висок реален резултат? Правилно ли е да задам последния въпрос във връзка с резултатите на третия ученик?
15. Избройте основните етапи на разработване на теста.
Поставяне на цел на етап планиране
При създаването на тест вниманието на разработчика се привлича преди всичко от подбора на съдържание, което може да се определи като оптимално показване на съдържанието на учебната дисциплина в системата от тестови елементи. Изискването за оптималност включва използването на определена методология за подбор, включваща въпросите за поставяне на цели, планиране и оценка на качеството на съдържанието на теста.
Етапът на поставяне на цели е най-трудният и в същото време най-важният: качеството на тестовото съдържание зависи преди всичко от резултатите от неговото изпълнение. В процеса на поставяне на цели учителят трябва да реши какви резултати на учениците иска да оцени с помощта на теста. Отговорът би изглеждал прост, поне така изглежда на онези, които многократно проверяват знанията на учениците в класната стая с традиционни средства. На практика обаче тази привидна простота често води до лоши резултати от контрола на качеството, когато ученици от различен произход получават еднакви оценки или учителят стига до погрешно заключение за постигането на учебните цели, докато учениците не са получили най-важните знания или не са се научили как да го прилагат.
Основанията за грешки в заключенията на учителя не винаги са свързани с технологичните недостатъци на традиционните средства за контрол. Понякога те се дължат на недостатъците на учителя на етапа на поставяне на цели, когато центърът на тежестта на теста се измества към вторични учебни цели, а понякога етапът на поставяне на цели отсъства напълно, тъй като някои учители са уверени в непогрешимостта; техния опит и интуиция, особено при условие на дългогодишна работа в училището. Въпреки това, нито един дори много перфектен контролен метод и никакъв опит няма да дадат основание за надеждни заключения относно постигането на учебните цели, стига да няма увереност в правилното поставяне на контролните цели и в тяхното правилно, безпристрастно показване в съдържанието на теста. .
За разлика от подбора на съдържанието на традиционните средства за контрол, който се извършва главно интуитивно въз основа на практическия опит на учителя, подборът на съдържанието на теста има ясна целева ориентация и това, при условие на правилното поставяне на целите , е сериозно предложение за високото му качество. Образно казано, при създаване на тест в съзнанието на разработчика, съдържанието на контрола се пречупва през призмата на поставените цели на измерване и ако те са формулирани правилно, тогава има по-голяма увереност, че тестът ще се проведе.
Вярно е, че правилното поставяне на целите за създаване на тест е доста трудно само по себе си, а освен това ситуацията се усложнява от редица обстоятелства. От една страна, различните школи в съвременната педагогика при формулиране на цели използват различни системи от понятия и идеи, които често не се комбинират добре помежду си. От друга страна, използването на различни думи и изрази от естествения език като термини поражда доста объркване, често контекстът на редица педагогически подходи е недостатъчен за осъществяване на терминообразуващата функция.
В същото време в продължение на няколко години просто нямаше особена необходимост от формиране на унифицирани подходи към формулирането на целите. Преобладаващият фокус върху традиционните средства за контрол, съществувал у нас от десетилетия, елиминира необходимостта от този процес, тъй като неяснотата и несигурността на съществуващите образователни цели не влизаха в противоречие с изискванията на практиката, далеч от проблемите на създаването на обективно измерване. инструменти. И накрая, ситуацията често се усложняваше от самите изследователи, които, образно казано, пророкуваха, но не се чуваха. Като цяло това доведе до факта, че досега не са разработени общи правила за избор на основания за класифициране на целите и не са открити общи принципи за количествено определяне на степента на тяхното постигане.
Така разработените до момента идеи за най-често срещаните цели на контрола не позволяват да се пристъпи директно към разработването на измервателни уреди. Формулирането на образователните цели се характеризира с прекомерна обобщеност, неяснота, разнообразие и неопределеност. Следователно, за да се създадат измервателни уреди, на първо място е необходима предварителна операционализация на целите.
Процесът на операционализация се състои в даване на съдържанието и формата на представяне на характеристиките на целите, които позволяват да се изобразят целите в съдържанието на стандартизираните средства за измерване. Идеята за операционализация е много близка до определени положения от работата на M.V. Кларин, където вместо думата операционализация се използва „различен, доста сполучлив термин“ конкретизация. Разбира се, въпросът не е в термина, а в същността на предлагания процес.
Спецификация на целите
Спецификация, съгласно M.V. Кларина, трябва да започне с описание на посоката на въздействие на обучението върху ученика, изясняване на естеството на въздействието и детайлизиране на резултатите от него. В тази връзка Clarin изтъква редица въпроси, чието решаване задължително съпътства процеса на конкретизация. Отговорът на първия въпрос е насочен към характеризиране на образователните условия, създадени за постигане на целите. Отговорът на втория е свързан с идентифициране на вътрешните параметри на учениците, способността им да усвояват нов учебен материал. И накрая, отговорът на третия въпрос е насочен към характеризиране на резултатите от образователния процес.
Ключовите моменти от процеса на конкретизация, цитирани от Кларин, се нуждаят от известно уточнение – промяна не в съдържанието, а просто в реда, в който се задават въпросите. Тъй като редът на поставяне на въпроси е подчинен на определена йерархия, тогава, за да се отрази същността на процесите, протичащи по време на контрола, вторият и третият въпрос, разбира се, трябва да бъдат разменени. За вътрешните параметри на ученика е възможно да се съди само въз основа на анализ на външната страна на учебната дейност, която се проявява в резултатите от обучението. Всъщност идеята за преход от външното към вътрешното, идеята за интернализация, е в основата на теорията на педагогическите измервания, когато според наблюдаваните резултати от контрола, с различна степен на точност, те опитайте се да направите извод за вътрешните устойчиви характеристики – параметрите на ученика.
Разбира се, не трябва да забравяме, че по време на контрола учителят сякаш прави обратен ход, тъй като всъщност наборът от параметри на субектите в процеса на взаимодействие със задачи генерира наблюдаваните резултати от теста , т.е това, което в процеса на контрол обикновено се нарича резултати от обучението. В същото време идентифицирането на степента на постигане на учебните цели, които са затворени за конкретна предметна област, се извършва чрез контрол на образователните дейности на учениците чрез сравняване на наблюдаваните и очакваните резултати от обучението.
Непосредствено за целите на създаването на инструменти за измерване, най-голям интерес представлява отговорът на третия въпрос, свързан с операционализацията на резултатите от обучението. Процесът на операционализация се характеризира с редица етапи, които са изобразени схематично на фиг. 3.1.
Ориз. 3.1.Етапи на операционализация на резултатите от обучението
По-нататък планираните учебни резултати в съзнанието на учителя по предмет се пречупват през призмата на съдържанието на знанията в преподаваната от него дисциплина и съдържанието на теста започва да се оформя. Разбира се, тук много зависи от избраното средство за оценяване, тъй като не всяко съдържание на дисциплината и не под каквато и да е форма може да бъде отразено в теста.
Изискванията към планираните учебни резултати обикновено включват система от изучавани обекти, описание на видовете учебни дейности и качеството на усвояване на учебния материал.
Първият компонент на изискванията са характеристиките на обектите на обучение, като се отчита дълбочината на тяхното покритие от учителя и планираното ниво на усвояване от учениците. Група изследователи от Научноизследователския институт на SiMO APN предложи обща предметна схема, която организира много обекти на изследване в специфична структура въз основа на морфологичен и функционален анализ на съдържанието на обектите. Най-важните елементи на системата на научното познание изследователите приписват понятията и фактите, законите, теориите, идеите, знанията за методите на дейност, методологическите и оценъчните знания.
Същият труд заключава, че използването на теорията на учебната дейност, разработена от психолозите в нашата страна (S.L. Rubinshtein, N.A. Menchinskaya, N.F. Talyzina) „предоставя широки възможности за нейното характеризиране в описания на програми, обединявайки чрез своите подходи различни предмети и учебни материали на различна природа. В допълнение, документът предлага за разглеждане проблема, свързан с необходимостта от идентифициране на видовете умения, тяхната класификация и систематизиране.
Като основа за решаване на проблема структурата на уменията, идентифицирана от I.I. Кулибаба. Включва умения:
Специални, формирани в процеса на изучаване на отделни предмети;
Рационална образователна работа, включително способността да се използват различни източници на знание за решаване на познавателни проблеми, да се планира и организира учебната им дейност, да се наблюдават и коригират резултатите от учебните дейности и да се управляват в процеса на обучение;
Интелектуална, представляваща ядрото на образователната дейност и обединяваща всички учебни предмети.
целева класификация
При създаването на тест задачата е да се покаже в съдържанието му основното нещо, което учениците трябва да знаят в резултат на обучението, следователно е невъзможно да се ограничи до просто изброяване на учебните цели. Бих искал да включа всичко в теста, но, за съжаление, това е невъзможно, така че някои от целите трябва просто да бъдат изхвърлени и степента на тяхното постигане от учениците да не се проверява. За да не се изгуби най-важното, е необходимо да се структурират целите и да се въведе определена йерархия във взаимното им подреждане. Без съмнение няма и не може да има готови общи рецепти, тъй като всяка дисциплина има свои собствени приоритети. Освен това отделните цели са забележимо взаимосвързани и следователно една проста идея за система от цели като подреден набор без да се вземат предвид връзките между елементите очевидно не е достатъчна.
За случая, когато концепцията за елементите като несвързани компоненти може да се счита за адекватна на системата от учебни цели, работата по изграждането на система от цели е извършена от Б.С. Блум (B.S. Bloom). В момента класификацията на целите (или, както се нарича по друг начин, таксономията на целите) е най-известната в световната педагогическа литература. Той е и най-технологичният от гледна точка на повечето чуждестранни разработчици на педагогически тестове. В своята класификация Б.С. Акценти на цъфтежа:
1) познаване на имена, имена, факти;
2) фактически познания;
3) познаване на дефинициите и разбиране на тяхното значение;
4) сравнителни, сравнителни знания;
5) знания за класификация;
6) познания за противоположности, противоречия, синонимни и антонимни обекти;
7) асоциативно знание;
8) каузално знание;
9) алгоритмични, процедурни познания;
10) обобщени, системни знания;
11) оценени знания;
12) процедурни познания;
13) абстрактни знания;
14) структурни знания;
15) методически знания.
Класификация на знанията Б.С. Bloom е даден в леко модифицирана и съкратена форма, за да се улесни етапът на поставяне на цели при разработване на тест, в наръчник за обучение. Самата система също не е завършена и дава възможност за разширяване или промяна, поради спецификата на дисциплината.
По-пълно описание на целите, взето от работата на Clarin, е дадено в Приложение 3.1. Таксономията на целите, предложена в приложението, е разделена на две групи. Целите на когнитивната (когнитивната) област се приписват на едната група, а целите на афективната (емоционално-активна) област се приписват на другата.
Напоследък таксономията на B.S. Работата на Блум е критикувана, че не отразява адекватно съвременния напредък в областта на психологията на обучението. Общ критичен анализ на съществуващите модели на концептуално планиране при избора на контролно съдържание е извършен през 1987 г. от Romberg, Zarinnia. Сред недостатъците те приписват прекомерното опростяване на моделите, което не позволява използването на съвременни теории на учебния процес, прекомерното внимание към оценката на резултата от обучението, а не към процеса на генериране на резултата, използването на линейна връзка между отделните компоненти на модела.
През последните години особени усложнения при оценяването на образователните постижения предизвика изместването на акцента върху идентифицирането на нивото на владеене на интелектуални и практически умения, които по същество са лошо алгоритмизирани, сложни и нееднозначни при проверка и изискват, т.к. правило, създаването на концептуални модели, които са алтернативни на съществуващите. ;
От изпитаните на практика, в момента най-широко се използва триизмерният модел, който включва съдържанието, техниката на измерване и планираното ниво на познавателна активност, необходимо за изпълнение на тестовите задачи.
Първият компонент на модела – съдържанието – осигурява смислената валидност на инструментариума, съответствието му с учебната програма.
Вторият компонент - техниката на измерване - основно се отнася до вида на използваните задачи. Необходимостта от въвеждане на втория компонент се дължи на факта, че в момента се наблюдава значително разширяване на формите, използвани в практиката на масовото тестване. В допълнение към традиционните задачи с множествен избор, задачи със свободен отговор се използват както в кратка, така и в разширена форма, експериментални задачи и др. Разнообразието от форми доведе до въвеждането на различни технологии, чиито характеристики трябва да бъдат отразени в концептуалния модел .
Третият компонент на модела е когнитивната дейност, чиято оценка е насочена към измерване. В традиционния подход, използвайки таксономията на B.S. Блум, нивото на умствена дейност, необходимо на ученика да отговори на предложената задача, беше определено от експерта. В новия концептуален модел задачите са конструирани по такъв начин, че да предоставят различни възможности за отговор и нивата на познавателна активност са планирани в концептуалния модел на теста.
В момента в различни страни по света се извършва детайлно разработване на категории познавателна дейност, изисквания за нивото на нейното развитие, за проява на различни нива на формиране на интелектуални умения. SOLO таксономията (SOLO - Structure of the Observed Learning Outcomes), предложена през 1982 г. (Biggs and Collis), е един пример за разработването на модерен модел на структурата на когнитивната дейност. Към днешна дата таксономията SOLO е навлязла здраво в практиката на много тестови центрове. Използва се доста успешно в международни изследвания на качеството на образованието в различни страни по света, по-специално за оценка на постиженията на учениците по математика и естествени науки (Collis (1987), Collis и Romberg and Jurdak (1986), ChikandWatson и Collis ( 1988), Маршал и др. (1991) и др.). SOLO-таксономията включва определени аспекти на модела съдържание-деятелност и това може да се сравни с таксономията на Блум. Освен това съдържа елементи от теорията на Пиаже за етапите на развитие на познавателната дейност. SOLO таксономията има йерархична структура и може да се използва както за разработване на инструменти, така и за интерпретиране на резултатите от тестови измервания.
Настоящият модел предлага качествено описание на отговорите на учениците. Това означава, че още на етапа на разработване на инструменти трябва ясно да се очертае когнитивната дейност, която е в основата на изпълнението на всяка тестова задача. След това в единия край на скалата на когнитивната дейност ще има задачи за възпроизвеждане на факти и прости алгоритми, които включват само една стъпка от дейността - с една дума, задачи, които позволяват на учениците да демонстрират способността си да решават прости проблеми с помощта на рутинни процедури или едностепенна познавателна дейност; на другия край на скалата са задачи, които предизвикват учениците да демонстрират голямо разнообразие от интелектуални и практически умения.
В редица произведения, публикувани у нас, систематиката на Б.С. Блум също е многократно критикуван, по-специално поради факта, че е имало методологически неприемливо смесване на конкретни резултати от обучението (знания, разбиране и т.н.) с операции, които са необходимо условие за тяхното постигане (анализ, синтез, оценка) .). В тази връзка ръководството предлага различна класификация на целите. Той се основава на базиран на нива системен подход за описание на постиженията на учениците (I.Ya. Lerner, V.P. Bespalko и др.), което дава възможност за групиране на резултатите от обучението в зависимост от нивата на учебна дейност.
Първото ниво е свързано с директното възпроизвеждане от паметта на съдържанието на изучавания материал и неговото разпознаване.
Второто ниво включва разбиране и прилагане на знания в позната ситуация според модела, извършване на действия с ясно определени правила.
Третото ниво включва прилагане на знания към променена или непозната ситуация.
По този начин предложеният подход към класификацията се основава на разпределението на нивата на усвояване на знания и операции, съпътстващи тяхното проявление (Таблица 3.1).
ОПЕРАЦИОНАЛИЗАЦИЯ НА ПЛАНИРАНИ РЕЗУЛТАТИ ОТ УЧЕНЕ
След поставяне на цели в общ вид се пристъпва към операционализиране на планираните резултати от обучението. Процесът на операционализация се основава на описанието на образователните цели под формата на резултатите от определени образователни дейности, така че степента на постигане на целта може да се прецени доста еднозначно. Идеята за такъв преход не винаги се приема положително от местните изследователи. По отношение на прехода от учебни цели, фокусирани върху качествени промени във вътрешните характеристики на учениците, към външни прояви под формата на резултати от учебната дейност, са написани например много критически произведения.
Таблица 3.1.Класификация на учебните цели
| Нивото на усвояване на учебния материал | Изисквания за постижения на учениците (ниво на ученика) в обобщен вид | Формулиране на изисквания по отношение на външни дейности |
| един . Възпроизвеждане на знания | Познайте терминология, конкретни факти, дати, събития, имена на хора и др.), категории, критерии, методи, принципи, закони, теории и т.н. | Определете, наименувайте, формулирайте, опишете, установете съответствие (между термин и дефиниция), покажете (намерете), разпознайте (намерете), преразкажете, избройте (характеристики), изберете и т.н. |
| 2. Разбиране и прилагане на знания в позната ситуация | Разбира факти, закони, принципи, критерии, теории; разберете текста, който четете. Прилага знания за обясняване, сравняване, за решаване на качествени и количествени проблеми; да използва правилно методи, алгоритми, процедури; изграждане на графики, диаграми, таблици и др. | Обяснете, съпоставете, характеризирайте (дайте характеристики), сравнете, установете (разлика, зависимост, причини), подчертайте съществени характеристики, изчислите (определете по формули или алгоритъм), решите, начертайте нещо по готова схема, изпълнете в съответствие с правилата, демонстрирайте, измервайте, продължете/завършете (изречение), вмъкнете липсващи думи (букви) и т.н. |
| 3. Прилагане на знания към променена или непозната ситуация | Интегрирайте знания от различни раздели за решаване на различни проблеми, анализирайте, обобщавайте, оценявайте, проектирайте, планирайте дейности, експериментирайте | Съставете устен или писмен отговор на проблематичен въпрос, напишете есе, направете изследване, формулирайте хипотеза (заключения), обосновете своята гледна точка или гледната точка на автора, прогнозирайте последствия, разграничете факти от мнения (съждения), факти от хипотези, заключения от разпоредби, анализирайте информация, намерете грешка, изразете преценка, собствено мнение, преценки за съответствието на заключения и факти, дайте обратна връзка или преглед, изразете преценка за значението (ролята) на идеите, точността (измервания) , изразяват преценка за качеството (точност, ефективност, рентабилност) на извършената работа, за избрания метод за решаване или използваните методи, изграждане на модел (промяна на модела), реконструкция, изготвяне на план за експеримент, история, решение, промяна на плана и т.н. |
Изглежда, че ситуацията с прехода далеч не е толкова опасна, колкото твърдят представители на критичната посока. По-скоро, напротив, ориентацията към външните аспекти на дейността на учениците носи редица положителни страни. По-специално, технологичността на описанието на целите се увеличава неизмеримо, във връзка с което става възможно правилно да се премине към диагностициране на степента на тяхното постигане.
Повишаването на спецификацията на описанието на резултатите от учебните дейности, според Кларин, се улеснява от използването на редица глаголи, които пряко характеризират действията на ученика. В примера от неговата работа целта „да се проучи използването на символни символи на метеорологична карта“ се разгръща под формата на набор от учебни резултати, които характеризират дейностите на ученик, който трябва да може:
Възпроизведете по памет символите, използвани на метеорологичната карта;
Направете карта с помощта на символи;
Да можете да дадете прогноза за времето на дадена карта.
Въпреки общоприетото мнение сред руските теоретици за възможността за операционализация само на резултатите от ниско когнитивно ниво, доста сложни цели от по-високо ниво несъмнено подлежат на процеса на операционализация. Това изисква определени умения на тези, които се заемат със създаването на тестове. При придобиването на такива умения разработчиците на тестове могат да бъдат подпомогнати от примерен списък с глаголи, които Clarin предоставя за конкретизиране на учебните цели. Ако е необходимо да се посочат общи цели, той препоръчва използването на глаголи:
анализира, изчислява, произнася, демонстрира, знам, интерпретира, използва, оценява, разбира, трансформира, прилага, създава...
за уточняване на целите на тип креатив -
променям, модифицирам, модифицирам, пренареждам, пренареждам, прогнозираме, питам, синтезирам, систематизирам...
да посочи цели в областта на развитието на устната и писмената реч - подчертайте, вербализирайте, запишете, обозначете, подчертайте (не буквално), рецитирайте, произнесете ti, прочетете, разделете на съставни части, разкажете ...
Таблица 3.2.Специфични учебни цели
| Обобщени учебни цели, планирани от учителя | Примери за конкретни учебни цели, постигнати от ученика |
| Знания на ниво запаметяване и възпроизвеждане | Познава значението на използваните термини, основни понятия и определения, формули, закони, принципи |
| Знания на ниво разбиране | Разбира и тълкува термини, тълкува понятия и дефиниции, преобразува вербален материал в математически изрази, интерпретира словесен материал на диаграми и графики |
| Способност за прилагане на знания в позната ситуация | Умее да прилага термини, понятия и дефиниции в позната ситуация според модела, както и формули, закони и принципи в позната ситуация |
| Умение за прилагане на знания в непозната ситуация | Използва закони и принципи в нови ситуации, пренася познатите методи в непознати ситуации |
| Анализ | Вижда грешки и пропуски в логиката на разсъжденията, коригира непълни или излишни формулировки на проблеми, подчертава скрити предположения, прави разлика между факти и последствия |
Следващият етап на операционализация е свързан с прехода от планираните учебни резултати към това, което може да бъде показано в средствата за педагогическо измерване, например в тест. На този етап операционализацията ви позволява да структурирате, разчленявате и понякога, напротив, разширявате, изяснявате и детайлизирате съдържанието на дисциплината, за да го покажете в съдържанието на теста. Именно този етап осигурява прехода от теоретичното ниво на анализ на учебните цели към емпиричното и позволява концептуално правилен подход към подбора на емпирични показатели - тестови задачи.
Последният етап на операционализация е свързан със задачите за планиране на съдържанието на теста. В процеса на планиране авторът на теста трябва да мисли, че не целият набор от учебни цели по различни причини може да бъде показан в съдържанието на теста. Разбира се, колкото по-дълбоко и по-пълно е картографирането, толкова по-висока е валидността на съдържанието на теста, толкова повече причини да се доверите на резултатите от теста на учениците. Това заключение обаче е чисто теоретично. На практика трябва да се мисли не само за изискванията на тестовата технология, но и за реалните възможности на учениците на определена възраст, които трябва да изпълнят теста без излишен стрес и умора. В тази връзка наборът от цели трябва да бъде структуриран така, че в теста да бъдат включени най-важните цели на образователния процес.
Изборът на цели от различни нива на йерархията ви позволява да изясните определени предметни области, раздели, теми, чието съдържание трябва да бъде отразено в теста. Оттук нататък остава една стъпка за оценка на степента на изпълнение на целите, за които познанията в предметните области се изразяват чрез правила за измерване със списък на елементите на съдържанието във връзка с желаните нива на овладяване на тези елементи, планирани по време на обучението. По този начин общите цели на обучението придобиват своята конкретизация и възниква прагматична дефиниция на знанията по учебната дисциплина: когато субектът правилно изпълнява определени задачи от такива и такива раздели на теста при определено ниво на усвояване.
Планиране на тестово съдържание
След определяне на целите на тестването и уточняването им е необходимо да се разработи план и спецификация на теста. В съответствие с поставените цели, всеки тестов елемент е предназначен да тества нивото на знания, умения или способности на изследваните субекти.
При разработването на плана се прави приблизително оформление на процента на съдържанието на разделите и се определя необходимия брой задачи за всеки раздел от дисциплината въз основа на важността на раздела и броя часове, отпуснати за изучаването му в програмата.
Оформлението започва с отчитане на планирания първоначален брой задачи в теста, които след това, в процеса на работа върху теста, многократно ще се променят нагоре или надолу. Обикновено граничният брой не надвишава 60-80 задачи, тъй като времето за тестване се избира в рамките на 1,5-2 часа и средно не се дават повече от 2 минути за изпълнение на една задача. Пример за предварително оформление на задачи при съставяне на тестов план за оценка на знанията и уменията на учениците в един от разделите на алгебрата е показан в табл. 3.3.
Таблица 3.3.Тестов план за раздел "Алгебрични уравнения"
| № п / стр | Контролирано съдържание | Брой работни места | Номера на работни места | |
| 1 | Определение на уравнение | 1 | 1 | |
| 2 | Еквивалентност на уравненията | 3 | 4,5,31 | |
| 3 | Видове уравнения | 1 | 2 | |
| Линейни уравнения | решение | 6 | 11,15-19 | |
| проучване | 1 | 7 | ||
| Решаване на квадратни уравнения | ненамалени | 2 | 12,26 | |
| дадено | 2 | 24,25 | ||
| непълен | 4 | 20-23 | ||
| 6 | Изучаване на квадратни уравнения | 1 | 8 | |
| 7 | Теоремата на Виета | .2 | 13,14 | |
| Биквадратни уравнения | решение | 3 | 28,30 | |
| проучване | 1 | 9 | ||
| Методи за решаване на уравнения | заместване | 1 | 3 | |
| факторизация | 1 | 27 | ||
| Уравнения от втора степен | решение | 1 | 6 | |
| проучване | 1 | 10 | ||
| 11 | Задачи за съставяне на алгебрични уравнения | 1 | 32 | |
Разбира се, тестовият план започва да придобива известна сигурност още на етапа на поставяне на цели, когато учителят има груба представа колко и какви задачи по различни теми би искал да включи в теста. Такива приблизителни оценки обаче са не само нежелани, но и неприемливи. Тестът неизбежно ще бъде претоварен с вторичен материал, а основните въпроси може да бъдат пропуснати или просто няма да има място за тях. От тук е лесно да се разбере важността на разработването на такъв план, който оптимално да отразява съдържанието на учебната дисциплина в съдържанието на теста.
След завършване на първата стъпка от планиране на съдържанието се разработва спецификация на теста, която фиксира структурата, съдържанието на теста и процента на елементите в теста. Понякога спецификацията се прави в разширена форма, съдържаща индикации за вида на елементите, които ще бъдат използвани за оценка на постиженията на учениците в съответствие с предвидените цели за създаване на тест, времето на теста, броя на елементите, характеристиките на тестване, което може да повлияе на характеристиките на теста и др.
Спецификацията в разширена форма включва 1:
1) целта на създаването на тест, обосновката за избор на подход за неговото създаване, описание на възможните области на приложение на теста;
2) списък на нормативните документи (основни програми, изисквания за нивото на обучение на завършилите и др.), използвани при планиране на съдържанието на теста;
3) описание на общата структура на теста, включително списък на подтестовете (ако има такива), посочващи подходи за тяхното разработване;
4) броят на задачите от различни форми, посочващ броя на отговорите на затворените задачи, общия брой задачи в теста;
5) броя на паралелните тестови варианти или връзка към клъстера, съдържаща броя и броя на задачите на клъстера;
8) съотношението на задачите за различни раздели и видове образователни дейности на учениците;
10) покритие на изискванията на стандартите (за сертификационни изпитвания);
11) списък с изисквания, които не са включени в изпитването (за сертификационни изпитвания);
1 Подробна форма на спецификацията е разработена от екип тестери, ръководен от G.S. Ковалева и е използван през 1998-1999 г. за създаване на сертификационни тестове на Руския център за тестване на завършилите общообразователни институции.
Един от най-разпространените подходи за създаване на кратка спецификация се основава на сдвояване на системата от знания и умения с процента на задачите в различни раздели или в различни линии на съдържанието на тестваната дисциплина в теста (параграф 8 от разширената спецификация ). Пример за изпълнение на такова сдвояване е даден в табл. 3.4. Списъкът от знания и умения, предложени в него, е доста общ. Включва:
А - познаване на понятия, определения, термини;
Б - познаване на закони и формули;
C - способност за прилагане на закони и формули за решаване на проблеми;
D - способност за интерпретиране на резултатите на графики и диаграми;
E - способността да се правят ценностни преценки.
Таблица 3.4.Хипотетична спецификация на теста
| № п / стр |
Предвидени за тестване знания и умения
Учителят в работата си не винаги използва готови тестове по редица причини, една от основните сред тях е простото отсъствие на висококачествени тестове от различни видове. Поради това често се налага учителят сам да разработи определени тестове и в тази връзка да притежава методиката за съставянето им. Нека се спрем на някои от неговите моменти.
Трябва да знаете, че създаването на стандартизирани тестове е дълъг и старателен процес. Въвеждането на тестове се предшества от предварителна работа по тяхното съставяне и тестване. При разработването на тестове се разграничават три компонента: теоретичен, практически и експериментален (фиг. 3.1.).
Теоретичната част на работата включва изучаване на литература, въз основа на която се извършва разработването на тестове, съдържанието и изискванията на програми, учебници. Тук се определя структурата на тестовете, техните характерни особености, признаци, показатели за качество, подчертават се онези методи на математическа статистика, които ще бъдат необходими в експерименталната част.
По време на изпълнението на практическия етап се дават указания на изпитвания и на лицето, което провежда теста, изготвяне на тестови задачи и отговори на тях. Важно място се отделя на поелементния структурен и функционален анализ на учебния материал. В резултат на това се открояват елементите на знания, умения и умения, които са необходими за овладяване на учебния материал и имат най-голяма приложимост. По този начин тестовете се изграждат на базата на включването на основните семантични части от учебното съдържание, тоест необходимите понятия, дефиниции, факти, операции, алгоритми. Това отчита степента на формиране на различни умствени операции у учениците (анализ, синтез, конкретизация, обобщение, сравнение и др.), въз основа на възрастовите особености на субектите. Значително внимание се отделя на спецификата и характера на типичните грешки на участниците в теста, въз основа на които се съставят отговори на тестовите задачи.
По време на практическия етап на разработване на теста се извършва първоначалната оценка на скалата за оценка и се разглежда механизмът за прехвърляне на броя точки в получената оценка.
На практическия етап се разработват и инструкции за учителя и участниците в теста и формуляри за отговори.
Таблица 3.1. Технология за проектиране на дидактически тестове
|
Теоретичен етап |
Практически етап |
Пилотен етап |
|
||
|
||
|
||
|
На базата на теоретичния и практическия етап се изгражда експериментален етап на разработване на теста. Тук се оценява качеството на съдържанието на тестовете, проверява се съответствието на задачите с изискванията на тестовата форма, разкриват се статистическите характеристики на разработените тестове и се правят заключения за пригодността на тестовете за предвидените цели.
На експерименталния етап от разработването на теста често се налага връщане към предишните етапи, така че и трите етапа - теоретичен, практически и експериментален - са тясно свързани и оказват известно влияние един върху друг (виж фиг. 3.1.).
Технологията за разработване на дидактически тестове е представена по-подробно в Таблица 3.1.
Създаването на тестове е дълъг процес, който изисква работата на екип от специалисти (методизи, психолози, статисти и др.), като в същото време търсенето на тестове, разработени от практикуващи учители за определен клас в училище, е доста голямо. . В тази връзка е препоръчително учителят да следва препоръките по-долу при разработването на тестове.
Бележка до учителя относно разработването на теста
Определете целите на тестването.
Подчертайте знанията, способностите, уменията, които са определени от програмата, и дайте информация за нивото на усвояване на разглежданата тема или раздел.
Определете видовете тестови задачи, съответстващи на разпределените знания, умения и способности.
4. Прогнозирайте или подчертайте обективни (образователни) и субективни (психологически и методически) затруднения и идентифицирайте типичните грешки на учениците при изучаване на темата, анализирайте причините за възникването им. Използвайте тази работа, за да съставите дистрактори за тестови задачи.
Разработете набор от тестови елементи, за да овладеете темата.
Извършете проверка на тестовите елементи, като поканите вашите колеги да изразят мнението си за теста.
Направете корекции в тестовете, ако е необходимо.
Разработете критерии за оценяване, методология за обработка на резултатите, изградете подходяща скала за превръщане на резултата от теста в оценка на училищното представяне.
Разработете инструкции за учителя и инструкции за учениците как да работят с теста.
Прочетете също:
|
Създаването на психодиагностична техника е сложен, многоетапен процес. Без да претендирам в рамките на тази статия да завършвам представянето на този брой, ще откроя основните етапи с кратко описание на тяхното съдържание. Веднага трябва да се отбележи, че обектът на внимание ще бъде диагностична техника (тестов въпросник), тъй като за друг клас техники - изследователски, проективни, клинични - има други изисквания за създаване и тестване.
Създаването на психодиагностична техника не се ограничава до проверка на индивидуални психометрични свойства – представителност, надеждност, валидност, надеждност и т.н. Първоначалната работа в тази насока започва със задълбочено теоретично изучаване на основите на предмета, с изясняване на методологически, концептуални подходи към неговото изследване. Преди да се разработи процедура за измерване, е необходимо да се създаде концепцията за измерено умствено свойство, изградете своя модел. Именно дълбоката теоретична подготовка е условието за успешна работа по създаването на методика, отговаряща на всички критерии за качество. Можем да кажем, че преди да преминем към технологията за разработване на методология, е необходимо да се проведе фундаментално теоретично изследване.
Ако следвате логиката на изследването, тогава е необходимо да го започнете с определението Проблеми. Това ще бъде първата стъпка в създаването на методология. Проблемът е проблем, който няма решение или включва двусмислени решения. Проблемите могат да бъдат генерирани както от обективни условия, реална ситуация, така и да бъдат резултат от собствената дейност на изследователя. Проблемите на диагностиката по правило се прилагат и се фокусират върху практическото решаване на проблеми, възникнали в реална социална ситуация. Изследователят трябва да помни, че не всички проблеми могат да бъдат решени. Освен реални проблеми, които са обект на прякото приложение на усилията на изследователя, има категория проблеми, които не могат да бъдат решени със средствата на съвременната наука, както и „псевдопроблеми“. Както вече беше отбелязано, диагностичните проблеми са реални проблеми, които изискват свои собствени приложни решения. Да кажем, че проблемът с тревожността в училище може да се посочи като пример. Този проблем е пример за вече операционализиран проблем, преведен, оформен в рамките на определена научна област. Понякога изследователят все още не е свършил тази задача.
Следващата стъпка в създаването на психодиагностична техника ще бъде определянето предмет на диагнозата. Субектът имплицитно присъства в операционализирания проблем. Предметът е какво ще стане пряк обект на измерване, какво ще измерва създадената методика. Субектът традиционно се определя като страни, свойства и отношения на обект, фиксиран в опита, изучаван за конкретна цел при дадени условия. Обектът съществува като понятие. В нашия случай предмет на диагностика ще бъде феноменът тревожност, представен от психологическата концепция за "тревожност".
Следващата стъпка е да се определи граници на концепцията(етап на изясняване на темата). Тази процедура се осъществява чрез диференциален анализ на разглежданото понятие с понятия, които са близки и противоположни по значение. Един от начините за дефиниране на понятие е възприетото в логиката сравнение с помощта на ойлеровите кръгове - образи чрез кръгове на отношения между обемите на понятията. Кръгът в тази процедура изобразява обхвата на определена концепция. В нашия случай, в допълнение към понятията за тревожност и тревожност, е необходимо да се разгледат такива понятия като страх, тревожност и т.н.
Следващата стъпка в дизайна на методологията е свързана с усъвършенстването феноменално поле на понятието. За да направите това, е необходимо да се опише възможно най-подробно явлението, което е представено в концепцията, за да се създаде възможно най-пълна картина на това явление. По правило това става чрез оперативното дефиниране на понятието. Оперативната дефиниция е подробно изложение на операциите, необходими за представяне и измерване на концепция. В психологията често се използват абстрактни понятия като интелигентност, самочувствие, памет, учене, креативност и др. Необходимо е да се операционализират, тоест да се опишат всички възможни обективни начини за проявление на разглежданата концепция. В обективната диагностика, която е тестов въпросник, се използват само онези методи за изява на понятие, които реално могат да бъдат фиксирани поне при наблюдение с помощта на нашите сетива.
На следващия етап от избраните обективни начини за изява на концепцията е необходимо да се изберат най-значимите, които ще играят ролята критерииза разпознаване (диагностика) предмет. Критерий (средство за преценка) - признак, въз основа на който се прави оценка, определение или класификация на нещо, мярка за оценка. Критериите на измерваната концепция трябва да бъдат съществени, надеждни и обективни признаци на нейното проявление. Именно те ще бъдат отразени във въпроси или твърдения, които ще формират съдържанието на стимулационния материал на методиката. По този начин този етап ще бъде свързан с избора на критерии, по които субектът ще бъде диагностициран.
На следващия етап от създаване на методология, избор на форма на метода. Формата на техниката се определя от спецификата на предмета на диагностиката и целите на изследването. Техниката може да бъде проектирана под формата на тестов въпросник (както в нашия случай), проективна техника, клинична техника и др. Всяка от представените форми има свои специфики, отличителни изисквания за критерии за качество. На същия етап се извършва изборът на стимулен материал. В нашия случай стимулационният материал може да бъде представен под формата на въпроси или твърдения. Изявленията от своя страна могат да бъдат лични и безлични.
След определяне на формата на стимулационния материал, той се избира. Избор съдържание на стимулен материалсе осъществява от тази феноменална област на концепцията, която е резултат от предишна работа, като се вземат предвид избраните критерии за предмет на диагностика. Качеството на отделните задачи (въпроси, твърдения) е решаващо за целия тестов въпросник, следователно при разработването на тестови елементи е необходимо да се вземат предвид най-често срещаните проблеми, които могат да доведат до ниската му валидност.
При избора на отделни задачи (въпроси, твърдения) е необходимо да се определи индекс на ефективноствсеки от тях. За да направите това, можете да прибягвате до метода на експертите. Същността на този метод се крие във факта, че няколко специалисти в дадена предметна област (5-7 души) са помолени да оценят списъка с предложени задачи от стимулационния материал за тяхната валидност, тоест адекватността на измервания предмет върху скала за оценка (3-, 5-, 7- бална зала). Тези задачи, които получават високи резултати от всички или повечето експерти, ще имат експертна валидност и могат да бъдат препоръчани за включване във въпросника. Пилотно изследване може да се използва като друга стратегия за избор на стимулен материал. Провеждането на пилотно проучване включва изпълнението на тестови задачи от лица, които имат сходни характеристики с тези, за чиято диагноза се разработва. Анализът на получените данни ще позволи на разработчика на теста да избере най-добрите задачи за окончателната версия на въпросника. Пробното тестване се извършва на представителна извадка. Минималният размер на извадката трябва да бъде два пъти по-голям от броя на задачите. След това всяка от задачите на стимулационния материал се разглежда от гледна точка на това как всички субекти са отговорили на нея. При избора разработчиците се ръководят от следното правило: тези от задачите (въпроси, твърдения), които получават недвусмислени оценки от по-голямата част от субектите, не преминават. Например, ако всички субекти са отговорили с „да“ на един от въпросите, тогава той не е включен в бъдещия въпросник, тъй като не отразява индивидуалните характеристики на субекта, а е насочен към някакво свойство, общо за всички. Индексът на изпълнение за всяка задача трябва да варира от 0,25 до 0,75, като се доближава средно до 0,5 за целия въпросник. В допълнение към индекса на ефективността е необходимо да се определи и дискриминацията на задачата – проверка дали отделните задачи (въпроси, твърдения) измерват същите свойства като другите. За определяне на дискриминацията на задачите се използва коефициентът на корелация на всяка задача с общия резултат от целия тест. Колкото по-висок е коефициентът на корелация, толкова по-висока е дискриминацията на работата, толкова по-добра е тя. Минималният коефициент на корелация трябва да бъде 0,2. За изчисляване на този показател най-често се използва коефициентът на произведението на моментите на Пиърсън.
Важен момент в разработването на стимулен материал е изборът формуляри за въпроси.
След като задачите за тестовия въпросник са избрани, е необходимо да се погрижите за тях достоверност. Това свойство на методологията (в случая с въпросниците) изглежда доста важно и е един от критериите за нейното качество. Най-често надеждността се осигурява чрез включване на корекционна скала (скала на лъжата) в съдържанието на стимулационния материал.
Важна стъпка в създаването на психодиагностична техника е развитие на инструкциите. Инструкцията се изготвя писмено, тъй като паралингвистичните компоненти на изследователя влияят върху устната инструкция: изражения на лицето, жестове, интонации, паузи и др. Освен това устното обучение се забравя, докато субектът може, ако е необходимо, да се върне към писменото обучение в хода на изпълнение на тестовите задачи. Инструкцията трябва да бъде проста и разбираема за изпитвания субект, не трябва да съдържа специални професионални термини, които са неразбираеми за изпитвания субект, двусмислени думи и изрази. Трябва да посочи как да изберете отговор и как да го отбележите във въпросника. Инструкциите трябва да подчертават информация, която може да помогне на субекта да се справи ефективно, като поверителността на изследването. Основните функции, които инструкцията трябва да изпълнява са: информиране и мотивиране.
Разработването на инструкцията завършва етапа на създаване на тест. Следващият етап ще бъде посветен на неговата проверка за съответствие с критериите за качество, както и на стандартизирането и адаптирането му.
Основните критерии за качество на диагностичната техника са валидностИ надеждност. Тези тестови свойства са необходим атрибут на диагностичния тест. Техника, която не е преминала тестовете за валидност и надеждност или която не отговаря на изискванията за тези качества, не може да се използва като диагностичен инструмент, въпреки че може да се използва за изследователски цели.
Последният етап в развитието на психодиагностичната техника е нейният стандартизацияИ адаптация. Техниката за диагностика се различава от изследователската по това, че е стандартизирана. Стандартизирането на методологията включва два етапа:
1. Разработване на единни изисквания към процедурата за изпитване. Този етап включва унифициране на методите за регистриране на резултатите, условията на инструкциите, учебните форми и тестването.
2. Определяне на единен критерий за оценка на резултатите. На този етап се определят нормите за изпитване.
Използването на тестови норми в психодиагностиката се основава на прехвърляне на тестовите резултати от „сурова скала” към стандартната скала. Тази процедура се нарича стандартизация на резултатите от теста. Тест норма- това е средното ниво на изразяване на изследваното качество, установено върху голяма извадка от хора.
За тестови въпросници се разработват статистически тестови норми. За да ги изчислят, те се обръщат към методите на математическата статистика. Нормите за всяка група трябва да бъдат представени като средни стойности и индикатор за средното отклонение. Резултатът от стандартизацията на теста е създаването на таблица за преобразуване за преобразуване на "сурови" резултати в стандартни по зададена скала. Той предоставя пълен списък на съответствието между интервалите на необработената скала и интервалите на стандартната скала. Нормата за изпитване трябва да се преразглежда на всеки 5 години. В описанието на теста за всяка включена в него норма трябва да се посочи: къде, кога, как и на кого е инсталиран.
В заключение бих искал да кажа, че при проектирането на тестовете не трябва да се ограничават само до математически изчисления. Математическите модели в психодиагностиката не могат да заменят развитието на теоретичните конструкции, фундаменталните принципи на изследването. Без пълно психологическо описание на измервания конструкт, без формулиране на хипотези за неговите резултати, процесът на създаване на тест се превръща в упражнение по математическа статистика.
Страница 21 от 25
Основните етапи на конструиране на педагогически тест
Проблеми с дизайна на въпросника.
При разработването на елементи за въпросници трябва да се вземат предвид следните проблеми, които, ако не бъдат избегнати, неизбежно ще доведат до ниска валидност на тестовете.
1. Настройка за съгласие. Това е склонността на субекта да се съгласява с твърдения или да отговаря с „да“ на въпроси, независимо от тяхното съдържание. Най-често се проявява, когато твърденията (въпросите) са двусмислени и неясни.
2. Инсталиране на обществено одобрени отговори. Това е тенденцията субектите да отговарят на тестови въпроси по начин, който изглежда "социално положителен": ако е възможен "социално желателен" отговор, тогава е много вероятно субектите да го дадат.
3. Настройка за неопределени или средни отговори. Ако въпросникът представя средната категория отговори, отразяващи нерешителност или несигурност в отговора (напр.
„не съм сигурен“, „не знам“ или „трудно е да отговоря“), много субекти са склонни да прибягват до него като безопасен компромис. Това води до намаляване на валидността, тъй като повечето методи за анализ на въпроси се основават на екстремни стойности на индикаторите.
4. Инсталация на "екстремни" (разположени в краищата на скалата) отговори. Тази настройка може да се прояви при използване на скала за оценка с няколко елемента. Някои предмети, независимо от съдържанието на въпросите, предпочитат да избират екстремни отговори.
5. Очевидна валидност на въпросите. Несъмнено при тестовете за личността е необходима увереност, че отговорите на въпросите могат да се считат за верни.
6. Проблеми при установяване на адекватен критерий за валидност. Съществуват значителни трудности при намирането на адекватен критерий.
Това са основните трудности при проектирането на въпросници и трябва ясно да ги разберете, преди да започнете да формулирате въпроси или твърдения. Последните два проблема, въпреки че са решаващи, излизат на преден план след подбора на тестовите елементи.
Процесът на създаване на тест, неговото научно обосноваване, обработка и усъвършенстване може да бъде разделен на няколко етапа.
1. Определяне на целта на тестването, избор на вида на теста и подхода за неговото създаване.
2. Анализ на съдържанието на изследваното явление (качество).
3. Определяне на структурата на теста и стратегията за подреждане на задачите.
4. Разработване на тестова спецификация, избор на дължина на теста и време за неговото изпълнение.
5. Създаване на предтестови задачи.
6. Избор на задачи в теста и тяхното класиране според избраната стратегия за представяне въз основа на априорни авторски оценки за трудността на задачите.
7. Разглеждане на съдържанието на предтестови задачи и тестове.
8. Проверка на формата на предтестови задачи.
9. Преработка на съдържанието и формата на заданията въз основа на резултатите от изпита.
10. Разработване на методика за апробационно тестване.
11. Разработване на инструкции за тестване на теста.
12. Провеждане на апробационно тестване.
13. Колекция от емпирични резултати
14. Статистическа обработка на резултатите от теста.
15. Интерпретация на резултатите от обработката с цел подобряване на качеството на теста. Проверка на изпълнението на теста спрямо основани на доказателства критерии за качество.
16. Корекция на съдържанието и формата на задачите въз основа на данните от предходния етап. Почистване на теста и добавяне на нови елементи за оптимизиране на диапазона от стойности за параметъра на трудност и подобряване на основните свойства на тестовите елементи. Оптимизиране на продължителността на теста и времето за изпълнение. Оптимизиране на реда на заданията в теста.
17. Повторете фазата на тестване, за да подобрите качеството на теста.
18. Интерпретация на обработваните данни, установяване на тестови норми и създаване на скала за оценка на резултатите от учебните предмети.
Възниква един вид цикъл, тъй като след почистване на теста разработчикът трябва да се върне към етапа на събиране на емпирични данни и като правило не веднъж, а два, три или повече. В известен смисъл този цикъл е безкраен, но не защото всички задачи са лоши и разработчикът няма достатъчно опит в създаването на тест. Процесът на проектиране на тест е доста труден, тъй като е необходим цялостен подход за оценка на качеството на теста и характеристиките на тестовите елементи, за проверка на техните системообразуващи свойства.
Освен това можем да предположим, че проблемът за оптимален подбор на състава на теста няма едно решение, тъй като не всичко тук се определя от качеството на тестовия материал, но все пак много зависи от нивото на подготовка на теста. група студенти. Задачите, които работят върху една извадка от ученици, може да са безполезни за друга, тъй като ще бъдат или твърде лесни, или твърде трудни и нито един ученик в групата няма да ги изпълни правилно.
Успехът на създаването на тест до голяма степен зависи от високото качество на първоначалния тестов материал, което се осигурява от правилния подбор на проверяваното съдържание и способността на разработчика да го показва правилно в тестовите задачи. Изключително важен е етапът на обработка на резултатите от емпирични тестове, за който са необходими специални софтуерни инструменти за професионална разработка на тестове.
Разбира се, далеч не винаги е необходимо да се постигне професионално ниво на качество в процеса на създаване на тестове, особено ако пренебрегнем общите цели. В ежедневните дейности на учителя са необходими тестове с различно, понякога ниско качество, насочени към задачите на текущия контрол. Изпълнението на последната задача е по силите на отделен учител или група учители. Въпреки това, дори и в този случай, можете самостоятелно да направите редица изчисления, базирани на минималния математически апарат, което ви позволява значително да преминете от задачи преди теста към реалния тест.
По време на фазата на събиране на данни трябва да се обърне специално внимание, за да се гарантира, че процедурата за провеждане на теста е последователна. Стандартизирането на тази процедура засяга формирането на представителна извадка от субекти, правилното обучение, избора на оптимално време за тестване, качествени материали и подходяща среда. Трябва да се обърне известно внимание на обучението на учителите, провеждащи тестове, за предприемане на мерки за предотвратяване на измама по време на теста. Най-малкото отклонение от изискванията на стандартизацията ще доведе до намаляване на надеждността на емпиричните резултати от теста. В допълнение към тях, много други, по-малко очевидни фактори могат да повлияят на резултатите от теста. Като цяло, за да се осигури събирането на надеждни емпирични данни, е необходимо:
Спазвайте точно процедурите за стандартизация при събиране на емпирични данни;
Регистрирайте всякакви нестандартни условия, водещи до отклонения от изискванията за стандартизация;
Вземете предвид нестандартните условия на теста, когато интерпретирате тест.
От голямо значение е разработването на правилни инструкции за полагане на теста, които трябва да бъдат изготвени както за учителя, който ръководи процеса на прилагане на теста, така и за учениците, полагащи теста.
Инструкциите за учителя съдържат препоръки за подготовка на група ученици за теста, приблизителните задължения на учителя на етапа на тестване, препоръки за изготвяне на кратък отчет за завършената процедура за представяне на теста.
Като цяло, преди тестване, учителят се нуждае от следното.
1. Обяснете защо е необходим тестът, какви резултати се очакват.
2. Обяснете защо субектите трябва да положат всички усилия, за да го изпълнят, съсредоточете вниманието на субектите върху възможността да тестват силните си страни и наблегнете на състезателния мотив. В същото време трябва да се има предвид, че твърде силната мотивация, както и слабата, еднакво отрицателно се отразява на ефективността на теста.
3. Бавно, ясно прочетете инструкциите за теста с примери, ако има такива. Възможна е ситуация, когато субектите самостоятелно следват инструкциите според своите тестови опции, а учителят ги чете или възпроизвежда по памет.
4. Дайте възможност на субектите да практикуват, като решават една или повече примерни задачи самостоятелно, ако има такива. Проверете дали инструкцията е разбрана правилно въз основа на резултатите от примерните тестови задачи.
5. Информирайте за временния ресурс, за правилата за коригиране на допуснатите грешки, кажете какво не се препоръчва да правите при изпълнение на задачи и към кого да се свържете в случай на въпроси.
6. Заедно с субектите запишете, ако е необходимо, паспортни и биографични данни във формите за регистрация, уверете се, че са попълнени правилно.
7. Отговорете на наличните въпроси, преди да започнете теста.
8. Разпределете теста.
9. Дайте команда за стартиране на задачите. Запишете сами началния час или помолете субектите да го направят във формуляра за регистрация.
10. По време на изпълнението на задачите следвайте:
Зад времето за изпълнение на отделни подтестове, ако е необходимо, като например при извършване на тестове за скорост;
Зад наличието на заточени моливи и други материали;
За правилното попълване на паспортната част на регистрационните формуляри (ако се забележи грешка, коригирайте я своевременно);
Гарантиране, че субектите не пишат върху тестови брошури, освен ако не се изисква;
За да сте сигурни, че съседите не общуват, не се намесват помежду си, не надничат;
За състоянието на субектите;
Да се гарантира, че субектите получават навременни отговори на въпроси, разрешени от инструкцията в ситуации, свързани с процедурата.
11. След сигнала за край на тестовите задачи по време на груповото тестване дайте командата да сгънете брошурите и листовете за отговори в първоначалното им положение или да ги сглобите сами (ако участват не повече от 30 души). Ако има повече от 30 участници в теста, се препоръчва да помолите всички да останат на местата си и да предадат тестовите материали в началото на реда в следния ред: бланки за отговори, брошури, чернови. След това пребройте броя на формулярите и брошурите.
12. В края на теста прегледайте всички брошури и изтрийте знаците в тях.
| Съдържание |
|---|
| Педагогическа диагностика в образователния процес. |
| ДИДАКТИЧЕСКИ ПЛАН |
| Понятието педагогическа диагностика |
| Исторически аспекти на формирането на диагностиката като специфичен вид знание |
| Личността като предмет на педагогическата диагностика |
