Die wichtigsten Phasen des Testdesigns in der Psychodiagnostik. Pädagogische Diagnostik im Bildungsprozess
In der Phase der Entwicklung eines Tests sowie jeder anderen Methode wird ein Standardisierungsverfahren durchgeführt, das drei Phasen umfasst.
Erster Schritt
Durch die Standardisierung des psychologischen Tests soll ein einheitliches Testverfahren geschaffen werden. Es beinhaltet die Definition folgender Punkte der diagnostischen Situation:
1. Testbedingungen (Raum, Beleuchtung und andere externe Faktoren).
3. Verfügbarkeit von Standard-Stimulus-Material. Fristen für diesen Test. Standardformular zur Durchführung dieses Tests. Die Verwendung eines Standardformulars erleichtert den Bearbeitungsprozess.
4. Berücksichtigung des Einflusses situativer Variablen auf den Prozess und die Testergebnisse. Variablen bedeuten den Zustand der Testperson (Ermüdung, Überspannung usw.), nicht standardmäßige Testbedingungen (schlechte Beleuchtung, mangelnde Belüftung usw.), Unterbrechung der Prüfung.
5. Berücksichtigung des Einflusses des Verhaltens des Diagnostikers auf den Ablauf und das Ergebnis der Untersuchung. Beispielsweise kann das zustimmende und aufmunternde Verhalten des Experimentators während des Testens von der Testperson als Hinweis auf die „richtige Antwort“ wahrgenommen werden etc.
6. Berücksichtigung des Einflusses der Testerfahrung des Befragten. Natürlich hat der Proband, der sich nicht zum ersten Mal dem Testverfahren unterzieht, das Gefühl der Unsicherheit überwunden und eine gewisse Einstellung zur Testsituation entwickelt.
7. Zweite Phase
Die Standardisierung psychologischer Tests besteht in der Schaffung einer einheitlichen Bewertung der Testleistung: Standardinterpretation der erhaltenen Ergebnisse und Standardvorverarbeitung. In dieser Phase werden auch die erhaltenen Indikatoren mit der Norm für die Durchführung dieses Tests für ein bestimmtes Alter verglichen.
8. Dritter Abschnitt
Die Standardisierung des psychologischen Tests besteht darin, die Normen des Tests festzulegen.
Normen werden für verschiedene Altersgruppen, Berufe, Geschlechter usw. entwickelt.
Das Vorhandensein normativer Daten (Normen) in standardisierten Methoden der Psychodiagnostik ist ihr wesentliches Merkmal.
Normen sind notwendig, wenn Testergebnisse (Primärindikatoren) als Standard interpretiert werden, mit dem Testergebnisse verglichen werden.
In der Phase der Erstellung eines Tests wird eine bestimmte Gruppe von Probanden gebildet, an denen dieser Test durchgeführt wird. Das durchschnittliche Ergebnis dieses Tests in dieser Gruppe wird als Norm angesehen. Das Durchschnittsergebnis ist keine einzelne Zahl, sondern ein Bereich von Werten. Es gibt bestimmte Regeln für die Bildung einer solchen Gruppe von Subjekten oder, wie es anders heißt, Standardisierungsproben.
Stichprobenregeln für die Standardisierung:
1. die Standardisierungsstichprobe sollte aus Befragten bestehen, an die sich der jeweilige Test grundsätzlich richtet,
2. Die Standardisierungsstichprobe muss repräsentativ sein, d. h. ein reduziertes Bevölkerungsmodell in Bezug auf Parameter wie Alter, Geschlecht, Beruf, geografische Verteilung usw. darstellen,
Die Ergebnisverteilung der Testpersonen der Standardisierungsstichprobe lässt sich grafisch darstellen − Normalverteilungskurve.
Diese Grafik zeigt, welche Werte der Primärindikatoren in der Zone der Durchschnittswerte (in der Zone der Norm) enthalten sind und welche über und unter der Norm liegen.
Abgeleitete Indikatoren werden durch mathematische Verarbeitung von Primärindikatoren gewonnen.
Primärindikatoren für verschiedene Tests können nicht miteinander verglichen werden, da die Tests einen unterschiedlichen internen Aufbau haben
Es ist wichtig, sich daran zu erinnern, dass, wie A. Anastasi schrieb: „Jede Norm, egal wie sie ausgedrückt wird, auf eine bestimmte Gruppe von Menschen beschränkt ist, für die sie entwickelt wurde. In Bezug auf psychologische Tests sind sie (Normen) keineswegs absolut, universell oder dauerhaft. Sie drücken einfach die Leistung des Tests durch Probanden aus der Standardisierungsstichprobe aus.
Klinische Aufgaben
Aufgabe 1 Beim Arzttermin ist der Patient bei klarem Verstand, richtig orientiert in der Umwelt und in der eigenen Persönlichkeit. Er sagt, dass er seit etwa einem Jahr einen Einfluss von außen verspüre. Er geht davon aus, dass "irgendeine Organisation mit ihm zusammenarbeitet", deren Mitglieder mit Hilfe von "telepathischen Geräten" auf seine Gedanken, Gefühle einwirken ...
Methodologie der Psychologie
Aufgaben der Sozialpsychologie: 1) Untersuchung der Probleme der Sozialpsychologie, die mit anderen Wissenschaften interagieren; 2) die Notwendigkeit, sozialpsychologische Probleme im Zusammenhang mit den sozialen Veränderungen, die in unserem Land stattgefunden haben, zu revidieren; 3) Studium ethnischer, wirtschaftlicher, klassenmäßiger, politischer und ideologischer Phänomene; 4 ...
Zeichen einer sich selbst verwirklichenden Persönlichkeit
Maslow stellt fest, dass der Mangel an Gütern, die Blockade der grundlegenden und physiologischen Bedürfnisse nach Nahrung, Ruhe und Sicherheit dazu führt, dass diese Bedürfnisse für einen gewöhnlichen Menschen führend werden können („Eine Person kann allein von Brot leben, wenn es nicht genug Brot gibt “). Aber wenn die grundlegenden, primären Bedürfnisse befriedigt sind, dann zeigt eine Person ...
Der Prozess der Erstellung eines Tests, seiner wissenschaftlichen Fundierung, Bearbeitung und Verbesserung lässt sich in mehrere Phasen gliedern.
1. Bestimmung des Testzwecks, Auswahl der Testart und des Ansatzes zu seiner Erstellung.
3. Festlegung der Struktur des Tests und der Strategie zur Anordnung der Aufgaben.
4. Entwicklung der Testspezifikation, a priori Wahl der Testlänge und Ausführungszeit.
5. Erstellung von Pretest-Aufgaben.
6. Auswahl der Aufgaben im Test und deren Rangordnung gemäß der gewählten Präsentationsstrategie basierend auf a priori Schätzungen des Autors zur Schwierigkeit der Aufgaben.
7. Prüfung des Inhalts von Pre-Test-Aufgaben und Tests.
8. Prüfung der Form der Vortestaufgaben.
9. Inhaltliche und formale Überarbeitung von Aufgaben auf Basis der Prüfungsergebnisse.
10. Entwicklung einer Testmethodik für die Approbation.
11. Entwicklung von Anweisungen für Schüler und Lehrer, die den Test testen.
12. Durchführung von Approbationstests.
13. Sammlung empirischer Ergebnisse.
14. Statistische Verarbeitung von Testergebnissen.
15. Interpretation der Verarbeitungsergebnisse zur Verbesserung der Testqualität. Überprüfung der Testleistung anhand evidenzbasierter Qualitätskriterien.
16. Korrektur des Inhalts und der Form der Aufgaben auf der Grundlage der Daten der vorherigen Stufe. Bereinigung des Tests und Hinzufügen neuer Items, um den Wertebereich für den Schwierigkeitsparameter zu optimieren und die Backbone-Eigenschaften der Test-Items zu verbessern. Optimierung der Testlänge und Ausführungszeit basierend auf a-posteriori-Schätzungen der Testmerkmale. Optimierung der Reihenfolge der Aufgaben im Test.
17. Wiederholen der Testphase, um die nächsten Schritte zur Verbesserung der Testqualität durchzuführen.
18. Interpretation der Verarbeitungsdaten, Festlegung von Testnormen und Erstellung einer Skala zur Bewertung der Ergebnisse der Probanden.
Es entsteht eine Art Kreislauf, da der Entwickler nach der Reinigung des Tests in die Phase der Erhebung empirischer Daten zurückkehren muss, und zwar in der Regel nicht einmal, sondern zwei, drei oder mehr. In gewisser Weise ist dieser Zyklus endlos, aber nicht, weil alle Aufgaben schlecht sind und der Entwickler nicht genug Erfahrung in der Erstellung eines Tests hat. Nur ist der Prozess des Testdesigns eher schwierig, da ein umfassender Ansatz erforderlich ist, um die Qualität des Tests und die Eigenschaften von Testobjekten zu bewerten, um ihre systembildenden Eigenschaften zu überprüfen.
Darüber hinaus können wir davon ausgehen, dass das Problem der optimalen Auswahl der Zusammensetzung des Tests keine einheitliche Lösung hat, da hier nicht alles von der Qualität des Testmaterials bestimmt wird, sondern vieles noch vom Vorbereitungsgrad eines Tests abhängt Gruppe von Studenten. Aufgaben, die für eine Stichprobe von Schülern gut funktionieren, können für eine andere völlig nutzlos sein, da sie entweder zu einfach oder zu schwierig sind und kein einziger Schüler in der Gruppe sie richtig ausführen wird.
Der Erfolg der Testerstellung hängt maßgeblich von der hohen Qualität des initialen Testmaterials ab, die durch die richtige Auswahl der zu prüfenden Inhalte und die Fähigkeit des Entwicklers, diese in den Testitems korrekt darzustellen, sichergestellt wird. Von großer Bedeutung ist die Phase der Verarbeitung empirischer Testergebnisse, für die zur professionellen Testentwicklung spezielle Softwaretools benötigt werden.
Natürlich ist es bei weitem nicht immer erforderlich, bei der Erstellung von Tests ein professionelles Qualitätsniveau zu erreichen, insbesondere wenn wir die Ziele der Zulassung von Bewerbern und der Zertifizierung von Absolventen außer Acht lassen. In den täglichen Aktivitäten des Lehrers werden Tests unterschiedlicher, manchmal niedriger Qualität benötigt, die sich auf die Aufgaben der Stromkontrolle konzentrieren. Die Erfüllung der letzten Aufgabe liegt durchaus in der Macht eines einzelnen Lehrers oder einer Gruppe von Lehrern. Aber auch in diesem Fall können Sie auf Basis des minimalen mathematischen Apparats eine Reihe von Berechnungen selbstständig durchführen und so von der Vortestaufgabe zum eigentlichen Test deutlich vorankommen.
Schlussfolgerungen
1. Die Theorie der pädagogischen Messung ist interdisziplinärer Natur und verbindet die Errungenschaften der Pädagogik und Psychologie mit den Errungenschaften der Mathematik, Statistik und Messtheorie.
2. Die Entwicklung des konzeptionellen Instrumentariums der Theorie pädagogischer Messungen ist wichtig für die Verbesserung der Qualität von Tests.
3. Bei der Formulierung des konzeptionellen Apparats ist es notwendig, die Testtypen zu klassifizieren, um die eingeführten Definitionen mit verschiedenen Testtypen und den Zwecken ihrer Erstellung in Einklang zu bringen. .
4. Pädagogische Tests können zur Eingangs-, Lauf- und Endkontrolle bei der Bewertung der Ergebnisse des durchgeführten Bildungsprozesses eingesetzt werden.
5. Pädagogische Tests werden im Rahmen zweier Ansätze entwickelt, die unterschiedliche Interpretationen der Ergebnisse ihrer Durchführung zulassen.
6. Die beobachteten Ergebnisse des Tests werden als Ergebnis der Interaktion vieler Testpersonen mit vielen Testgegenständen erhalten.
7. Professionell gestaltete Tests geben Aufschluss über die tatsächlichen Ergebnisse der Schüler, die mit speziellen Methoden aus den beobachteten Testergebnissen ermittelt werden.
8. Der Prozess der Erstellung eines Tests umfasst eine Reihe von Phasen, deren Durchführung obligatorisch ist. Der Ausschluss jeglicher Stufe führt zwangsläufig zum Qualitätsverlust des Tests.
FRAGEN UND AUFGABEN
1.Was sind die Funktionen von Eingangstests? Ist es sinnvoll, Aufnahmetests in der Schule zu entwickeln?
2. Was sind die Ziele der Entwicklung formativer Tests? Gibt es Unterschiede zwischen formativen Tests und traditionellen Monitoring-Tools?
3. Wozu dient der Abschlusstest?
4. Welche Vorgehensweise sollte Ihrer Meinung nach bei der Entwicklung von Tests für Abschlussprüfungen in der Schule verfolgt werden?
5. Bewertet Ihre Schule die Leistung der Lehrkräfte richtig?
6. Welcher Prozess wird als Teststandardisierung bezeichnet?
7. Nennen Sie die Faktoren, die die Stabilität der Testnormen beeinflussen.
8. Welche Tests sollten Ihrer Meinung nach überhaupt entwickelt werden, um die Effektivität des Bildungsprozesses in der Schule zu verbessern?
9. Formulieren Sie die Definitionen der Vortestaufgabe, Testaufgabe, pädagogischen Prüfung. Vergleichen Sie Ihre Antwort mit dem Inhalt der entsprechenden Abschnitte des Handbuchs.
10. Was sind die Vorteile der Vortestaufgabe im Vergleich zu herkömmlichen Kontrollaufgaben?
11. Was sind die allgemeinen Anforderungen für Pre-Test-Aufgaben? Vergleichen Sie Ihre Antwort mit der Liste der allgemeinen Anforderungen im Handbuch.
12. Beschreiben Sie die Faktoren, die die Genauigkeit von Testmessungen verringern.
13. Ist es möglich, sich mit herkömmlichen Kontrollen ein Bild von den tatsächlichen Ergebnissen der Schüler zu machen?
14. Drei Schüler beantworteten 6 Testaufgaben, geordnet nach steigendem Schwierigkeitsgrad. Als Ergebnis der Antworten wurden die folgenden Profile erhalten:
zuerst: 111000; zweite: 101010; dritte: 000111.
Wer hat Ihrer Meinung nach die Inhalte des getesteten Kurses besser gelernt? Wie viele Fehler sind im Antwortprofil jedes der drei Schüler? Welcher der drei Schüler hat eine höhere wahre Punktzahl? Ist es richtig, die letzte Frage in Bezug auf die Ergebnisse des dritten Schülers zu stellen?
15. Nennen Sie die Hauptphasen der Testentwicklung.
Zielsetzung in der Planungsphase
Bei der Erstellung eines Tests wird die Aufmerksamkeit des Entwicklers in erster Linie auf die Inhaltsauswahl gelenkt, die als optimale Darstellung der Inhalte der akademischen Disziplin im System der Testaufgaben definiert werden kann. Die Anforderung der Optimalität beinhaltet die Verwendung einer bestimmten Auswahlmethodik, einschließlich der Fragen der Zielsetzung, Planung und Bewertung der Qualität der Testinhalte.
Die Zielsetzungsphase ist die schwierigste und zugleich wichtigste: Die Qualität der Testinhalte hängt in erster Linie von den Ergebnissen ihrer Umsetzung ab. Im Prozess der Zielsetzung muss der Lehrer entscheiden, welche Ergebnisse der Schüler er mit Hilfe des Tests bewerten möchte. Die Antwort scheint einfach zu sein, zumindest für diejenigen, die das Wissen der Schüler im Klassenzimmer wiederholt mit traditionellen Mitteln testen. In der Realität führt diese scheinbare Einfachheit jedoch häufig zu schlechten Ergebnissen der Qualitätskontrolle, wenn Schüler mit unterschiedlichem Hintergrund die gleichen Noten erhalten oder der Lehrer zu falschen Schlussfolgerungen über das Erreichen von Lernzielen kommt, während Schüler das wichtigste Wissen nicht erhalten haben oder nicht gelernt haben, wie man es anwendet.
Die Gründe für Fehler in den Schlussfolgerungen des Lehrers hängen nicht immer mit den technologischen Mängeln traditioneller Kontrollmittel zusammen. Manchmal liegen sie an den Mängeln des Lehrers in der Zielsetzungsphase, wenn der Schwerpunkt des Tests auf sekundäre Lernziele verschoben wird, und manchmal fehlt die Zielsetzungsphase vollständig, da einige Lehrer auf Unfehlbarkeit vertrauen; ihrer Erfahrung und Intuition, insbesondere unter der Bedingung langjähriger Arbeit an der Schule. Allerdings lassen auch sehr perfekte Kontrollmethoden und keine Erfahrung verlässliche Rückschlüsse auf das Erreichen von Lernzielen zu, solange kein Vertrauen in die korrekte Setzung von Kontrollzielen und deren korrekte, unvoreingenommene Darstellung im Inhalt des Tests besteht .
Anders als die Auswahl der Inhalte traditioneller Kontrollmittel, die überwiegend intuitiv auf der Grundlage der praktischen Erfahrung des Lehrers erfolgt, hat die Auswahl der Inhalte des Tests eine klare Zielorientierung, und dies vorbehaltlich der richtigen Zielsetzung , ist ein ernsthaftes Angebot für seine hohe Qualität. Bildlich gesprochen wird bei der Erstellung eines Tests im Kopf des Entwicklers der Inhalt der Kontrolle durch das Prisma der gesetzten Messziele gebrochen, und wenn sie richtig formuliert sind, dann ist die Zuversicht größer, dass der Test stattfindet.
Die korrekte Festlegung der Ziele für die Erstellung eines Tests ist zwar an sich ziemlich schwierig, und außerdem wird die Situation durch eine Reihe von Umständen kompliziert. Einerseits verwenden verschiedene Schulen in der modernen Pädagogik bei der Formulierung von Zielen unterschiedliche Begriffs- und Ideensysteme, die sich oft nicht gut miteinander kombinieren lassen. Andererseits führt die Verwendung verschiedener Wörter und Ausdrücke der natürlichen Sprache als Begriffe zu einer gewissen Verwirrung, oft reicht der Kontext mehrerer pädagogischer Ansätze nicht aus, um die begriffsbildende Funktion umzusetzen.
Gleichzeitig bestand für einige Jahre einfach kein besonderer Bedarf an der Herausbildung einheitlicher Ansätze zur Formulierung von Zielen. Die in unserem Land jahrzehntelang vorherrschende Orientierung an traditionellen Kontrollmitteln machte dieses Verfahren überflüssig, da die Unschärfe und Unsicherheit bestehender Bildungsziele nicht mit den Anforderungen der Praxis in Konflikt geriet, fernab der Problematik objektiver Messbarkeit Instrumente. Und schließlich wurde die Situation oft durch die Forscher selbst kompliziert, die, bildlich gesprochen, prophezeiten, aber einander nicht hörten. Insgesamt hat dies dazu geführt, dass bisher weder allgemeine Regeln für die Wahl der Gründe für die Einstufung von Zielen entwickelt noch von allen geteilte Prinzipien zur Quantifizierung des Grads ihrer Erreichung gefunden wurden.
Die bisher entwickelten Vorstellungen über die gängigsten Steuerungsziele erlauben es daher nicht, direkt zur Entwicklung von Messinstrumenten überzugehen. Die Formulierung von Bildungszielen ist geprägt von zu allgemeiner Verallgemeinerung, Unbestimmtheit, Vielfalt und Unsicherheit. Um Messinstrumente zu erstellen, ist daher zunächst eine vorläufige Operationalisierung von Zielen notwendig.
Der Prozess der Operationalisierung besteht darin, dem Inhalt und der Darstellungsform der Ziele Merkmale zu geben, die es ermöglichen, die Ziele im Inhalt standardisierter Messinstrumente abzubilden. Die Idee der Operationalisierung steht bestimmten Bestimmungen der Arbeit von M.V. Klarina, wo statt des Wortes „Operationalisierung“ „ein anderer, recht erfolgreicher Begriff „Konkretisierung“ verwendet wird.“ Natürlich geht es nicht um den Begriff, sondern um die Essenz des vorgeschlagenen Prozesses.
Angabe von Zielen
Spezifikation nach M.V. Klarina, sollte mit einer Beschreibung der Wirkungsrichtung des Trainings auf den Schüler beginnen, die Art der Wirkung verdeutlichen und die Ergebnisse detailliert beschreiben. In diesem Zusammenhang hebt Clarin eine Reihe von Problemen hervor, deren Lösung notwendigerweise mit dem Konkretisierungsprozess einhergeht. Die Antwort auf die erste Frage zielt darauf ab, die Bildungsbedingungen zu charakterisieren, die geschaffen wurden, um die Ziele zu erreichen. Die Antwort auf die zweite Frage bezieht sich auf die Identifizierung der internen Parameter der Schüler, ihrer Fähigkeit, neues Unterrichtsmaterial aufzunehmen. Und schließlich zielt die Beantwortung der dritten Frage darauf ab, die Ergebnisse des Bildungsprozesses zu charakterisieren.
Die von Klarin angegebenen Schlüsselmomente des Konkretisierungsprozesses bedürfen einer Klärung - eine Änderung nicht des Inhalts, sondern lediglich der Reihenfolge, in der Fragen gestellt werden. Da die Reihenfolge der Fragenstellung einer gewissen Hierarchie unterliegt, sollten die zweite und dritte Frage natürlich vertauscht werden, um die Essenz der während der Kontrolle ablaufenden Prozesse widerzuspiegeln. Es ist möglich, die internen Parameter eines Schülers nur auf der Grundlage einer Analyse der externen Seite der Lernaktivität zu beurteilen, die sich in Lernergebnissen manifestiert. Tatsächlich ist die Idee des Übergangs vom Äußeren zum Inneren, die Idee der Internalisierung, der Kern der Theorie der pädagogischen Messungen, wenn sie nach den beobachteten Ergebnissen der Kontrolle mit unterschiedlicher Genauigkeit durchgeführt werden Versuchen Sie, eine Schlussfolgerung über die internen stabilen Eigenschaften zu ziehen - die Parameter des Schülers.
Natürlich sollten wir nicht vergessen, dass der Lehrer während der Kontrolle sozusagen einen umgekehrten Schritt macht, da es tatsächlich der Parametersatz der Probanden bei der Interaktion mit Aufgaben ist, der die beobachteten Ergebnisse des Tests erzeugt , dh was im Kontrollprozess üblicherweise als Lernergebnisse bezeichnet wird. Gleichzeitig erfolgt die Ermittlung des Erreichungsgrades von fachbezogenen Lernzielen durch die Steuerung der Bildungsaktivitäten von Schülerinnen und Schülern durch den Vergleich der beobachteten und erwarteten Lernergebnisse.
Direkt für die Zwecke der Erstellung von Messinstrumenten ist die Antwort auf die dritte Frage zur Operationalisierung von Lernergebnissen von größtem Interesse. Der Prozess der Operationalisierung ist durch mehrere Stufen gekennzeichnet, die in Abb. 1 schematisch dargestellt sind. 3.1.
Reis. 3.1. Stufen der Operationalisierung von Lernergebnissen
Darüber hinaus werden die geplanten Lernergebnisse im Kopf des Fachlehrers durch das Prisma der Wissensinhalte in dem von ihm unterrichteten Fach gebrochen, und der Inhalt der Prüfung beginnt Gestalt anzunehmen. Hier hängt natürlich viel von der gewählten Bewertungsmethode ab, da nicht alle Inhalte des Faches und nicht in irgendeiner Form im Test abgebildet werden können.
Die Anforderungen an die angestrebten Lernergebnisse umfassen in der Regel ein System der untersuchten Objekte, eine Beschreibung der Arten von Lernaktivitäten und die Qualität der Aneignung von Unterrichtsmaterial.
Die erste Komponente der Anforderungen sind die Eigenschaften der Lerngegenstände unter Berücksichtigung der Tiefe ihrer Abdeckung durch die Lehrenden und des geplanten Niveaus der Aneignung durch die Studierenden. Eine Gruppe von Forschern des Forschungsinstituts von SiMO APN schlug ein allgemeines Themenschema vor, das viele Untersuchungsobjekte in einer spezifischen Struktur organisiert, basierend auf einer morphologischen und funktionalen Analyse des Inhalts von Objekten. Die Forscher ordneten den wichtigsten Elementen des Systems der wissenschaftlichen Erkenntnis Konzepte und Tatsachen, Gesetze, Theorien, Ideen, Kenntnisse über die Methoden der Tätigkeit, methodologisches und bewertendes Wissen zu.
Dieselbe Arbeit kommt zu dem Schluss, dass die Verwendung der von Psychologen in unserem Land entwickelten Theorie der Lernaktivität (S. L. Rubinshtein, N. A. Menchinskaya, N. F. Talyzina) „viele Möglichkeiten für ihre Charakterisierung in Programmbeschreibungen bietet und durch ihre Ansätze verschiedene Themen und Lernmaterialien vereint von unterschiedlicher Natur. Darüber hinaus wird in dem Papier das Problem in Betracht gezogen, das mit der Notwendigkeit verbunden ist, Arten von Fähigkeiten, ihre Klassifizierung und Systematisierung zu identifizieren.
Als Grundlage für die Lösung des Problems wird die von I.I. Kulibaba. Es beinhaltet Fähigkeiten:
Spezial, gebildet im Prozess des Studiums einzelner Fächer;
Rationale Bildungsarbeit, einschließlich der Fähigkeit, verschiedene Wissensquellen zu nutzen, um kognitive Probleme zu lösen, ihre Lernaktivitäten zu planen und zu organisieren, die Ergebnisse von Lernaktivitäten zu überwachen und zu korrigieren und sie im Lernprozess zu verwalten;
Intellektuelle, die den Kern der Bildungsaktivitäten darstellen und alle akademischen Fächer vereinen.
Zielklassifizierung
Bei der Erstellung eines Tests besteht die Aufgabe darin, in seinem Inhalt das Wichtigste darzustellen, was die Schüler als Ergebnis des Trainings wissen sollten, daher ist es unmöglich, sich auf eine einfache Aufzählung von Lernzielen zu beschränken. Ich würde gerne alles in den Test einbeziehen, aber das ist leider nicht möglich, daher müssen einige Ziele einfach verworfen und der Grad der Erreichung durch die Studierenden nicht überprüft werden. Um das Wichtigste nicht zu verlieren, ist es notwendig, die Ziele zu strukturieren und eine gewisse Hierarchie in ihrer gegenseitigen Anordnung einzuführen. Ganz ohne Zweifel gibt es hier keine vorgefertigten Generalrezepte, da jede Disziplin ihre eigenen Schwerpunkte hat. Darüber hinaus sind einzelne Ziele merklich miteinander verbunden, und daher reicht eine einfache Vorstellung eines Zielsystems als geordnete Menge ohne Berücksichtigung der Beziehungen zwischen Elementen eindeutig nicht aus.
Für den Fall, dass das Konzept der Elemente als unzusammenhängende Komponenten als angemessen für das Lernzielsystem angesehen werden kann, wurden Arbeiten zum Aufbau eines Zielsystems von B.S. Blüte (BS Bloom). Derzeit ist die Klassifikation von Zielen (oder, wie es auch genannt wird, die Taxonomie von Zielen) die bekannteste in der pädagogischen Literatur der Welt. Aus Sicht der meisten ausländischen Entwickler von pädagogischen Tests ist es auch das technologisch fortschrittlichste. In seiner Klassifizierung hat B.S. Blüte-Highlights:
1) Kenntnis von Namen, Namen, Tatsachen;
2) Faktenwissen;
3) Kenntnis von Definitionen und Verständnis ihrer Bedeutung;
4) vergleichendes, vergleichendes Wissen;
5) Klassifikationswissen;
6) Kenntnis von Gegensätzen, Widersprüchen, synonymen und antonymen Objekten;
7) assoziatives Wissen;
8) kausales Wissen;
9) algorithmisches, prozedurales Wissen;
10) verallgemeinertes, systemisches Wissen;
11) geschätztes Wissen;
12) prozedurales Wissen;
13) abstraktes Wissen;
14) strukturelles Wissen;
15) methodisches Wissen.
Wissensklassifikation B.S. Bloom wird in einer leicht modifizierten und abgekürzten Form in einem Schulungshandbuch angegeben, um die Zielsetzungsphase bei der Entwicklung eines Tests zu erleichtern. Das System selbst ist auch nicht vollständig und lässt aufgrund der Besonderheiten der Disziplin die Möglichkeit der Erweiterung oder Änderung zu.
Eine vollständigere Beschreibung der Ziele aus der Arbeit von Clarin findet sich in Anhang 3.1. Die im Anhang vorgeschlagene Taxonomie der Ziele ist in zwei Gruppen unterteilt. Einer Gruppe werden die Ziele des kognitiven (kognitiven) Bereichs zugeordnet, der anderen die Ziele des affektiven (emotionale Aktivitäts-)Bereichs.
Kürzlich wurde die Taxonomie von B.S. Blooms Arbeit wurde dafür kritisiert, dass sie die modernen Fortschritte auf dem Gebiet der Lernpsychologie nicht angemessen widerspiegelt. Eine allgemeine kritische Analyse bestehender konzeptioneller Planungsmodelle bei der Auswahl von Steuerungsinhalten wurde 1987 von Romberg, Zarinnia durchgeführt. Zu den Mängeln gehörten die übermäßige Vereinfachung der Modelle, die die Verwendung moderner Theorien des Lernprozesses nicht zulässt, die übermäßige Aufmerksamkeit für die Bewertung des Lernergebnisses und nicht für den Prozess der Ergebnisgenerierung, die Verwendung von eine lineare Beziehung zwischen den einzelnen Komponenten des Modells.
Besondere Komplikationen bei der Bewertung von Bildungsleistungen sind in den letzten Jahren durch eine Verlagerung des Schwerpunkts auf die Ermittlung des Kompetenzniveaus intellektueller und praktischer Fähigkeiten verursacht worden, die im Wesentlichen schlecht algorithmisiert, komplex und mehrdeutig in der Überprüfung sind und erfordern, wie in der Regel die Erstellung von konzeptionellen Modellen, die eine Alternative zu bestehenden sind. ;
Von den in der Praxis getesteten Modellen ist derzeit das dreidimensionale Modell am weitesten verbreitet, das Inhalt, Messtechnik und das geplante Maß an kognitiver Aktivität umfasst, die zur Bewältigung der Testaufgaben erforderlich sind.
Die erste Komponente des Modells – der Inhalt – stellt die sinnvolle Validität des Toolkits sicher, seine Übereinstimmung mit dem Curriculum.
Die zweite Komponente – Messtechnik – bezieht sich im Wesentlichen auf die Art der verwendeten Aufgaben. Die Notwendigkeit, die zweite Komponente einzuführen, ergibt sich aus der Tatsache, dass derzeit eine deutliche Ausweitung der Formulare in der Praxis der Massenprüfung stattgefunden hat. Neben klassischen Multiple-Choice-Aufgaben werden Freiantwortaufgaben sowohl in Kurzform als auch in erweiterter Form, Versuchsaufgaben etc. verwendet. Die Formenvielfalt führte zur Einführung verschiedener Technologien, deren Besonderheiten sich im konzeptionellen Modell widerspiegeln sollten .
Die dritte Komponente des Modells ist die kognitive Aktivität, deren Auswertung auf die Messung abzielt. Beim traditionellen Ansatz unter Verwendung der Taxonomie von B.S. Bloom, das Niveau der geistigen Aktivität, das der Schüler zur Beantwortung der vorgeschlagenen Aufgabe benötigt, wurde vom Experten bestimmt. Im neuen konzeptionellen Modell werden Aufgaben so konstruiert, dass sie unterschiedliche Antwortmöglichkeiten bieten, und Ebenen der kognitiven Aktivität werden im konzeptionellen Modell des Tests geplant.
In verschiedenen Ländern der Welt wird derzeit eine detaillierte Entwicklung der Kategorien der kognitiven Aktivität, der Anforderungen an das Niveau ihrer Entwicklung und der Manifestation verschiedener Ebenen der Bildung intellektueller Fähigkeiten durchgeführt. Die 1982 (Biggs und Collis) vorgeschlagene SOLO-Taxonomie (SOLO – Structure of the Observed Learning Outcomes) ist ein Beispiel für die Entwicklung eines modernen Modells der Struktur kognitiver Aktivität. Bis heute hat die SOLO-Taxonomie in vielen Testzentren einen festen Platz in der Praxis eingenommen. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений учащихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak(1986), ChikandWatsonandCollis(1988), Marshall and others (1991) usw.). Die SOLO-Taxonomie umfasst bestimmte Aspekte des Content-Activity-Modells und kann mit der Taxonomie von Bloom verglichen werden. Darüber hinaus enthält es Elemente von Piagets Theorie der Entwicklungsstadien der kognitiven Aktivität. Die SOLO-Taxonomie ist hierarchisch aufgebaut und kann sowohl zur Entwicklung von Werkzeugen als auch zur Interpretation der Ergebnisse von Testmessungen verwendet werden.
Das aktuelle Modell bietet eine qualitative Beschreibung der Schülerantworten. Das bedeutet, dass bereits in der Phase der Entwicklung von Tools die kognitive Aktivität, die der Durchführung jeder Testaufgabe zugrunde liegt, klar umrissen werden sollte. Dann, an einem Ende der Skala der kognitiven Aktivität, gibt es Aufgaben zur Reproduktion von Fakten und einfachen Algorithmen, die nur einen Aktivitätsschritt umfassen - mit einem Wort, Aufgaben, die es den Schülern ermöglichen, die Fähigkeit zu demonstrieren, einfache Probleme mit Routineverfahren zu lösen oder einstufige kognitive Aktivität; Am anderen Ende der Skala befinden sich Aufgaben, die die Schüler herausfordern, eine Vielzahl intellektueller und praktischer Fähigkeiten zu demonstrieren.
In einer Reihe von in unserem Land veröffentlichten Arbeiten wird die Taxonomie von B.S. Bloom wurde insbesondere auch immer wieder kritisiert, weil es zu einer methodisch nicht akzeptablen Vermischung von spezifischen Lernergebnissen (Wissen, Verstehen etc.) . . ). Diesbezüglich schlägt das Handbuch eine andere Einteilung der Ziele vor. Es basiert auf einem ebenensystemischen Ansatz zur Beschreibung der Schülerleistungen (I.Ya. Lerner, V.P. Bespalko usw.), der eine Gruppierung von Lernergebnissen je nach Niveau der Lernaktivität ermöglicht.
Die erste Ebene ist mit der direkten Wiedergabe des Inhalts des studierten Materials aus dem Gedächtnis und seiner Erkennung verbunden.
Auf der zweiten Ebene geht es darum, Wissen in einer vertrauten Situation modellhaft zu verstehen und anzuwenden, Handlungen nach klar definierten Regeln auszuführen.
Die dritte Ebene beinhaltet die Anwendung von Wissen auf eine veränderte oder ungewohnte Situation.
Daher basiert der vorgeschlagene Ansatz für die Klassifizierung auf der Zuordnung von Ebenen der Assimilation von Wissen und Operationen, die ihre Manifestation begleiten (Tabelle 3.1).
OPERATIONALISIERUNG GEPLANTER LERNERGEBNISSE
Nach der Festlegung von Zielen in allgemeiner Form gehen sie zur Operationalisierung der geplanten Lernergebnisse über. Der Prozess der Operationalisierung basiert auf der Beschreibung von Bildungszielen in Form von Ergebnissen bestimmter Bildungsaktivitäten, sodass der Grad der Zielerreichung recht eindeutig beurteilt werden kann. Die Idee eines solchen Übergangs wird von heimischen Forschern nicht immer positiv aufgenommen. Zum Übergang von Lernzielen, die sich auf qualitative Veränderungen in den inneren Merkmalen von Schülern konzentrieren, zu äußeren Manifestationen in Form von Ergebnissen von Bildungsaktivitäten, wurden beispielsweise viele kritische Arbeiten geschrieben.
Tabelle 3.1. Klassifizierung von Lernzielen
| Der Grad der Assimilation von Unterrichtsmaterial | Verallgemeinerte Anforderungen an die Studienleistung (Studentenniveau). | Formulierung von Anforderungen an externe Aktivitäten |
| ein . Reproduktion von Wissen | Terminologie, spezifische Fakten, Daten, Ereignisse, Namen von Personen usw.), Kategorien, Kriterien, Methoden, Prinzipien, Gesetze, Theorien usw. kennen. | Definieren, benennen, formulieren, beschreiben, eine Korrespondenz herstellen (zwischen einem Begriff und einer Definition), zeigen (finden), erkennen (finden), nacherzählen, auflisten (Features), auswählen usw. |
| 2. Wissen in einer vertrauten Situation verstehen und anwenden | Fakten, Gesetze, Prinzipien, Kriterien, Theorien verstehen; den gelesenen Text verstehen. Wissen anwenden, um qualitative und quantitative Probleme zu erklären, zu vergleichen und zu lösen; Methoden, Algorithmen, Verfahren richtig anwenden; Erstellen Sie Grafiken, Diagramme, Tabellen usw. | Erklären, korrelieren, charakterisieren (Merkmale angeben), vergleichen, feststellen (Unterschied, Abhängigkeit, Ursachen), wesentliche Merkmale hervorheben, berechnen (durch Formeln oder Algorithmus bestimmen), entscheiden, etwas nach einem vorgefertigten Schema aufstellen, entsprechend durchführen mit den Regeln, demonstrieren, messen, fortfahren/beenden (Satz), fehlende Wörter (Buchstaben) einfügen usw. |
| 3. Wissen auf eine veränderte oder ungewohnte Situation anwenden | Integrieren Sie Wissen aus verschiedenen Bereichen, um verschiedene Probleme zu lösen, zu analysieren, zu verallgemeinern, zu bewerten, zu entwerfen, Aktivitäten zu planen, zu experimentieren | Verfassen Sie eine mündliche oder schriftliche Antwort auf eine problematische Frage, schreiben Sie einen Aufsatz, führen Sie Recherchen durch, formulieren Sie eine Hypothese (Schlussfolgerungen), begründen Sie Ihren Standpunkt oder den Standpunkt des Autors, prognostizieren Sie Konsequenzen, unterscheiden Sie Fakten von Meinungen (Urteilen), Fakten von Hypothesen, Schlussfolgerungen aus Bestimmungen, Informationen analysieren, einen Fehler finden, ein Urteil äußern, die eigene Meinung, Urteile über die Übereinstimmung von Schlussfolgerungen und Tatsachen, Rückmeldung oder Überprüfung geben, ein Urteil über die Bedeutung (Rolle) von Ideen äußern, Genauigkeit (Messungen) , ein Urteil über die Qualität (Genauigkeit, Effizienz, Wirtschaftlichkeit) der geleisteten Arbeit, über die gewählte Lösungsmethode oder die verwendeten Methoden äußern, ein Modell bauen (das Modell ändern), rekonstruieren, einen Plan für eine erstellen Experiment, Geschichte, Lösung, Planänderung usw. |
So gefährlich, wie Vertreter der kritischen Richtung gerne behaupten, scheint die Situation mit dem Übergang längst nicht zu sein. Im Gegenteil, die Orientierung an den Außenaspekten der Aktivitäten der Studierenden bringt eine Reihe positiver Aspekte mit sich. Insbesondere die Herstellbarkeit der Beschreibung von Zielen steigt ins Unermessliche, wodurch es möglich wird, korrekt auf die Diagnose des Grads ihrer Erreichung umzuschalten.
Die Präzisierung der Beschreibung der Ergebnisse von Bildungsaktivitäten wird laut Klarin durch die Verwendung einer Reihe von Verben erleichtert, die die Handlungen des Schülers direkt charakterisieren. In dem Beispiel aus seiner Arbeit entfaltet sich das Ziel „die Verwendung symbolischer Symbole auf einer Wetterkarte zu studieren“ in Form einer Reihe von Lernergebnissen, die die Aktivitäten eines Schülers charakterisieren, der in der Lage sein sollte:
Reproduzieren Sie die auf der Wetterkarte verwendeten Symbole aus dem Gedächtnis;
Erstellen Sie eine Karte mit Symbolen;
In der Lage sein, eine Wettervorhersage auf einer bestimmten Karte abzugeben.
Trotz der unter russischen Theoretikern verbreiteten Meinung über die Möglichkeit, nur die Ergebnisse einer niedrigen kognitiven Ebene zu operationalisieren, unterliegen zweifellos ziemlich komplexe Ziele einer höheren Ebene dem Prozess der Operationalisierung. Dies erfordert bestimmte Fähigkeiten von denen, die die Erstellung von Tests übernehmen. Beim Erwerb solcher Fähigkeiten können Testentwickler durch eine indikative Liste von Verben unterstützt werden, die Clarin bereitstellt, um Lernziele zu konkretisieren. Wenn es notwendig ist, allgemeine Ziele zu spezifizieren, empfiehlt er die Verwendung von Verben:
analysieren, berechnen, aussprechen, demonstrieren, wissen, interpretieren, verwenden, bewerten, verstehen, transformieren, anwenden, erstellen...
um die Ziele eines Creative-Typs anzugeben -
variieren, modifizieren, modifizieren, neu anordnen, neu anordnen, vorhersagen, in Frage stellen, synthetisieren, systematisieren ...
Ziele im Bereich der mündlichen und schriftlichen Sprachentwicklung anzugeben - hervorheben, verbalisieren, aufschreiben, bezeichnen, unterstreichen (nicht wörtlich), rezitieren, ti aussprechen, lesen, in Bestandteile zerlegen, erzählen ...
Tabelle 3.2. Spezifische Lernziele
| Verallgemeinerte, vom Lehrer geplante Lernziele | Beispiele für spezifische Lernziele, die der Schüler erreicht hat |
| Wissen auf der Ebene des Auswendiglernens und der Wiedergabe | Kennt die Bedeutung der verwendeten Begriffe, Grundbegriffe und Definitionen, Formeln, Gesetze, Prinzipien |
| Wissen auf der Ebene des Verstehens | Versteht und interpretiert Begriffe, interpretiert Konzepte und Definitionen, wandelt verbales Material in mathematische Ausdrücke um, interpretiert verbales Material in Diagrammen und Grafiken |
| Fähigkeit, Wissen in einer bekannten Situation anzuwenden | Kann Begriffe, Konzepte und Definitionen in einer vertrauten Situation vorbildgerecht anwenden sowie Formeln, Gesetzmäßigkeiten und Prinzipien in einer vertrauten Situation anwenden |
| Fähigkeit, Wissen in einer unbekannten Situation anzuwenden | Wendet Gesetze und Prinzipien in neuen Situationen an, überträgt bekannte Methoden auf unbekannte Situationen |
| Analyse | Erkennt Fehler und Auslassungen in der Argumentationslogik, korrigiert unvollständige oder redundante Problemstellungen, hebt verborgene Annahmen hervor, unterscheidet zwischen Fakten und Konsequenzen |
Die nächste Stufe der Operationalisierung ist mit dem Übergang von den geplanten Lernergebnissen zu dem verbunden, was mit Mitteln der pädagogischen Messung, beispielsweise in einem Test, dargestellt werden kann. In diesem Stadium ermöglicht Ihnen die Operationalisierung, den Inhalt der Disziplin zu strukturieren, zu zerstückeln und manchmal im Gegenteil zu erweitern, zu klären und zu detaillieren, um ihn im Inhalt des Tests anzuzeigen. Es ist diese Phase, die den Übergang von der theoretischen Ebene der Analyse von Lernzielen zur empirischen Ebene sicherstellt und eine konzeptionell korrekte Herangehensweise an die Auswahl empirischer Indikatoren - Testaufgaben - ermöglicht.
Die letzte Stufe der Operationalisierung ist mit den Aufgaben der inhaltlichen Planung des Tests verbunden. Bei der Planung muss der Testautor berücksichtigen, dass aus verschiedenen Gründen nicht alle Lernziele im Testinhalt abgebildet werden können. Je tiefer und vollständiger die Zuordnung, desto höher die Inhaltsvalidität des Tests, desto mehr Grund, den Testergebnissen der Schüler zu vertrauen. Diese Schlussfolgerung ist jedoch rein theoretisch. In der Praxis muss man nicht nur an die Anforderungen der Testtechnik denken, sondern auch an die realen Möglichkeiten von Schülern eines bestimmten Alters, die die Prüfung ohne übermäßige Belastung und Ermüdung absolvieren müssen. Dabei ist der Zielkatalog so zu strukturieren, dass die wichtigsten Ziele des Bildungsprozesses in die Prüfung einbezogen werden.
Die Auswahl von Zielen unterschiedlicher Hierarchieebenen ermöglicht es Ihnen, bestimmte Themenbereiche, Abschnitte, Themen zu verdeutlichen, deren Inhalte sich im Test widerspiegeln müssen. Von hier aus bleibt ein Schritt, um den Umsetzungsgrad der Ziele zu bewerten, für die Fachkenntnisse durch Messregeln mit einer Liste von Inhaltselementen in Verbindung mit den während des Trainings geplanten gewünschten Beherrschungsniveaus dieser Elemente ausgedrückt werden. Auf diese Weise erhalten die allgemeinen Lernziele ihre Konkretisierung und es entsteht eine pragmatische Wissensdefinition der akademischen Disziplin: wenn das Subjekt bestimmte Aufgaben dieser und jener Prüfungsteile auf einem bestimmten Assimilationsniveau korrekt erfüllt.
Inhaltsplanung testen
Nachdem die Ziele des Testens definiert und spezifiziert wurden, ist es notwendig, einen Plan und eine Testspezifikation zu entwickeln. Entsprechend der gesetzten Ziele ist jeder Testgegenstand darauf ausgelegt, den Wissensstand, die Fertigkeiten oder Fähigkeiten der Testpersonen zu testen.
Bei der Entwicklung des Plans wird eine ungefähre Aufteilung des Prozentsatzes des Inhalts der Abschnitte vorgenommen und die erforderliche Anzahl von Aufgaben für jeden Abschnitt des Fachs auf der Grundlage der Bedeutung des Abschnitts und der Anzahl der für sein Studium vorgesehenen Stunden bestimmt das Programm.
Das Layout beginnt mit dem Zählen der geplanten initialen Aufgabenanzahl im Test, die sich dann im Verlauf der Testbearbeitung immer wieder nach oben oder unten verändert. Normalerweise überschreitet die Grenzzahl 60-80 Aufgaben nicht, da die Testzeit innerhalb von 1,5-2 Stunden gewählt wird und im Durchschnitt nicht mehr als 2 Minuten zur Verfügung stehen, um eine Aufgabe zu erledigen. Ein Beispiel für eine vorläufige Anordnung von Aufgaben bei der Erstellung eines Testplans zur Bewertung der Kenntnisse und Fähigkeiten von Schülern in einem der Bereiche der Algebra ist in der Tabelle dargestellt. 3.3.
Tabelle 3.3. Testplan für den Abschnitt "Algebraische Gleichungen"
| Nr. p / p | Kontrollierter Inhalt | Anzahl der Arbeitsplätze | Auftragsnummern | |
| 1 | Gleichungsdefinition | 1 | 1 | |
| 2 | Äquivalenz von Gleichungen | 3 | 4,5,31 | |
| 3 | Arten von Gleichungen | 1 | 2 | |
| Lineare Gleichungen | Lösung | 6 | 11,15-19 | |
| lernen | 1 | 7 | ||
| Lösen quadratischer Gleichungen | unvermindert | 2 | 12,26 | |
| gegeben | 2 | 24,25 | ||
| unvollständig | 4 | 20-23 | ||
| 6 | Studium der quadratischen Gleichungen | 1 | 8 | |
| 7 | Satz von Vieta | .2 | 13,14 | |
| Biquadratische Gleichungen | Lösung | 3 | 28,30 | |
| lernen | 1 | 9 | ||
| Methoden zum Lösen von Gleichungen | Auswechslung | 1 | 3 | |
| Faktorisierung | 1 | 27 | ||
| Gleichungen zweiten Grades | Lösung | 1 | 6 | |
| lernen | 1 | 10 | ||
| 11 | Aufgaben zum Erstellen algebraischer Gleichungen | 1 | 32 | |
Gewissheit bekommt der Prüfungsplan natürlich schon bei der Zielsetzung, wenn der Lehrer eine ungefähre Vorstellung davon hat, wie viele und welche Aufgaben zu verschiedenen Themen er in den Test einbauen möchte. Solche ungefähren Schätzungen sind jedoch nicht nur unerwünscht, sondern eher inakzeptabel. Der Test wird unweigerlich mit Sekundärmaterial überladen, und die Hauptfragen können übersehen werden oder es wird einfach kein Platz für sie vorhanden sein. Von hier aus ist leicht zu verstehen, wie wichtig es ist, einen solchen Plan zu entwickeln, der die Inhalte der akademischen Disziplin in den Inhalten des Tests optimal widerspiegelt.
Nach Abschluss des ersten Schrittes der inhaltlichen Planung wird eine Testspezifikation entwickelt, die den Aufbau, Inhalt des Tests und den Anteil der Items im Test festlegt. Manchmal wird die Spezifikation in einer erweiterten Form erstellt, die Angaben zur Art der Elemente enthält, die verwendet werden, um die Schülerleistungen in Übereinstimmung mit den beabsichtigten Zielen der Erstellung eines Tests zu bewerten, den Zeitpunkt des Tests, die Anzahl der Elemente, die Merkmale von Tests, die die Eigenschaften des Tests beeinflussen können usw.
Spezifikation in erweiterter Form beinhaltet 1:
1) der Zweck der Erstellung eines Tests, die Begründung für die Wahl eines Ansatzes zu seiner Erstellung, eine Beschreibung der möglichen Anwendungsbereiche des Tests;
2) eine Liste normativer Dokumente (Basisprogramme, Anforderungen an das Ausbildungsniveau der Absolventen usw.), die bei der Planung des Inhalts der Prüfung verwendet werden;
3) eine Beschreibung der allgemeinen Struktur des Tests, einschließlich einer Liste von Subtests (falls vorhanden), die Ansätze zu ihrer Entwicklung angeben;
4) die Anzahl der Aufgaben verschiedener Formen, die die Anzahl der Antworten auf geschlossene Aufgaben und die Gesamtzahl der Aufgaben im Test angibt;
5) die Anzahl der parallelen Testvarianten oder ein Link zum Cluster, der die Anzahl und Anzahl der Aufgaben des Clusters enthält;
8) das Verhältnis der Aufgaben für verschiedene Abschnitte und Arten von Bildungsaktivitäten von Schulkindern;
10) Abdeckung der Anforderungen der Standards (für Zertifizierungstests);
11) eine Liste der Anforderungen, die nicht im Test enthalten sind (für Zertifizierungstests);
1 Eine detaillierte Form der Spezifikation wurde von einem Team von Testern unter der Leitung von G.S. Kovaleva und wurde 1998-1999 verwendet. Zertifizierungstests des Russischen Zentrums für die Prüfung von Absolventen allgemeiner Bildungseinrichtungen zu erstellen.
Eine der gängigsten Vorgehensweisen bei der Erstellung einer Kurzspezifikation basiert auf der Paarung des Wissens- und Fertigkeitssystems mit dem Anteil der Aufgaben in verschiedenen Abschnitten oder in verschiedenen Inhaltssträngen der geprüften Disziplin im Test (Abschnitt 8 der Detailspezifikation ). Ein Beispiel für die Implementierung einer solchen Paarung ist in Tabelle angegeben. 3.4. Die Liste der darin vorgeschlagenen Kenntnisse und Fähigkeiten ist ziemlich allgemein. Es enthält:
A - Kenntnis von Konzepten, Definitionen, Begriffen;
B - Kenntnis von Gesetzen und Formeln;
C - die Fähigkeit, Gesetze und Formeln anzuwenden, um Probleme zu lösen;
D - die Fähigkeit, die Ergebnisse in Grafiken und Diagrammen zu interpretieren;
E - die Fähigkeit, Werturteile zu fällen.
Tabelle 3.4. Hypothetische Testspezifikation
| Nr. p / p |
Kenntnisse und Fähigkeiten, die zum Testen vorgesehen sind
Der Lehrer verwendet in seiner Arbeit aus einer Reihe von Gründen nicht immer fertige Tests, einer der Hauptgründe ist das einfache Fehlen hochwertiger Tests verschiedener Art. Daher ist es oft erforderlich, dass der Lehrer bestimmte Tests selbst entwickelt und diesbezüglich die Methodik für deren Erstellung besitzt. Lassen Sie uns auf einige seiner Momente eingehen.
Sie müssen wissen, dass die Erstellung standardisierter Tests ein langer und mühsamer Prozess ist. Der Einführung von Tests gehen Vorarbeiten zu deren Erstellung und Prüfung voraus. Bei der Entwicklung von Tests werden drei Komponenten unterschieden: Theorie, Praxis und Experiment (Abb. 3.1.).
Der theoretische Teil der Arbeit umfasst das Studium der Literatur, auf deren Grundlage die Entwicklung von Tests, der Inhalt und die Anforderungen von Programmen und Lehrbüchern durchgeführt werden. Hier werden die Struktur der Tests, ihre charakteristischen Merkmale, Zeichen und Qualitätsindikatoren bestimmt, die Methoden der mathematischen Statistik, die im experimentellen Teil benötigt werden, werden hervorgehoben.
Bei der Durchführung der Praxisphase werden dem Prüfling und dem Prüfer Anweisungen erteilt, Prüfungsaufgaben vorbereitet und beantwortet. Ein wichtiger Platz wird der elementweisen Struktur- und Funktionsanalyse von Unterrichtsmaterial eingeräumt. Als Ergebnis werden die Elemente des Wissens, der Fertigkeiten und Fähigkeiten hervorgehoben, die für die Bewältigung des Unterrichtsmaterials notwendig sind und die größte Anwendbarkeit haben. Daher werden Tests auf der Grundlage der Einbeziehung der wichtigsten semantischen Teile des Lerninhalts erstellt, dh der erforderlichen Konzepte, Definitionen, Fakten, Operationen und Algorithmen. Dies berücksichtigt den Grad der Bildung verschiedener mentaler Operationen bei Schülern (Analyse, Synthese, Konkretisierung, Verallgemeinerung, Vergleich usw.) basierend auf den Altersmerkmalen der Probanden. Besonderes Augenmerk wird auf die Besonderheiten und die Art typischer Fehler von Testteilnehmern gelegt, auf deren Grundlage Antworten auf Testaufgaben zusammengestellt werden.
In der praktischen Phase der Testentwicklung findet die erste Bewertung der Bewertungsskala statt und es wird der Mechanismus zur Übertragung der Punktzahl in die resultierende Note betrachtet.
In der praktischen Phase werden auch Anweisungen für Lehrer und Testteilnehmer sowie Antwortbögen entwickelt.
Tabelle 3.1. Technologie zur Gestaltung didaktischer Tests
|
Theoretische Stufe |
Praktische Phase |
Pilotphase |
|
||
|
||
|
||
|
Basierend auf den theoretischen und praktischen Phasen wird eine experimentelle Phase der Testentwicklung aufgebaut. Dabei wird die inhaltliche Qualität der Tests bewertet, die Übereinstimmung der Aufgaben mit den Anforderungen der Testform überprüft, die statistischen Eigenschaften der entwickelten Tests offengelegt und Rückschlüsse auf die Eignung der Tests für das angestrebte Ziel gezogen Zwecke.
In der experimentellen Phase der Testentwicklung ist es oft notwendig, zu den vorherigen Phasen zurückzukehren, daher sind alle drei Phasen – Theorie, Praxis und Experiment – eng miteinander verbunden und beeinflussen sich gegenseitig (siehe Abb. 3.1.).
Die Technologie zur Entwicklung didaktischer Tests wird in Tabelle 3.1 ausführlicher dargestellt.
Das Erstellen von Tests ist ein langwieriger Prozess, der die Arbeit eines Teams von Spezialisten (Methodologen, Psychologen, Statisten usw.) erfordert, und gleichzeitig ist die Nachfrage nach Tests, die von praktizierenden Lehrern für eine bestimmte Klasse in einer Schule entwickelt wurden, ziemlich hoch . In dieser Hinsicht ist es ratsam, dass der Lehrer bei der Entwicklung von Tests die folgenden Empfehlungen befolgt.
Memo an den Lehrer über die Entwicklung des Tests
Definieren Sie die Testziele.
Heben Sie die Kenntnisse, Fähigkeiten und Fertigkeiten hervor, die durch das Programm bestimmt werden, und geben Sie Auskunft über den Grad der Assimilation des betrachteten Themas oder Abschnitts.
Bestimmen Sie die Arten von Testaufgaben, die den zugeordneten Kenntnissen, Fertigkeiten und Fähigkeiten entsprechen.
4. Prognostizieren oder heben Sie objektive (pädagogische) und subjektive (psychologische und methodische) Schwierigkeiten hervor und identifizieren Sie typische Fehler von Schülern beim Studium des Themas, analysieren Sie die Gründe für ihr Auftreten. Verwenden Sie diese Arbeit, um Distraktoren für Testaufgaben zusammenzustellen.
Entwickeln Sie eine Reihe von Testaufgaben, um das Thema zu meistern.
Führen Sie eine Untersuchung von Testelementen durch, indem Sie Ihre Kollegen einladen, ihre Meinung zum Test zu äußern.
Nehmen Sie bei Bedarf Anpassungen an den Tests vor.
Entwickeln Sie Bewertungskriterien, eine Methode zur Verarbeitung der Ergebnisse, erstellen Sie eine geeignete Skala zur Umwandlung eines Testergebnisses in eine Bewertung der Schulleistung.
Entwickeln Sie Anweisungen für den Lehrer und Anweisungen für die Schüler zur Arbeit mit dem Test.
Lesen Sie auch:
|
Die Erstellung eines psychodiagnostischen Verfahrens ist ein komplexer, mehrstufiger Prozess. Ohne im Rahmen dieses Artikels den Anspruch zu erheben, die Präsentation dieser Ausgabe zu vervollständigen, werde ich die wichtigsten Etappen mit einer kurzen Beschreibung ihres Inhalts herausgreifen. Es sollte gleich darauf hingewiesen werden, dass der Gegenstand der Aufmerksamkeit eine diagnostische Technik (Testfragebogen) sein wird, da für eine andere Klasse von Techniken – Forschung, projektive, klinische – andere Anforderungen an die Erstellung und Prüfung bestehen.
Die Erstellung eines psychodiagnostischen Verfahrens beschränkt sich nicht auf die Überprüfung einzelner psychometrischer Eigenschaften – Repräsentativität, Reliabilität, Validität, Reliabilität usw. Die primäre Arbeit in dieser Richtung beginnt mit einer tiefen theoretischen Untersuchung der Grundlagen des Fachs, mit der Klärung methodischer, konzeptioneller Ansätze zu seiner Untersuchung. Vor der Entwicklung eines Messverfahrens muss es erstellt werden das Konzept einer gemessenen geistigen Eigenschaft, bauen Sie sein Modell. Eine gründliche theoretische Vorbereitung ist die Voraussetzung für eine erfolgreiche Arbeit an der Erstellung einer Methodik, die alle Qualitätskriterien erfüllt. Wir können sagen, dass es notwendig ist, eine grundlegende theoretische Studie durchzuführen, bevor man zur Technologie der Entwicklung einer Methodik übergeht.
Wenn Sie der Logik der Studie folgen, müssen Sie sie mit der Definition beginnen Probleme. Dies ist der erste Schritt bei der Erstellung einer Methodik. Ein Problem ist ein Problem, für das es keine Lösung gibt oder das mehrdeutige Lösungen beinhaltet. Probleme können sowohl durch objektive Bedingungen, eine reale Situation als auch das Ergebnis der eigenen Tätigkeit des Forschers entstehen. Die Probleme der Diagnostik werden in der Regel angewandt und auf die praktische Lösung von Problemen ausgerichtet, die in einer realen sozialen Situation aufgetreten sind. Der Forscher muss bedenken, dass nicht alle Probleme gelöst werden können. Neben realen Problemen, die Gegenstand der direkten Anwendung der Bemühungen des Forschers sind, gibt es eine Kategorie von Problemen, die mit den Mitteln der modernen Wissenschaft nicht gelöst werden können, sowie „Pseudoprobleme“. Wie bereits erwähnt, sind diagnostische Probleme echte Probleme, die ihre eigenen angewandten Lösungen erfordern. Nehmen wir an, das Problem der Schulangst kann als Beispiel angeführt werden. Dieses Problem ist ein Beispiel für ein bereits operationalisiertes Problem, übersetzt, umrahmt in Bezug auf ein bestimmtes Wissenschaftsgebiet. Manchmal muss der Forscher diese Aufgabe noch erledigen.
Der nächste Schritt bei der Entwicklung einer psychodiagnostischen Technik wird die Bestimmung sein Gegenstand der Diagnose. Das Subjekt ist im operationalisierten Problem implizit vorhanden. Das Subjekt ist das, was zum direkten Messobjekt wird, was die geschaffene Methodik messen wird. Das Subjekt wird traditionell definiert als die Seiten, Eigenschaften und Beziehungen eines Objekts, die in der Erfahrung fixiert sind und für einen bestimmten Zweck unter gegebenen Bedingungen untersucht werden. Das Objekt existiert als Konzept. In unserem Fall wird der Gegenstand der Diagnose das Phänomen der Angst sein, das durch den psychologischen Begriff „Angst“ repräsentiert wird.
Der nächste Schritt ist die Bestimmung Begriffsgrenzen(Phase der Klärung des Themas). Dieses Vorgehen erfolgt durch eine Differenzanalyse des betrachteten Begriffs mit bedeutungsnahen und gegensätzlichen Begriffen. Eine der Möglichkeiten, einen Begriff zu definieren, ist der in der Logik akzeptierte Vergleich mit Hilfe von Euler-Kreisen - Bildern durch Kreise von Beziehungen zwischen den Volumina von Begriffen. Der Kreis zeigt in diesem Verfahren den Umfang eines bestimmten Konzepts. In unserem Fall müssen neben den Begriffen Angst und Angst auch Begriffe wie Angst, Angst usw. berücksichtigt werden.
Der nächste Schritt im Design der Methodik betrifft die Verfeinerung phänomenales Konzeptfeld. Dazu ist es notwendig, das im Begriff dargestellte Phänomen so detailliert wie möglich zu beschreiben, um ein möglichst vollständiges Bild dieses Phänomens zu erhalten. Dies geschieht in der Regel durch die operationale Definition des Begriffs. Eine operationale Definition ist eine detaillierte Darstellung der Operationen, die erforderlich sind, um ein Konzept darzustellen und zu messen. Abstrakte Konzepte wie Intelligenz, Selbstwertgefühl, Gedächtnis, Lernen, Kreativität usw. werden in der Psychologie häufig verwendet. Es ist notwendig, sie zu operationalisieren, dh alle möglichen objektiven Wege der Manifestation des betrachteten Konzepts zu beschreiben. In der objektiven Diagnostik, die ein Testfragebogen ist, werden nur solche Methoden der Manifestation eines Begriffs verwendet, die tatsächlich zumindest in der Beobachtung mit Hilfe unserer Sinne fixiert werden können.
In der nächsten Phase müssen aus den ausgewählten objektiven Manifestationsweisen des Konzepts die wichtigsten ausgewählt werden, die die Rolle spielen werden Kriterien zur Erkennung (Diagnostik) Fach. Kriterium (Mittel zur Beurteilung) - ein Zeichen, auf dessen Grundlage eine Bewertung, Definition oder Klassifizierung von etwas vorgenommen wird, ein Bewertungsmaß. Die Kriterien des gemessenen Konzepts sollten wesentliche, zuverlässige und objektive Zeichen seiner Manifestation sein. Sie werden sich in Fragen oder Aussagen widerspiegeln, die den Inhalt des Stimulusmaterials der Methodik bilden. Somit wird diese Phase mit der Auswahl von Kriterien verbunden, nach denen das Subjekt diagnostiziert wird.
In der nächsten Phase der Erstellung einer Methodik Wahl der Methodenform. Die Form der Technik wird durch die Besonderheiten des diagnostischen Faches und der Forschungsziele bestimmt. Die Technik kann in Form eines Testfragebogens (wie in unserem Fall), einer projektiven Technik, einer klinischen Technik usw. gestaltet werden. Jede der vorgestellten Formen hat ihre eigenen Besonderheiten, charakteristische Anforderungen an Qualitätskriterien. Gleichzeitig erfolgt die Auswahl des Stimulusmaterials. Stimulusmaterial kann in unserem Fall in Form von Fragen oder Statements präsentiert werden. Aussagen wiederum können persönlich und unpersönlich sein.
Nach Bestimmung der Form des Reizmaterials wird dieses ausgewählt. Auswahl Gehalt an Reizmaterial erfolgt aus jenem phänomenalen Feld des Konzepts, das das Ergebnis vorangegangener Arbeiten unter Berücksichtigung der gewählten Kriterien für das Thema Diagnostik war. Die Qualität der einzelnen Aufgaben (Fragen, Aussagen) ist entscheidend für den gesamten Testfragebogen, daher müssen bei der Entwicklung von Testaufgaben die häufigsten Probleme berücksichtigt werden, die zu einer geringen Aussagekraft führen können.
Bei der Auswahl einzelner Aufgaben (Fragen, Aussagen) ist eine Festlegung erforderlich Effizienzindex jeder von ihnen. Dazu können Sie auf die Methode der Experten zurückgreifen. Der Kern dieser Methode liegt darin, dass mehrere Spezialisten eines bestimmten Fachgebiets (5-7 Personen) gebeten werden, die Liste der vorgeschlagenen Aufgaben aus dem Stimulusmaterial auf ihre Gültigkeit, dh die Angemessenheit des gemessenen Themas, zu bewerten eine Bewertungsskala (3-, 5-, 7- Standard). Diejenigen Aufgaben, die von allen oder den meisten Experten hohe Punktzahlen erhalten, haben Expertenvalidität und können zur Aufnahme in den Fragebogen empfohlen werden. Pilotforschung kann als eine weitere Strategie zur Auswahl von Stimulusmaterial verwendet werden. Die Durchführung einer Pilotstudie beinhaltet die Durchführung von Testaufgaben durch Personen, die ähnliche Eigenschaften aufweisen wie diejenigen, für deren Diagnose sie entwickelt wird. Die Analyse der erhaltenen Daten ermöglicht es dem Testentwickler, die besten Aufgaben für die endgültige Version des Fragebogens auszuwählen. Die Probeprüfung wird an einer repräsentativen Stichprobe durchgeführt. Die Mindeststichprobengröße sollte doppelt so groß sein wie die Anzahl der Aufgaben. Als nächstes wird jede der Aufgaben des Stimulusmaterials unter dem Gesichtspunkt betrachtet, wie alle Probanden darauf geantwortet haben. Bei der Auswahl orientieren sich die Entwickler an folgender Regel: Die Aufgaben (Fragen, Aussagen), die von der Mehrzahl der Fächer eindeutig benotet werden, bestehen nicht. Wenn beispielsweise alle Probanden eine der Fragen mit „Ja“ beantwortet haben, wird sie nicht in den zukünftigen Fragebogen aufgenommen, da sie nicht die individuellen Merkmale des Probanden widerspiegelt, sondern auf eine allen gemeinsame Eigenschaft abzielt. Der Leistungsindex für jede Aufgabe sollte zwischen 0,25 und 0,75 liegen und sich einem Durchschnitt von 0,5 für den gesamten Fragebogen nähern. Neben dem Leistungsindex ist auch die Diskriminanz der Aufgabe zu ermitteln – es wird überprüft, ob einzelne Aufgaben (Fragen, Aussagen) die gleichen Eigenschaften messen wie andere. Um die Diskrimination von Aufgaben zu bestimmen, wird der Korrelationskoeffizient jeder Aufgabe mit der Gesamtpunktzahl des gesamten Tests verwendet. Je höher der Korrelationskoeffizient, desto höher die Berufsdiskriminierung, desto besser ist sie. Der minimale Korrelationskoeffizient sollte 0,2 betragen. Zur Berechnung dieses Indikators wird am häufigsten der Koeffizient des Produkts der Pearson-Momente verwendet.
Ein wichtiger Punkt bei der Entwicklung von Reizmaterial ist die Auswahl Fragebögen.
Nachdem die Aufgaben für den Testfragebogen ausgewählt sind, gilt es, sich um dessen zu kümmern Glaubwürdigkeit. Diese Eigenschaft der Methodik (im Fall von Fragebögen) scheint ziemlich wichtig zu sein und ist eines der Kriterien für ihre Qualität. Meistens wird die Zuverlässigkeit durch die Aufnahme einer Korrekturskala (Lügenskala) in den Inhalt des Stimulusmaterials gewährleistet.
Ein wichtiger Schritt bei der Schaffung einer psychodiagnostischen Technik ist Weiterentwicklung von Anweisungen. Die Instruktion wird schriftlich verfasst, da die paralinguistischen Komponenten des Forschers in die mündliche Instruktion einfließen: Mimik, Gestik, Intonation, Pausen etc. Außerdem wird die mündliche Unterweisung vergessen, während der Proband im Zuge der Bearbeitung der Prüfungsaufgaben ggf. zur schriftlichen Unterweisung zurückkehren kann. Die Belehrung sollte einfach und für den Probanden verständlich sein, darf keine für den Probanden unverständlichen Fachausdrücke, mehrdeutige Wörter und Ausdrücke enthalten. Es sollte angeben, wie man eine Antwort auswählt und wie man sie im Fragebogen markiert. Die Anweisungen sollten Informationen hervorheben, die dem Probanden helfen können, effektiv zu arbeiten, wie z. B. die Vertraulichkeit der Studie. Die Hauptfunktionen, die der Unterricht erfüllen sollte, sind: Informieren und Motivieren.
Die Entwicklung der Anweisung schließt die Phase der Testerstellung ab. Die nächste Stufe wird ihrer Überprüfung der Einhaltung von Qualitätskriterien sowie ihrer Standardisierung und Anpassung gewidmet sein.
Die Hauptkriterien für die Qualität eines Diagnoseverfahrens sind Gültigkeit Und Verlässlichkeit. Diese Testeigenschaften sind ein notwendiges Attribut eines diagnostischen Tests. Eine Technik, die die Gültigkeits- und Zuverlässigkeitstests nicht bestanden hat oder die Anforderungen für diese Qualitäten nicht erfüllt, kann nicht als diagnostisches Werkzeug verwendet werden, obwohl sie für Forschungszwecke verwendet werden kann.
Die letzte Stufe in der Entwicklung einer psychodiagnostischen Technik ist ihre Standardisierung Und Anpassung. Die Diagnosetechnik unterscheidet sich von der Forschungstechnik dadurch, dass sie standardisiert ist. Die Standardisierung der Methodik umfasst zwei Phasen:
1. Entwicklung einheitlicher Anforderungen an das Prüfverfahren. Diese Phase umfasst die Vereinheitlichung der Methoden zur Erfassung von Ergebnissen, der Bedingungen für Anweisungen, Studienformen und Tests.
2. Definition eines einzigen Kriteriums zur Bewertung der Ergebnisse. In dieser Phase werden die Testnormen festgelegt.
Die Verwendung von Testnormen in der Psychodiagnostik basiert auf der Übertragung von Testergebnissen von der „Rohskala“ auf die Standardskala. Dieses Verfahren wird aufgerufen Standardisierung der Testergebnisse. Prüfnorm- Dies ist das durchschnittliche Ausdrucksniveau der untersuchten Qualität, das anhand einer großen Stichprobe von Personen ermittelt wurde.
Für Testfragebögen werden statistische Testnormen entwickelt. Um sie zu berechnen, greifen sie auf Methoden der mathematischen Statistik zurück. Die Normen für jede Gruppe sollten in Form von Durchschnittswerten und einem Indikator für die durchschnittliche Abweichung dargestellt werden. Das Ergebnis der Standardisierung des Tests ist die Erstellung einer Umrechnungstabelle zur Umrechnung von "Roh"-Ergebnissen in Standardwerte gemäß einer vorgegebenen Skala. Es bietet eine vollständige Auflistung der Entsprechungen zwischen den Intervallen der Rohskala und den Intervallen der Standardskala. Die Prüfnorm sollte alle 5 Jahre überprüft werden. In der Beschreibung des Tests muss für jede darin enthaltene Norm angegeben werden: wo, wann, wie und bei wem sie installiert wurde.
Abschließend möchte ich sagen, dass man sich bei der Versuchsplanung nicht auf mathematische Berechnungen beschränken sollte. Mathematische Modelle in der Psychodiagnostik können die Entwicklung theoretischer Konstrukte, der Grundlagen der Forschung, nicht ersetzen. Ohne eine vollständige psychologische Beschreibung des gemessenen Konstrukts, ohne die Formulierung von Hypothesen über seine Ergebnisse, wird der Prozess der Erstellung eines Tests zu einer Übung in mathematischer Statistik.
Seite 21 von 25
Die Hauptphasen der Erstellung eines pädagogischen Tests
Probleme bei der Fragebogengestaltung.
Bei der Entwicklung von Items für Fragebögen sollten die folgenden Probleme berücksichtigt werden, die, wenn sie nicht vermieden werden, zwangsläufig zu einer geringen Validität der Tests führen.
1. Einstellung zur Einwilligung. Dies ist die Tendenz des Subjekts, Aussagen zuzustimmen oder Fragen mit „Ja“ zu beantworten, unabhängig von deren Inhalt. Meistens manifestiert es sich, wenn Aussagen (Fragen) mehrdeutig und vage sind.
2. Installation auf sozial anerkannten Antworten. Dies ist die Tendenz von Probanden, Testfragen auf eine Weise zu beantworten, die „sozial positiv“ erscheint: Wenn eine „sozial erwünschte“ Antwort möglich ist, dann ist es sehr wahrscheinlich, dass die Probanden sie geben werden.
3. Einstellung für unbestimmte oder durchschnittliche Antworten. Wenn der Fragebogen die durchschnittliche Antwortkategorie darstellt, was Unentschlossenheit oder Unsicherheit in der Antwort widerspiegelt (z
„nicht sicher“, „weiß nicht“ oder „schwierig zu beantworten“), tendieren viele Versuchspersonen dazu, auf sie als sicheren Kompromiss zurückzugreifen. Dies führt zu einer Abnahme der Validität, da die meisten Methoden der Frageanalyse auf Extremwerten von Indikatoren basieren.
4. Installation auf den "extremen" (an den Rändern der Skala) Antworten. Diese Einstellung kann sich bei Verwendung einer Bewertungsskala mit mehreren Elementen manifestieren. Einige Probanden bevorzugen unabhängig vom Inhalt der Fragen extreme Antworten.
5. Offensichtliche Gültigkeit von Fragen. Zweifellos ist bei Persönlichkeitstests Vertrauen erforderlich, dass die Antworten auf die Fragen als wahrheitsgemäß angesehen werden können.
6. Probleme bei der Festlegung eines angemessenen Gültigkeitskriteriums. Es ist sehr schwierig, ein angemessenes Kriterium zu finden.
Dies sind die Hauptschwierigkeiten bei der Gestaltung von Fragebögen, und Sie sollten sie klar verstehen, bevor Sie mit der Formulierung von Fragen oder Aussagen beginnen. Die letzten beiden Probleme, obwohl sie entscheidend sind, treten nach der Auswahl der Testgegenstände in den Vordergrund.
Der Prozess der Erstellung eines Tests, seiner wissenschaftlichen Fundierung, Bearbeitung und Verbesserung lässt sich in mehrere Phasen gliedern.
1. Bestimmung des Testzwecks, Auswahl der Testart und des Ansatzes zu seiner Erstellung.
2. Analyse des Inhalts des untersuchten Phänomens (Qualität).
3. Festlegen der Struktur des Tests und der Strategie zur Anordnung der Aufgaben.
4. Entwicklung der Testspezifikation, Wahl der Testdauer und des Zeitpunkts ihrer Durchführung.
5. Erstellung von Pretest-Aufgaben.
6. Auswahl der Aufgaben im Test und deren Rangordnung gemäß der gewählten Präsentationsstrategie basierend auf a priori Schätzungen des Autors zur Schwierigkeit der Aufgaben.
7. Prüfung des Inhalts von Pre-Test-Aufgaben und Tests.
8. Prüfung der Form der Vortestaufgaben.
9. Inhaltliche und formale Überarbeitung von Aufgaben auf Basis der Prüfungsergebnisse.
10. Entwicklung einer Testmethodik für die Approbation.
11. Entwicklung von Anweisungen zum Testen des Tests.
12. Durchführung von Approbationstests.
13. Sammlung empirischer Ergebnisse
14. Statistische Verarbeitung von Testergebnissen.
15. Interpretation der Verarbeitungsergebnisse zur Verbesserung der Testqualität. Überprüfung der Testleistung anhand evidenzbasierter Qualitätskriterien.
16. Korrektur des Inhalts und der Form der Aufgaben auf der Grundlage der Daten der vorherigen Stufe. Bereinigung des Tests und Hinzufügen neuer Items, um den Wertebereich für den Schwierigkeitsparameter zu optimieren und die Backbone-Eigenschaften der Test-Items zu verbessern. Optimierung der Testlänge und Ausführungszeit. Optimierung der Reihenfolge der Aufgaben im Test.
17. Wiederholen Sie die Testphase, um die Qualität des Tests zu verbessern.
18. Interpretation der Verarbeitungsdaten, Festlegung von Testnormen und Erstellung einer Skala zur Bewertung der Ergebnisse der Probanden.
Es entsteht eine Art Kreislauf, da der Entwickler nach der Reinigung des Tests in die Phase der Erhebung empirischer Daten zurückkehren muss, und zwar in der Regel nicht einmal, sondern zwei, drei oder mehr. In gewisser Weise ist dieser Zyklus endlos, aber nicht, weil alle Aufgaben schlecht sind und der Entwickler nicht genug Erfahrung in der Erstellung eines Tests hat. Der Prozess des Designens eines Tests ist ziemlich schwierig, da ein umfassender Ansatz erforderlich ist, um die Qualität des Tests und die Eigenschaften von Testobjekten zu bewerten, um ihre systembildenden Eigenschaften zu überprüfen.
Darüber hinaus können wir davon ausgehen, dass das Problem der optimalen Auswahl der Zusammensetzung des Tests keine einheitliche Lösung hat, da hier nicht alles von der Qualität des Testmaterials bestimmt wird, sondern vieles noch vom Vorbereitungsgrad eines Tests abhängt Gruppe von Studenten. Aufgaben, die bei einer Stichprobe von Schülern funktionieren, können bei einer anderen nutzlos sein, da sie entweder zu einfach oder zu schwierig sind und kein einziger Schüler in der Gruppe sie richtig ausführen wird.
Der Erfolg der Testerstellung hängt maßgeblich von der hohen Qualität des initialen Testmaterials ab, die durch die richtige Auswahl der zu prüfenden Inhalte und die Fähigkeit des Entwicklers, diese in den Testitems korrekt darzustellen, sichergestellt wird. Von großer Bedeutung ist die Phase der Verarbeitung empirischer Testergebnisse, für die zur professionellen Testentwicklung spezielle Softwaretools benötigt werden.
Natürlich ist es bei weitem nicht immer notwendig, bei der Erstellung von Tests ein professionelles Qualitätsniveau zu erreichen, insbesondere wenn wir die allgemeinen Ziele außer Acht lassen. In den täglichen Aktivitäten des Lehrers werden Tests unterschiedlicher, manchmal niedriger Qualität benötigt, die sich auf die Aufgaben der Stromkontrolle konzentrieren. Die Erfüllung der letzten Aufgabe liegt durchaus in der Macht eines einzelnen Lehrers oder einer Gruppe von Lehrern. Aber auch in diesem Fall können Sie auf Basis des minimalen mathematischen Apparats eine Reihe von Berechnungen selbstständig durchführen und so von der Vortestaufgabe zum eigentlichen Test deutlich vorankommen.
Während der Datenerhebungsphase ist besonders darauf zu achten, dass das Vorgehen zur Durchführung des Tests einheitlich ist. Die Standardisierung dieses Verfahrens betrifft die Bildung einer repräsentativen Stichprobe von Probanden, eine ordnungsgemäße Instruktion, die Wahl des optimalen Testzeitpunkts, hochwertige Materialien und eine geeignete Umgebung. Der Schulung von Lehrern, die Tests durchführen, sollte einige Aufmerksamkeit geschenkt werden, um Maßnahmen zu ergreifen, um Betrug während des Tests zu verhindern. Die geringste Abweichung von den Anforderungen der Normung führt zu einer Abnahme der Zuverlässigkeit der empirischen Testergebnisse. Zusätzlich zu diesen können viele andere, weniger offensichtliche Faktoren die Ergebnisse eines Tests beeinflussen. Im Allgemeinen ist es notwendig, um die Erhebung zuverlässiger empirischer Daten zu gewährleisten:
Befolgen Sie beim Sammeln empirischer Daten genau die Standardisierungsverfahren;
Registrieren Sie alle nicht standardmäßigen Bedingungen, die zu Abweichungen von den Standardisierungsanforderungen führen;
Berücksichtigen Sie bei der Interpretation eines Tests nicht standardmäßige Testbedingungen.
Von großer Bedeutung ist die Entwicklung korrekter Anweisungen für die Durchführung des Tests, die sowohl für den Lehrer, der den Prozess der Durchführung des Tests leitet, als auch für die Schüler, die den Test absolvieren, erstellt werden sollten.
Die Anweisungen für den Lehrer enthalten Empfehlungen zur Vorbereitung einer Gruppe von Schülern auf den Test, die ungefähren Aufgaben des Lehrers in der Testphase und Empfehlungen zur Erstellung eines kurzen Berichts über das abgeschlossene Testpräsentationsverfahren.
Im Allgemeinen benötigt der Lehrer vor dem Testen Folgendes.
1. Erklären Sie, warum der Test erforderlich ist und welche Ergebnisse erwartet werden.
2. Erklären Sie, warum sich die Probanden anstrengen sollten, um es zu erfüllen, lenken Sie die Aufmerksamkeit der Probanden auf die Möglichkeit, ihre Stärken zu testen, und betonen Sie das Wettbewerbsmotiv. Gleichzeitig ist zu beachten, dass sowohl eine zu starke als auch eine schwache Motivation die Wirksamkeit des Tests gleichermaßen negativ beeinflusst.
3. Lesen Sie langsam und deutlich die Anweisungen für den Test mit Beispielen, falls vorhanden. Eine Situation ist möglich, wenn die Probanden den Anweisungen gemäß ihren Testoptionen selbstständig folgen und der Lehrer sie vorliest oder aus dem Gedächtnis wiedergibt.
4. Geben Sie den Probanden Gelegenheit zum Üben, indem Sie eine oder mehrere Beispielaufgaben selbst lösen, falls vorhanden. Überprüfen Sie anhand der Ergebnisse der Mustertestaufgaben, ob die Unterweisung richtig verstanden wurde.
5. Informieren Sie über die temporäre Ressource, über die Regeln zur Korrektur von Fehlern, sagen Sie, was bei der Ausführung von Aufgaben nicht empfohlen wird und an wen Sie sich bei Fragen wenden können.
6. Tragen Sie zusammen mit den Probanden ggf. Pass- und Lebensdaten in die Anmeldeformulare ein und achten Sie auf deren korrektes Ausfüllen.
7. Beantworten Sie die verfügbaren Fragen, bevor Sie mit dem Test beginnen.
8. Verteilen Sie den Test.
9. Geben Sie den Befehl zum Starten der Tasks. Erfassen Sie die Startzeit selbst oder bitten Sie die Probanden auf dem Anmeldeformular darum.
10. Befolgen Sie während der Ausführung von Aufgaben:
ggf. hinter der Ausführungszeit einzelner Subtests, wie z. B. bei der Durchführung von Speedtests;
Hinter dem Vorhandensein von gespitzten Bleistiften und anderen Materialien;
Für die Richtigkeit des Ausfüllens des Passteils der Registrierungsformulare (wenn ein Fehler bemerkt wird, korrigieren Sie ihn rechtzeitig);
Sicherstellen, dass die Probanden nur dann auf Testbroschüren schreiben, wenn dies erforderlich ist;
Um sicherzustellen, dass die Nachbarn nicht kommunizieren, sich nicht gegenseitig stören, nicht gucken;
Für den Stand der Fächer;
Um sicherzustellen, dass die Probanden in Situationen, die mit dem Verfahren zusammenhängen, rechtzeitig Antworten auf Fragen erhalten, die von der Anweisung zugelassen werden.
11. Geben Sie nach dem Signal für das Ende der Testaufgaben während der Gruppentests das Kommando, die Broschüren und Antwortbögen in ihre ursprüngliche Position zu falten oder selbst zusammenzubauen (wenn nicht mehr als 30 Personen teilnehmen). Bei mehr als 30 Testteilnehmern empfiehlt es sich, alle zu bitten, auf ihren Plätzen zu bleiben und die Testunterlagen in folgender Reihenfolge an den Anfang der Reihe weiterzugeben: Antwortbögen, Broschüren, Entwürfe. Zählen Sie danach die Anzahl der Formulare und Broschüren.
12. Überprüfen Sie am Ende des Tests alle Broschüren und löschen Sie die Markierungen darin.
| Inhaltsverzeichnis |
|---|
| Pädagogische Diagnostik im Bildungsprozess. |
| DIDAKTISCHER PLAN |
| Das Konzept der pädagogischen Diagnostik |
| Historische Aspekte der Entstehung von Diagnostik als spezifischer Wissensform |
| Persönlichkeit als Gegenstand pädagogischer Diagnostik |
