Presentation is loading. Please wait.

Presentation is loading. Please wait.

The Implementation of National Educational Standards in Austria

Similar presentations


Presentation on theme: "The Implementation of National Educational Standards in Austria"— Presentation transcript:

1 The Implementation of National Educational Standards in Austria
Michael Bruneforth BIFIE - Austrian Federal Institute for Education Research, Innovation and Development of the Austrian School System EURASIAN EDUCATIONAL DIALOGUE April, Yaroslavl

2 BIFIE - Austrian Federal Institute for Education Research, Innovation and Development of the Austrian School System Areas of work International Studies (PISA, TIMSS, PIRLS, TALIS) Implementation of national education standards Formative and summative Evaluation of standards Central examination for upper secondary education preparing for tertiary education National Education Reports

3 Spotlight on Austrian education
Very rich country (4th highest GDP per Capita in EU) High expenditure per student (140% of EU Average) in primary and secondary education Low student teacher ratio and class size But PISA shock in 2003 and 2009: Very low PISA results in reading (470, similar to Russia 459), no EU country scores less Strong relation between education outcomes and family background

4 Changing in paradigm in educational governance
Since more than a decade there is a change in governance of schools and education in German speaking countries from input oriented control to evidence based output oriented governance and extension of school autonomy In Austria at the centre is shift towards competence oriented teaching based on the definition of nationwide compulsory education standards and a mechanism of formative and summative evaluation

5 Legal Basis and Conditions
From 2004: pilot phase with selected pilot schools 2008: alteration of the law of teaching in schools to allow for introduction of educational standards 2009: educational standards become compulsory for German, Math and English 2009 (grade 8) and 2010 (grade 4): baseline-tests in samples of about students each From 2012 onwards yearly assessment of national standards (one subject per year)

6 Annex of the legal regulation
Competency Models and descriptors are formulated as Can-Do-Statements Competency Models and descriptors are legally established Educational Standards can be interpreted as mandatory and agreed upon social objectives of instruction Educational Standards are derived from national curricula and clearly define learning outcome. UIB Ist hier Konzeption gemeint, oder „Anlage zur Verordnung“?

7 Areas covered German (language of instruction) – grades 4 & 8
Listening & Speaking Reading Writing texts Spelling/Grammar Math – grades 4 & 8 4 content dimensions 4 process dimensions details of the math competency model are described later English, grade 8 Listening Reading Speaking Writing English Assessment: Common European Framework of Reference for Languages (CEF)

8 Competencies are … „fashionable term with a vague meaning“ (Weinert 2001) „cognitive prerequisites to coping with a specific range of situations“ (Klieme, Hartig & Rauch, 2008) „cognitive abilities and skills available to/acquired by individuals that enable them to solve specific problems, as well as the related motivational, volitional and social readiness and skills to utilize the solutions successfully and responsibly in variable situations“ (Weinert, 2002)  BIFIE use: subject (domain) specific competency models, focusing on cognitive skills and proficiencies What are competencies? „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“ (Weinert, 2002) Übersetzung an die bei Klieme angepasst Die Begrenzung auf domain specific c. models wird bei Klieme begründet: „experts assume that comptencies can be measured and studied only in relationship to performance and only in situations where concrete demands have been expressed. Accordingly, they are to a large degree domain- specific“.

9 Competency Models Models of competence structures Dimensions of competence: E.g. TIMSS, grade 8: 4 content domains (number, algebra, geometry, data and chance); 3 cognitive domains (knowing, applying, reasoning) Models of competence levels Describe specific skills and proficiencies usually shown by individuals located at specific points of the ability continuum Used to provide a criterion-referenced interpretation of measurement results (Schweizer, 2006) Niveaumodelle: auch construct maps (Wilson 2008) – siehe Klieme et al 2008 Example for M8 in later slide Example for use of both models side by side later „ideally complementary“, as those 2 models relate to different aspects of competence constructs (Klieme, Hartig & Rauch, 2008)

10 Models of competence structures Models of competence levels
Competency Models Models of competence structures Models of competence levels Development models Models describing the acquisition of skills and proficiencies May be linked to neurological/psychological theories of development Only a few exist Would be great to have a theoretical foundation for tests in different grades! (IKM – BIST) IKM – Informelle Kompetenzmessung (informal competence measurement) Carried out in grades 3, 6 and 7 (so far) Same subjects as BIST Model determined by purpose: eg. test development, feedback on school level, feedback on individual level …

11 Example mathematics, grade 8

12 M8 – Competency Model Process domains (Handlungsbereiche)
Content domains (Inhaltsbereiche) Level of complexity (Komplexitätsbereiche) demonstrating, modelling numbers and units use of basic skills and knowledge calculating, operating variable, functional dependency build connections/connect interpreting geometric figures and shapes reflect, use knowledge of reflection explaining, reasoning statistical representations, measures of central tendency and variance 48 vs. 16 Knoten: 16 Knoten = Inhaltsbereich x Handlungsbereich Komplexitätsbereiche werden bei der Erstellung der Items nicht beachtet, sind nur für die Didaktik von Bedeutung (bei der Aufgabenerstellung); um 48 Knotenpunkte (und somit die Komplexitätsbereiche) abdecken zu können, müssten mehr Items entwickelt werden. Komplexitätsbereiche werden objektiv festgestellt. Von Peschek (?) und Heugel 2007 eingeführt. Itemschwierigkeit > Itemschwierigkeit wird erst nach der Testung festgesetzt. Eine Aufgabe mit hoher Komplexität, die vom Lehrer mit den Schüler/innen öfters geübt wird, wird eine niedrige Itemschwierigkeit ergeben, Bsp.: Das Erstellen von Kreisdiagrammen. Die Itemschwierigkeit ist subjektiv und kann erst nach der Pilotierung über Statistiken bestimmt werden. Für Aufgabenzusammenstellungen ist die Itemschwierigkeit ausschlaggebend. In der Phase der Itemerstellung werden diese Schwierigkeiten geschätzt (Erfahrung der Lehrkräfte spielt wichtige Rolle).

13 M8 – Competency Model Complexity Competency (H3, I2, K2) Content Process The 4x4 grid leads to 16 nodes, using complexity as a 3rd dimension = 48 nodes Not very handy and the theoretical concept of complexity does not lend itself to assessment Mathematische Kompetenzen haben eine Das Kompetenzmodell M8 Komplexitätsdimension K (bezieht sich auf die Art und den Grad der Vernetzungen). eine Inhaltsdimension I (Content) (bezieht sich auf den Inhalt der Tätigkeit) und eine Handlungsdimension H (bezieht sich auf die Art der Tätigkeit), Eine spezifische mathematische Kompetenz wird durch einen bestimmten Handlungsbereich, einen bestimmten Inhaltsbereich und durch einen bestimmten Komplexitätsbereich, also durch ein Tripel (z. B. (H1, I2, K2)), Für jede Dimension mathematischer Kompetenzen sind unterschiedliche Ausprägungen vorstellbar: Unterschiedliche mathematische Handlungen, unterschiedliche mathematische Inhalte sowie unterschiedliche Arten und Grade der Komplexität. charakterisiert und festgelegt. So zum Beispiel: Entwicklung des Kompetenzmodells: Projektgruppe M8 (Leitung: MR Stockhammer) wurde am bm:bwk eingerichtet Entwicklung des Kompetenzmodells (Heugl & Peschek): 2. Schritt: Entwicklung von Testitems (Arbeitsgruppe Testitems) 1. Schritt: Fokus auf Aufgabenentwicklung, die dem Kompetenzmodell gerecht werden und Aufgabenerprobung (Arbeitsgruppe Aufgabenentwicklung) Externe Evaluation und Überarbeitung des Kompetenzmodells (2007)  Neuerung Dimensionen wurden umbenannt (z.B. A1, B1  H1, I1) Streichung der „Ich kann …“-Formulierungen Fokussierung auf „Lebensvorbereitung“ und „Anschlussfähigkeit“ Dimension „Komplexität“ wurde eingeführt Einführung der mathematischen Tripel M8: Die Projektgruppe M8 wurde im Zuge der Entwicklung der Bildungsstandards Mathematik am Ende der 8. Schulstufe von der Hauptschulabteilung des bm:ukk eingerichtet und von MR Mag. Richard Stockhammer geleitet. Die Entwicklung des Kompetenzmodells wurde wesentlich gestaltet von Univ. Prof. Dr. Werner Peschek und Dr. Helmut Heugl und stellt die Ein Teil der Mitglieder der Arbeitsgruppe arbeitete in der Folge auch bei der Entwicklung der Testitems unter der Leitung von Univ. Prof. Dr. Klaus Kubinger (Universität Wien) mit und stellte so das Bindeglied zwischen den beiden engagierten Gruppen her. Grundlage für die Entwicklung der Aufgabenbeispiele und der Testitems dar. Nach eingehenden Diskussionen über ein Kompetenzmodell und Formulierungen von Standards lag der Fokus der ersten Schritte auf der Entwicklung von Aufgaben die dem Kompetenzmodell gerecht werden sowie der Aufgabenerprobung an den Pilotschulen. Von einfachen Aufgaben führte der Weg über komplexere Aufgabenstellungen hin zur Entwicklung von Konzepten für mehr Nachhaltigkeit und Komplexität, um schließlich bei Ansätzen für Individualisierung im Unterricht zu landen. Entwickelt wurden auch Aufgaben, die sich für eine Selbstevaluierung im Unterricht eignen. Die Arbeitsgruppe beschäftigte sich schon sehr früh mit der Frage überfachlicher Kompetenzen, obwohl gemäß Projektauftrag die Entwicklung fachlicher Standards und die Vorbereitung für deren Testung zu erfüllen waren. An diesem Thema manifestierte sich das natürliche Spannungsfeld zwischen Pädagogik und Testpsychologie, zwischen Unterrichtsprozess und Messergebnis, sehr deutlich. Diese Diskussion wurde noch gefördert mittels externer Expertisen. Durch das Nahverhältnis zu den Praktikern und Praktikerinnen in den Pilotschulen und bereits laufende Fortbildungen in allen Bundesländern ist eine gute Basis für die Akzeptanz der Bildungsstandards gewachsen. Die Expertise Standards für die mathematischen Fähigkeiten österreichischer Schülerinnen und Schüler am Ende der 8. Schulstufe (Heugl, Peschek 2007) erstellt von Univ. Prof. Dr. Werner Peschek, Institut für Didaktik der Mathematik/Österreichisches Kompetenzzentrum für Mathematikdidaktik (AECC) an der Alpen-Adria-Universität Klagenfurt in Zusammenarbeit mit österreichischen Fachdidaktikern und Fachdidaktikerinnen der Universitäten Linz, Salzburg und Wien sowie der TU Wien kann die Grundlage für künftige Weiterentwicklungen des Standardmodells sowie für didaktische Arbeiten dazu sein. EXTERNE EVALUATION DES KOMPETENZMODELLS Neuerungen gegenüber des alten Kompetenzmodells: Die Handlungsdimensionen/Handlungsbereiche heißen nicht mehr A1, A2, A3 und A4 sondern H1, H2, H3 und H4Die Inhaltsdimensionen/Inhaltsbereiche heißen nicht mehr B1, B2, B3 und B4 sondern I1, I2, I3 und I4, was auf gleiche Weise begründbar ist. Neu definiert wurde die Klassifikation von Aufgaben in Bezug auf ihre Komplexität. Die nun vorliegende Einteilung in K1 „Grundkenntnisse“, K2 „Verbindungen“ und K3 „Reflektieren“ ist inhaltlich schlüssig und präziser als die in der Version 3.0 vorgenommene Einteilung. Neu ist auch die explizite Formulierung der bildungstheoretischen Orientierung der Mathematik-Standards für die Sekundarstufe 1. Die Fokussierung auf „Lebensvorbereitung“ im allgemeinen Sinn und auf „Anschlussfähigkeit“ im Blick auf die weitere, differenzierte Schullaufbahn der betreffenden Schüler/innen wird dabei konsequent in allen 4 Inhaltsbereichen umgesetzt. Einen gewissen Verlust stellt der Verzicht der Broschüre 07 auf die „Ich kann …“- Formulierungen dar. „Würfel“ in einem dreidimensionalen Koordinatensystem, um eine bestimmte mathematische Kompetenz zu beschreiben (48 mathematische Kompetenzen) Nicht gerade einfacher ist die Veranschaulichung von Tripeln [z.B. (H3, I2, K2)] durch

14 Example: Competency Model M8
P: „demonstrating, modelling “ C: „numbers and measures“ Formulated as can-do-statements: The students are able to transform given arithmetical data into (another) mathematical representation. In doing so, direct use of basic skills is necessary transform given arithmetical data into (another) mathematical representation. In doing so, connections to other mathematical contents (terms, definitions, representations) or activities have to be established make and evaluate statements about the appropriateness as well as weaknesses and strengths of different mathematical representations (models) of arithmetical data P1/C1/K1 P1/C1/K2 Aussagen über die Angemessenheit… = Komplexität!!!! gegebene arithmetische Sachverhalte in eine (andere) mathematische Darstellung übertragen, wobei dafür das unmittelbare Einsetzen von Grundkenntnissen erforderlich ist/ … transform given arithmetical data (Facts?) into (another) mathematical representation. In doing so, direct use of basic skills is necessary. … gegebene arithmetische Sachverhalte in eine (andere) mathematische Darstellung übertragen, wobei dafür auch Verbindungen zu anderen mathematischen Inhalten (Begriffen, Sätzen, Darstellungen) oder Tätigkeiten hergestellt werden müssen/ … transform given arithmetical data (facts?) into (another) mathematical representation. In doing so, connections to other mathematical contents (terms, definitions, representations) or activities have to be established. … Aussagen über die Angemessenheit sowie über Stärken und Schwächen verschiedener mathematischer Darstellungen (Modelle) arithmetischer Sachverhalte machen und bewerten./ … make or evaluate statements about the adequateness as well as weaknesses and strengths of different mathematical representations (models) of arithmetical data (facts?) P1/C1/K3

15 Educational Standards – The Austrian Version
Three areas of activities Implementation of standards at school and capacity building for teacher: Support of teachers and school heads in implementation Formative evaluation to support teachers diagnostic: On-line evaluation system to be used by teachers Census to monitor and summative evaluation at system, sub-system, school and classroom level UIB würde das school specific nennen Verbindlich – vielleicht „mandatory“? „capture“ kenne ich eher aus dem Zusammenhang mit Daten, nicht mit Personen – besser „survey“? RMM: Moderation kann mit moderation übersetzt werden, ich denke, das passt besser da ja nicht nur präsentiert wird meint „regionale Qualitätsentwicklung“ wirklich „regional“? Sind damit nicht mehr die Länder gemeint? In dem Fall würde ich es eher wieder mit „provincial"

16 Educational Standards – The Austrian Version
School-specific development of instruction Mandatory educational standards Census-survey of all students and schools Feedback to all students, teachers, schools Feedback moderation („Rückmeldemoderation“) Stimulation of quality development and support by MoE Strong linkage of monitoring and practical school and instructional development Strengthening of schools, school management and regional quality development UIB würde das school specific nennen Verbindlich – vielleicht „mandatory“? „capture“ kenne ich eher aus dem Zusammenhang mit Daten, nicht mit Personen – besser „survey“? RMM: Moderation kann mit moderation übersetzt werden, ich denke, das passt besser da ja nicht nur präsentiert wird meint „regionale Qualitätsentwicklung“ wirklich „regional“? Sind damit nicht mehr die Länder gemeint? In dem Fall würde ich es eher wieder mit „provincial"

17 Main functions of standards according to the legal regulation
Output orientation: Sustainable output orientation in planning and implementation of instruction Promotion („Förderfunktion“): Diagnosis and specific individual remediation and challenge Evaluation: reliable information about the output of instruction, schools and education system

18 Implementation of Standards
Supporting materials for instruction Praxishandbücher Themenhefte Aufgabenbeispiele, Interaktive Beispiele Best-Practice-Beispiele Integration with teacher training institutions In-service teacher training (partially mandatory) Pre-Service teacher trainin Research and development work by members of teacher training institutions

19 Diagnosis tool for Informal Monitoring of Competencies
Teacher administered on-line system Grade 3 and 7, one year before Assessment All Areas of standards Only teachers themselves have access to results

20 Assessment of Educational Standards
Legal assessment cycle: three (school) years In each cycle, the whole target population has to be assessed in all prescribed competency subdomains Grade 4: German, Mathematics Grade 8: German, Mathematics, English Students, teachers, schools and regional education authorities must get feedback about the results (to be used for quality improvement)

21 Domain-orientated Test Design
Kann ich morgen gerne auf ENG im Illustrator machen! UIB: Ich würde das LS/AS-lower level nicht so übersetzen, da es auf den vorangegangen slides über das Schulsystem nicht so genannt wird. Entweder HS/AHS wie auf slide 1 (ohne Übersetzung,d as können wir ja sagen), oder “lower secondary” oder “sec I”) Ich würde das “Assessment” bei jedem Fach rauslassen, das sieht auf E nicht so gut aus

22 Pilot testing: about 10% of population, up to 9000 Students
Main test: Census up to students Speaking domain only with sample for system monitoring 10% of census with external administration and items for next census to ensure linking over time Example: Test session Mathematics Grade 4

23 This picture shows about 1/10 of the test materials

24 Item Development Items are developed to measure sub-competencies or domains, eg. Content = numbers and units and process = demonstrating Dimension „complexity“ is not used as such, since it can‘t be measured empirically We have 16 nodes, upon which an item should fall. We strive for unidimensional items, i.e. items that can be classified as belonging to one specific node only

25 Item Development Items are developed to measure sub-competencies or domains, eg. Content = numbers and units and process = demonstrating Dimension „complexity“ is not used as such, since it can‘t be measured empirically We have 16 nodes, upon which an item should fall. We strive for unidimensional items, i.e. items that can be classified as belonging to one specific node only

26 Item Development

27 Item Development Test blueprint specified the items to be developed:
Mathematical node Item format: Multiple Choice, Constructed response, … Estimated difficulty of item Further requirements: adequat for age group, no biased towards gender, race, religion, also taking into account rural/urban differences. does not require other knowledge than maths contents. Items should be uni-dimensional

28 Validation In order to secure validity of the test items, they were …
written by school and university teachers reviewed by teachers (peer review and outsider review) trialled on a sample of grade 8 students – each item was answered by at least 200 students item properties were reviewed by a team of psychometricians and school teachers items with less than desirable or surprising properties were retired and not used in the main test

29 Test Design Multiple matrix sampling
Two-step approach for the test design Allocation of „empty“ blocks to forms that satify several global prerequisites for the design: positional and contextual balance, item security (S90 vs. S10), longitudinal link (BL and BIST-UE 2015) Allocation of items to blocks that satisfy several local prerequisites: Balanced difficulty, format, representative for the competence construct, dependency (enemy items), test motivation Test information, especially along cutoff-scores Multiple matrix sampling: => Bei der BIST-UE wird ein „multiple matrix sampling“ benutzt, bei welchem jedem Schüler/jeder Schülerin ein „eigenes” Testheft zugewiesen wird, das eine repräsentative Stichprobe an Items des Konstruktraums enthält. Eine Vergleichbarkeit der Testergebnisse wird durch Skalierung und Linking sichergestellt. Positional Balance: Wir teilen 15 Blöcke auf 30 Testhefte in der Art auf, dass jeder Block auf jeder Testheftposition zweimal modelliert wird. Damit stehen alle Items ausgeglichen in allen 4 Bereichen eines Test­heftes gleich oft. Contextual Balance: Es soll bei der Generierung der Testhefte Paar-Balancierung der Blöcke (gleichhäufiges Auftreten aller Blockpaare) erreicht werden um eventuelle Kontexteffekte, die zunächst unbekannt sind, ausgleichen zu können. Longitudinal link and item security: Die Entwicklung und Pilotierung qualitativ hochwertiger Items ist aufwändig und kostenintensiv. Daher und wegen der Ankerfunktion im Längsschnitt ist ein Mehrfacheinsatz mancher Items angestrebt bzw. erforderlich. Dazu werden Testhefte erstellt, in denen keine Block mit S90-Items vorkommt. Itemformat: Balanced; Testhefte der S 90 enthalten weniger kodieraufwendige Items (halboffen und offen) als die Test­hefte der S 10. Competence construct: Balanced; Die Generierung unterschiedlicher (möglichst paralleler) Testhefte sollte so erfolgen, dass in allen Testheften die relevanten Kompetenzbereiche (Handlungs- und Inhaltsbereich) möglichst im selben Ausmaß abgedeckt und auch die Schwierigkeiten der Testhefte möglichst ähnlich sind. Test motivation: Bei der Zusammenstellung der Blöcke wird darauf geachtet, dass leichte Items den Schülerinnen und Schülern an früheren Positionen präsentiert werden Difficulty/reliability: Um den Unreliabilitätsbereich in der Nähe der Cutoff-Scores zu minimieren, bietet sich ein Testdesign an, in dem die Testhefte an den im Standard-Setting selektierten Cutoff-Scores maximal informativ sind.

30 Automated Test Assembly
Computer-based via automated test assembly methods “Simulated annealing” approach for the allocation of blocks to forms “Big-shadow-test” approach for the allocation of items to blocks Sequentially filling blocks via combinatorial optimization Therein, an objective function is the model for the quality of the design Here, the optimization of ist value is bound to the optimization of the test information along the cutoff-scores Also, the objective is constraint to a space of feasible values by the prerequisites Simulated annealing: is a heuristic for searching a close-to-optimal solution. Here a metaphor: It‘s like shaking a cup of marbles, grains or sand – and decelerate. The longer you shake the denser the entity gets. In our case, we „shake“ Itemblocks. Whereas the (functional value representing the) density of the design would be its goodness of fit to our prerequisites. Shadow-test approach: Sequentially filling the blocks -- starting with the most important ones (those belonging to S90 forms, and BIST-UE 2015 Link forms). While assigning some of the items to the “big shadow”-block as a backup for the blocks that are yet un-filled... The shadow block is not a regular block; Its items are always returned to the pool for the next sequence. They are only assembled in the big shadow to balance the selection of items between current and future tests. Because of its presence, they neutralize the greedy character inherent in sequential test-assembly. In doing so, they prevent the best items from being assigned only to early tests and keep the later test-assembly problems feasible (cf., van der Linden (2005), Linear models for optimal test design). Combinatorial optimization, mixed-integer linear programming: Where ever there are decisions to make that can be modeled as a functional value, combinatorial optimization methods can be applied Like any assignment problem Developing the best airline network of spokes and destinations find the shortest possible route that visits each city exactly once (travelling salesman -- one of the most well known and discussed)

31 Scaling Using Rasch model
Allows to express difficulties of items and students ability on one common scale Allows to match test cycles over time Allows for complex test design Feedback for everything on level individuum/group (class)/school using WLEs – sytem level PVs RM Grafik für Schule/UG hier zeigen? Streugrafiken auf Dimensionsebene (Strukturmodell) , aber noch nicht das Niveaumodell – das erst nach dem Standard Setting Ich gehe davon aus, dass Rasch-Modell, estimates bei diesem Publikum bekannt sind?

32 Standard Setting Standard setting goal: meaningfully described levels
criterion-referenced Phases: Determination of number of levels Labelling of levels (PLLs) Description of levels (PLDs) Establishing the cut scores between levels 4 levels in Austria in most domains 0: standards not reached 1: partially reached standards 2: reached standards 3: exceeded standards Easy to understand for „laymen“

33 Proficiency Level Descriptions M8
3 – standards exceeded Students possess fundamental knowledge and skills in all parts of the mathematics curriculum and advanced knowledge structures, which exceed the requirements of level 2, specifically more pronounced abilities of abstraction and higher proficiency in combining parts of knowledge, methods or rules. They are able to apply these independently in novel situations in a flexible way. 2 – standards reached Students posess fundamental knowledge and skills in all parts of the mathematics curriculum and can use these in a flexible way. They are able to find and apply problem solving strategies, to describe and reason an approach. They are able to handle verbal, graphical and formal representations of mathematical facts in a flexible way and can apply these appropriately. Theay are able to extract relevant information from a differently represented facts (e.g. texts, data material, graphics) and can interpret them in the respective context. They are able to relate their mathematical knowledge and can check, evaluate and/or reason mathematical statements. 1 – standards partially reached Students possess fundamental knowledge and skills in all parts of the mathematics curriculum and can master reproductive tasks and carry out routine procedures.

34 Standard Setting „ A standard setting method is a mechanism for helping panelists translate their intentions to the score scale.“ (Reckase, 2006) Goal: Match predetermined descriptors of competency levels to an empiric scale defined by test items Determine cut scores between levels of competence Bifie invited a group of stakeholders to set the cut scores: teachers (lower and upper secondary), teachers of didactics of math; representatives of parents associations; representatives of the MoE; representatives of chamber of commerce; bifie staff Method used: Item descriptor matching method

35 Difficulty-ordered items
(Modified) Item descriptor matching method Difficult Item Item-descriptor matches Level 3 Level 3 Level 2 Level 2 Level 1 Level 1 Difficulty-ordered items Easy Item Ordered Item Booklet Basics of the IDM Method Basis: ordered Item Booklet (OIB) Each Item in the OIB will be assigned a level by the experts Right: the resulting trend line can then be smoothed (grey dotted line), this curve serves in identifying the threshold from one level to the next Das Prinzip der Item-Descriptor-Matching-(IDM-)Methode. Basis ist ein gereihtes Aufgabenheft, jedes Item wird durch die ExpertInnen einer Stufe zugeordnet. Rechts: der dadurch entstandene Verlauf der Zuordnungen kann geglättet werden (grau punktierte Linie), diese Kurve dient dann der Bestimmung von Übergangen von einer Stufe in die nächsthöhere Stufe. Cut Score 1 Cut Score 2 Freunberger & Yanagida, in press.

36 Standard Setting Standard setting is more about finding a societal consensus than finding a constant The goal should be clear before test development etc starts

37 Feedback and Reports Information about results of Educational Standards
SCHOOL LEVEL School report (for school management) per school, online 4600 schools about 3200 primary and secondary I School and instruction development Feedback to teachers per teacher, per class/group; online classes about 6000 primary and secondary I Wer bekommt Rückmeldung? LS = lower secodnary AS = Academic secondray Wo gehören die NMS (NS – new secondary schools) dazu? UIB: ich würde die Unterscheidung AHS/APS einfach wegtun. Die NMS sollten wir da gar nicht anfangen zu erklären. Im Grunde ist es ja grade der Ansatz der Standards, dass die Lehrziele für alle Schularten und Schüler gleich sind, oder? UUUUUUUUUUUUUUUUPS: 85*2 = 170 – ist in allen diesen Folien falsch (war 190) Feedback to students per participant, online students about in grade 4 and 8 each

38 Lower sec/8, academic sec/8
Feedback and Reports Information about results of Educational Standards SYSTEM LEVEL National report (Minister for Education) aggregated MoE System development Province reports (pres & vice-) for each procince and grade 9 provinces Supervisory reports (federal superv. authorities for PS & LS/AS) aggregated on fed. state and supervised-school type 9 provinces Primary/4 Lower sec/8, academic sec/8 School development Supervisory reports (district superv. authorities for PS and LS) per district and grade 99 school districts 15 Cities – 84 districts

39 School report: overview of content
Information about school results: compared to AUT compared to the defined goals (in the regulation) compared to other schools with similar basic conditions („fair comparison“) Areas of conflict: Educational Standards apply to all students – and therefore to all schools Conditions of schools vary widely UIB: Auf den fairen Vergleich wird sehr sparsam eingegangen ABER Eigentlich widerspricht er ja dem Stufenmodell – andererseits hilft er (hoffentlich) der Qualitätsentwicklung

40 Feedback The school takes centre stage

41 Feedback – example (school report) „Competency levels“
Exceeded standards Met standards Partially met standards Didnt meet standards

42 Feedback – example (teacher feedback)

43 Feedback – example (school report)

44 Support system for schools
A SCHOOL School feedback Teacher feedback School authorities Feedback Moderation Quality development- process supervision IKM (informal self evaluation)

45 Outlook Bringing IKM (grade(s) before BIST) and BIST assessments closer together. Using items in both assessments could lead towards a better understanding of learning Backwash from doing the assessments towards research in the areas of item development, standard setting, feedback … through evaluation of results Outcomes of the assessments should not only allow us to give feedback to schools, teachers and students but also to improve the competence models we use for the assessment Prepare for computer based testing Open databases for external researchers and improve system level monitoring

46 Thank you for your attention!
MichaeI Bruneforth Bundesinstitut BIFIE Salzburg | Zentrum für Bildungsmonitoring & Bildungsstandards


Download ppt "The Implementation of National Educational Standards in Austria"

Similar presentations


Ads by Google