UID:
edoccha_9961003859002883
Format:
1 online resource (150 pages)
Content:
Test versions equivalence, especially of high-stakes tests, is one of the key validity aspects and a necessary condition for meaningful and fair interpretation of the results (Messick, 1995), and for making fair decisions about test takers at individual, institutional and system levels. The test providers, especially in the case of high-stakes tests, should gather evidence, prove and inform about the quality of the testing instruments and follow the principles of good practice in testing, as stated in the Standards for educational and psychological testing (AERA, APA, & NCME, 2014) or other relevant codes of practice. Striving and achieving test versions equivalence and documenting the processes are two key steps on the way towards fair testing. The research project strives to answer how the test versions equivalence were investigated in similar institutions that provide high-stakes tests, to what extent the test versions of high-stakes tests (in this case, the Slovak upper-secondary school leaving examination in English at B1 level) are equivalent, and how equivalence could be achieved in the current context of the Slovak exams without any changes in the legislation. The project focused on the tests of receptive skills used in the spring sessions between 2012 and 2015, and investigated what methods and procedures could be implemented to develop equivalent test versions and to prove their equivalence. The research areas and questions were the following: first, to investigate what methods and procedures for the development of equivalent test versions exist and in what phase and under what conditions they are used in the test development cycle; second, to use some of the methods identified in the previous stage to determine to what extent the test versions used between 2012 and 2015 are comparable; and third, to propose, on the basis of the findings, a series of methods and procedures appropriate for the context of the Slovak exams which might lead to the development of equivalent test versions with equivalent score meanings. Theoretical research on the subject of comparability in general and methods and procedures used in various contexts in particular was conducted. Subsequently, selected methods (content structure analysis and exploratory factor analysis) were used in the empirical part of the research. These methods provided deep insight into the degree of comparability of the test versions used between 2012 and 2015 and made it possible to identify problem areas in terms of test versions comparability. In the last part we suggest possible measures that might enable test developers to achieve test versions equivalence, including the use of test score equating approaches, while critically reflecting the feasibility, practicality and usefulness of the suggested procedures and methods, as well as the conclusions reached by the dissertation project.
Note:
ÚVOD -- I. TEORETICKÁ ČÁST 1 KONTEXT VÝZKUMNÉHO PROJEKTU 1.1 VÝZKUMNÉ CÍLE 1.2 VÝZKUMNÉ OTÁZKY -- 2 KONTEXT SLOVENSKÉ MATURITNÍ ZKOUŠKY -- 3 TEORETICKÁ VÝCHODISKA VÝZKUMU 3.1 VYMEZENÍ KLÍČOVÝCH POJMŮ 3.1.1 Konstrukt 3.1.2 Validita a validace 3.1.3 Spravedlivost a validita 3.1.4 Srovnatelnost a ekvivalence 3.1.5 Pohledy na srovnatelnost 3.2 METODY ZKOUMÁNÍ A ZPŮSOBY DOSAHOVÁNÍ SROVNATELNOSTI TESTOVÝCH VERZÍ 3.2.1 Analýza struktury obsahu 3.2.2 Zkoumání konstruktové ekvivalence 3.2.3 Statistické postupy vedoucí k porovnatelnosti skórů 3.2.4 Designy využívané pro vyrovnávání 3.2.5 Využití teorie odpovědi na položku -- II. EMPIRICKÁ ČÁST -- 4 METODY VYUŽITÉ VE VÝZKUMNÉM PROJEKTU 4.1 OBSAHOVÁ EKVIVALENCE: ANALÝZA STRUKTURY OBSAHU 4.1.1 Popis metody 4.1.2 Popisné modely 4.1.3 Posuzovatelé a postup jejich práce 4.1.4 Testové verze využité pro analýzu struktury obsahu 4.1.5 Data z analýzy struktury obsahu a prvotní rozhodnutí 4.1.6 Data z analýzy struktury obsahu 4.1.7 Shoda posuzovatelů -- 4.1.8 Zjištění z analýzy struktury obsahu: zastoupení popisných kategorií -- Obsah 4.2 KONSTRUKTOVÁ EKVIVALENCE: EXPLORATORNÍ FAKTOROVÁ ANALÝZA 4.2.1 Výsledky exploratorní faktorové analýzy 4.3 SROVNATELNOST DESKRIPTIVNÍCH STATISTIK TESTOVÝCH VERZÍ 4.3.1 Porovnání populací z let 2012-2015 4.3.2 Deskriptivní charakteristiky subtestu Poslech v letech 2012-2015 4.3.3 Deskriptivní charakteristiky subtestu Gramatika v letech 2012-2015 4.3.4 Deskriptivní charakteristiky subtestu Čtení v letech 2012-2015 4.3.5 Deskriptivní charakteristiky celých testů 2012-2015 4.3.6 Podíl neúspěšných žáků v letech 2012-2015 4.3.7 Psychometrické charakteristiky položek a subtestů 2012-2015 4.4 SHRNUTÍ EMPIRICKÉ ČÁSTI VÝZKUMU 4.4.1 Zjištění z analýzy struktury obsahu 4.4.2 Analýza konstruktové ekvivalence testových verzí 2012-2015 -- 5 ODPOVĚDI NA VÝZKUMNÉ OTÁZKY 1 A 2 5.1 SROVNATELNOST TESTOVÝCH VERZÍ 2012-2015 (RQ1) 5.2 ZHODNOCENÍ POUŽITÝCH METOD (RQ2) -- III. APLIKAČNÍ ČÁST -- 6 NÁVRHY PROCESŮ PRO VÝVOJ SROVNATELNÝCH TESTOVÝCH VERZÍ (RQ3) 6.1 ÚČEL ZKOUŠKY, JEJÍ KONSTRUKT A TESTOVÉ SPECIFIKACE 6.2 PROKÁZÁNÍ OBSAHOVÉ A KONSTRUKTOVÉ SROVNATELNOSTI TESTOVÝCH VERZÍ 6.3 ZÁVĚREČNÁ REFLEXE -- SUMMARY -- SEZNAM LITERATURY -- PŘÍLOHA: POPISNÉ MODELY -- SEZNAM TABULEK -- SEZNAM OBRÁZKŮ.
Additional Edition:
ISBN 80-210-9950-X
Language:
Czech
Bookmarklink
