znaki_strona_www

Międzynarodowe Badanie Postępów Biegłości w Czytaniu oraz Międzynarodowe Badanie Wyników
Nauczania Matematyki i Nauk Przyrodniczych zostały dofinansowane ze środków budżetu państwa.

znaki_strona_www

Międzynarodowe Badanie Postępów Biegłości w Czytaniu
oraz Międzynarodowe Badanie Wyników Nauczania  Matematyki i Nauk Przyrodniczych zostały dofinansowane
ze środków budżetu państwa w wysokości

Opis badania TIMSS

Spis treści

Ogólne informacje o badaniu TIMSS

TIMSS (Trends in International Mathematics and Science Study – Międzynarodowe Badanie Wyników Nauczania Matematyki i Nauk Przyrodniczych) to międzynarodowy, cykliczny program pomiaru osiągnięć szkolnych uczniów. Badanie jest realizowane co cztery lata, od 1995 r., i jest jednym z największych na świecie projektów badawczych dotyczących osiągnięć edukacyjnych. Badanie jest organizowane przez Międzynarodowe Stowarzyszenie Mierzenia Osiągnięć Szkolnych – IEA, z siedzibą w Amsterdamie. Pierwszą realizowaną w Polsce edycję badania (w 2011 roku) przeprowadził zespół pracowników Centralnej Komisji Egzaminacyjnej pod kierownictwem prof. dr hab. Krzysztofa Konarzewskiego. Realizację dwóch ostatnich edycji badania TIMSS, w 2015 i 2019 roku, Ministerstwo Edukacji Narodowej powierzyło Instytutowi Badań Edukacyjnych.

Międzynarodowe Badanie Wyników Nauczania Matematyki i Nauk Przyrodniczych zostało dofinansowane ze środków budżetu państwa w wysokości 2 350 530,00 zł.

TIMSS bada poziom wiedzy i rozumowania uczniów w zakresie matematyki i nauk przyrodniczych. W badaniu bierze udział kilkadziesiąt krajów z całego świata. Listę krajów biorących udział w poszczególnych edycjach badania znaleźć można na stronie: https://www.iea.nl/studies/iea/timss. TIMSS składa się z dwóch komponentów: pomiaru umiejętności uczniów w czwartym i ósmym roku nauki. W ostatniej edycji badania realizowanej w 2019 roku badanie w czwartej klasie szkoły podstawowej przeprowadziło 58 krajów, w tym Polska. Badanie w ósmej klasie realizowane było w 39 krajach.

W komponencie realizowanym w Polsce międzynarodowa definicja populacji będącej przedmiotem badania zakłada, że stanowią ją dzieci, które chodzą do szkoły i kończą czwarty rok nauki na szczeblu ISCED 1, a ich średni wiek w momencie badania nie jest niższy niż 9,5 roku. Badanie w Polsce obejmuje więc uczniów klas czwartych szkół podstawowych. W każdym kraju spośród wszystkich szkół, do których uczęszczają uczniowie z tak zdefiniowanej populacji, losowana jest reprezentatywna próba (w Polsce to około 150 szkół). W szkołach, w których uczniowie podzieleni są na dwa lub więcej oddziałów, losuje się do badania nie więcej niż 2 oddziały. W badaniu biorą udział wszyscy uczniowie wylosowanego oddziału, a ankiety wypełniane są także przez rodziców, nauczycieli matematyki i przyrody oraz dyrektorów szkół. Zbiory danych są ogólnodostępne, co umożliwia prowadzenie wtórnych analiz.

Cele badania

  • -dostarczenie rzetelnych i porównywalnych danych o  osiągnięciach szkolnych uczniów z poszczególnych krajów oraz ich zróżnicowaniu, także ze względu na takie czynniki jak płeć czy pochodzenie społeczne uczniów;
  • dostarczenie rzetelnej informacji o trendzie, czyli zmianach poziomu osiągnięć i ich zróżnicowania;
  • dostarczenie danych kontekstowych, czyli informacji o warunkach, w których przebiega nauczanie i uczenie się, a także o postawach uczniów i nauczycieli, które mogą stanowić podstawę do wyjaśniania obserwowanych wyników uczniów.

Organizatorzy i wykonawcy badania

W 1958 r. założono Międzynarodowe Towarzystwo Oceniania Osiągnięć Szkolnych (International Association for the Evaluation of Educational Achievement, IEA) – niezależną międzynarodową organizację zrzeszającą instytucje badawcze i agencje rządowe. To IEA jest inicjatorem i organizatorem badania TIMSS. W skład IEA wchodzi kilka różnych instytucji. Międzynarodowy Ośrodek Badawczy przy Wydziale Edukacji w Koledżu Bostońskim (Lynch School of Education in Boston College) odpowiada za harmonogram badania, narzędzia badawcze i przebieg badania. Ośrodek ten ściśle współpracuje z  sekretariatem IEA w  Amsterdamie, który sprawuje ogólny nadzór nad badaniem. Sekretariat IEA w Amsterdamie dokonuje również weryfikacji tłumaczeń narzędzi badawczych na języki krajowe poszczególnych krajów biorących udział w badaniu. Ośrodek Przetwarzania Danych w  Hamburgu (Data Processing Center) sprawdza i  analizuje dane przesyłane przez uczestniczące kraje. Kanadyjski urząd statystyczny (Statistics Canada) w  Ottawie jest instytucją odpowiedzialną za dobór prób szkół i oddziałów klasowych a Agencja Testowania Edukacyjnego w Princeton (Educational Testing Service) doradza w zakresie metod psychometrycznych i  dostarcza oprogramowania pozwalającego skalować wyniki testowania.

Realizacja badania w poszczególnych krajach

Badanie jest prowadzone przez krajowe zespoły badawcze. Każdy kraj powołuje krajowego koordynatora badania (National Research Coordinator – NRC), który wraz z zespołem sprawuje nadzór nad harmonogramem badania, dba o terminowe, rzetelne i zgodne z procedurami przeprowadzenie badania oraz o dostosowanie założeń badawczych do realiów swojego kraju. IEA zatrudnia międzynarodowego kontrolera jakości, który czuwa nad przebiegiem badania w terenie w danym kraju. Wszelkie odstępstwa od rygorystycznych procedur badawczych są odnotowywane w międzynarodowym raporcie z badania. W przypadku poważnych uchybień dany kraj może w ogóle nie zostać ujęty w raporcie.

Narzędzia badawcze

Badanie polega na rozwiązywaniu przez uczniów zadań (testy pomiaru osiągnięć) znajdujących się w zeszytach testowych. Dzięki temu można zebrać dane o  osiągnięciach szkolnych uczniów z poszczególnych krajów. Drugą częścią badania jest zbieranie danych kontekstowych. Robione to jest za pomocą ankiet zaadresowanych do dyrektorów szkół, nauczycieli, uczniów i ich rodziców. Szczegółowe zestawienie źródeł danych, które są zbierane w badaniu przedstawia poniższa tabela.

Podsumowanie zebranych danych i ich źródła w badaniu TIMSS 2019

Źródło

Narzędzia badawcze

Osiągnięcia matematyczne

Uczeń

Test osiągnięć

Osiągnięcia przyrodnicze

Uczeń

Test osiągnięć

Cechy i postawy uczniów

Uczeń

Ankieta ucznia

Środowisko domowe

Rodzic

Ankieta rodzica

Środowisko domowe

Dyrektor szkoły

Ankieta dyrektora szkoły

Środowisko oddziału,
w którym uczy się uczeń

Nauczyciel matematyki; nauczyciel przyrody

Ankieta nauczyciela

Powiązanie pomiędzy podstawą programową z matematyki i przyrody a testem osiągnięć w badaniu TIMSS

Eksperci przedmiotowi

Analiza porównawcza – podstawa programowa a test TIMSS

Struktura systemu edukacyjnego

Krajowy Koordynator badania TIMSS

Ankieta dotycząca podstawy programowej; Encyklopedia TIMSS – rozdział o Polsce

Proces przygotowywania zadań, które będą następnie wykorzystane w badaniu, rozpoczyna się ponad dwa lata wcześniej. Na początku eksperci krajowi układają propozycje zadania i przesyłają je do konsorcjum. Zadaniem nazywa się niezależną i  samodzielną treściowo jednostkę testu, pytaniem zaś – niezależnie punktowaną jednostkę testu. Liczba pytań pokrywa się z liczbą elementarnych zmiennych w bazie danych. Każde zadanie może zawierać jedno lub więcej pytań. Konsorcjum międzynarodowe weryfikuje nadesłane zadania i przeprowadza pilotaż na małych grupach uczniów z krajów angielskojęzycznych. Badanie TIMSS zostało zaprojektowane tak, by w jak największym stopniu dostosować zakres zagadnień uwzględnionych w badaniu do programów nauczania matematyki i przyrody w systemach edukacyjnych różnych krajów. Nie zawsze jest to oczywiście możliwe w 100%, ponieważ systemy edukacyjne i podstawy programowe w różnych krajach różnią się od siebie.

Gdy konsorcjum wybierze już zadania do kolejnego cyklu badania są one tłumaczone i adaptowane do warunków poszczególnych krajów. Adaptacja polega na dostosowaniu kulturowym i językowym pytań. Wszelkie drobne zmiany są odnotowywane w dokumentach konsorcjum. Kolejny etap prac to weryfikacja i uzgodnienia ostatecznej wersji polskich narzędzi pomiędzy konsorcjum a krajowym zespołem badawczym. Konsorcjum zatrudnia polskojęzycznego weryfikatora, który dokonuje oceny narzędzi, zgłasza uwagi i komentarze. Zadaniem zespołu krajowego jest odpowiedź na uwagi weryfikatora i ustalenie ostatecznej wersji narzędzi. Wersja ta jest ponownie sprawdzana przez konsorcjum. Po zakończeniu adaptacji narzędzi konsorcjum przygotowuje schemat oceniania pytań (klucz kodowy). Koordynatorzy krajowi zgłaszają uwagi do klucza kodowego i wypracowywana jest ostateczna wersja klucza kodowego, która jest tłumaczona na języki krajowe i dostosowywana do krajowych warunków.

W każdej edycji badania TIMSS wykorzystuje się ponad 300 pytań. Jest to zbyt wiele pytań dla pojedynczego ucznia, dlatego test osiągnięć dzieli się na mniejsze jednostki – bloki – i z nich składa się zeszyty testowe, które są losowo przydzielane uczniom według z góry ustalonej procedury. Każdy blok występuje w dwóch różnych zeszytach testowych. Zwykle w badaniu używa się między 12 a 18 zeszytów testowych.

Cel badania dotyczący śledzenia trendu, czyli zmian w poziomie osiągnięć uczniów, wymaga, by wyniki pomiarów w kolejnych edycjach mogły zostać umieszczone na tej samej skali. Można to uzyskać tylko, jeśli kolejne cykle badania mają wspólne pytania, co obowiązuje w badaniu TIMSS. Wielokrotne wykorzystywanie tych samych zadań wymaga zachowania najwyższych standardów poufności przez krajowe zespoły badawcze.

W badaniu TIMSS mierzy się poziom wiadomości i umiejętności matematycznych i przyrodniczych uczniów. Test sprawdza, jaką wiedzą i umiejętnościami, zdobytymi zarówno w szkole, jak i poza nią, dysponują uczniowie. W badaniu wykorzystuje się różne zadania. Część z nich to zadania typowo „szkolne” zwracające większą uwagę na wiedzę i zastosowanie wyćwiczonego schematu postępowania. Inne zadania wymagają rozwiązania pewnych problemów z zastosowaniem bardziej złożonych umiejętności np. powiazania ze sobą różnych informacji i wyciągnięcia wniosków.  Założenia programowe badania TIMSS opisujące i grupujące cele nauczania matematyki i przyrody podlegały zmianom wynikającym z rozwoju psychologii i dydaktyki. Struktura i aspekty pomiaru kompetencji matematycznych i przyrodniczych w badaniu TIMSS 2019 opierają się na uaktualnionej taksonomii Blooma i zakładają, że zadania można scharakteryzować pod względem treści przedmiotowej (content domains) oraz pod względem posiadanych przez ucznia możliwości poznawczych (cognitive domains), określających procesy myślowe i wykorzystanie zasobów wiadomości.

Drugi rodzaj narzędzi badawczych wykorzystywany w badaniu to ankiety. Dane, których dostarczają, dają wgląd w kontekst osiągnięć szkolnych. Dyrektor szkoły wypełnia ankietę o zasobach swojej szkoły, zasadach pracy dydaktycznej i  wychowawczej oraz o własnej roli zawodowej. Nauczyciele badanych oddziałów klasowych wypełniają ankietę o kulturze swojej szkoły, organizacji swojego oddziału, programie i  metodach nauczania matematyki i przyrody, sposobach oceniania osiągnięć, a  także o swoim wykształceniu i karierze zawodowej. Rodzice lub prawni opiekunowie uczniów objętych badaniem wypełniają ankietę dotyczącą rozwoju dziecka, wczesnej edukacji domowej, zasobów wspierających uczenie się dziecka (z  obowiązkowym we wszystkich badaniach osiągnięć pytaniem o liczbę książek w domu) i opinii o szkole ich dziecka. Ważną częścią ankiety są pytania o wykształcenie, zawód i pozycję na rynku pracy – pozwalają one zbudować wskaźnik statusu socjoekonomicznego (SES) rodziny. Uczeń odpowiada na pytania ankiety o zasoby domowe wspierające uczenie się, zwyczaje panujące w jego szkole, a także metody nauczania matematyki i przyrody. Istotną część stanowią również skale postaw wobec szkoły oraz nauczania i uczenia się matematyki i przyrody.

Wszystkie narzędzia badawcze używane dotychczas w badaniu TIMSS w Polsce były narzędziami w formie papierowej. Część krajów uczestniczących w badaniu decyduje się na realizację badania w formie komputerowej (eTIMSS). Badanie może być przeprowadzane na komputerze lub tablecie. W wersji komputerowej badania pojawiły się zadania z poprzednich edycji TIMSS, które zostały przeniesione z papierowych wersji zeszytów testowych. W niektórych przypadkach zostały one zaktualizowane o takie elementy jak: rozwijane menu, przeciąganie, upuszczanie i wstawianie elementów. Na potrzeby badania realizowanego w wersji cyfrowej tworzone są obecnie nowe zadania, które w większym stopniu wykorzystują interaktywność. W przyszłości wszystkie kraje biorące udział w badaniu będą zobowiązane do pomiaru przy użyciu komputerów lub tabletów. Otwiera to nowe możliwości pomiaru umiejętności uczniów i pozwala na większą atrakcyjność prezentowanych uczniowi zadań, a tym samym na jego większe zaangażowanie w ich rozwiązywanie.

Dobór próby

TIMSS to badanie realizowane na reprezentatywnej próbie losowej, co oznacza, że wnioski dotyczące pomiaru wykonanego w badaniu mogą być uogólniane, przy zachowaniu reguł wnioskowania statystycznego, na populację czwartoklasistów w każdym kraju realizującym badanie. Podobnie jak wszystkie działania realizacyjne, w celu zapewnienia porównywalności wyników badania, dobór próby w każdym kraju jest realizowany w oparciu o wystandaryzowane procedury międzynarodowe. W Polsce operat losowania tworzony jest w oparciu o dane z Systemu Informacji Oświatowej. Operat składa się ze szkół podstawowych, w których w klasie czwartej uczy się co najmniej jeden uczeń. Zgodnie z procedurami międzynarodowymi z operatu wyłączane są szkoły specjalne, szkoły, w których językiem wykładowym jest język inni niż polski oraz szkoły, w których w czwartej klasie uczy się mniej niż 5 uczniów. Te trzy kategorie wyłączeń skutkują usunięciem z operatu losowania około 2-2,5% czwartoklasistów. Schemat doboru próby uczniów opiera się na dwustopniowym doborze warstwowym z zastosowaniem losowania systematycznego. Operat jest podzielony na warstwy – w Polsce warstwami są cztery kategorie wielkości miejscowości, w której znajduje się szkoła. W każdej warstwie losuje się odpowiednią liczbę szkół – każda szkoła ma szansę trafić do próby z prawdopodobieństwem proporcjonalnym do liczby czwartoklasistów, którzy się w niej uczą. Dla każdej szkoły wylosowanej do próby głównej losowane są dwie szkoły zastępcze, na wypadek, gdyby dyrekcja szkoły z próby głównej odmówiła udziału w badaniu. Po uzyskaniu zgody na badanie od dyrekcji szkoły tworzona jest lista oddziałów klasy czwartej. Gdy w szkole jest jeden lub dwa oddziały klasy czwartej, wszyscy uczniowie tych oddziałów uzyskują zaproszenie do badania. Gdy oddziałów jest więcej, odbywa się losowanie dwóch oddziałów do badania. Losowanie szkół realizowane jest przez instytucję należącą do konsorcjum międzynarodowego – Statistics Canada, losowanie uczniów odbywa się w Instytucie Badań Edukacyjnych przy użyciu specjalnego oprogramowania przygotowanego przez konsorcjum międzynarodowe. Na każdym etapie działań realizacyjnych, w trakcie których gromadzone są dane, odbywa się to w oparciu o formularze przygotowane przez konsorcjum międzynarodowe i zaadaptowane przez krajowy zespół TIMSS do warunków polskich.

Poziom realizacji próby

Jedną z miar jakości badania jest poziom realizacji próby (response rate), czyli odsetek uczniów, którzy wzięli udział w badaniu w odniesieniu do wszystkich uczniów wylosowanych do badania. W TIMSS definiuje się go bardziej szczegółowo, jako ważony iloraz liczby uczniów biorących udział w badaniu do liczby uczniów ze wszystkich szkół i oddziałów wylo­sowanych do badania z uwzględnieniem szkół z prób rezerwowych oraz faktu, że niektórzy uczniowie mogą zostać wyłączeni z wyników badania ze względów obiektywnych. Standardy techniczne badania zakładają możliwość wyłączenia ucznia z badania (tzw. wyłączenie wewnątrzszkolne, w odróżnieniu od opisanych powyżej wyłączeń na poziomie szkół). Wyłączeniu mogą podlegać osoby, które nie posługują się językiem, w stopniu wystarczającym do udziału w badaniu, są osobami z niepełnosprawnością funkcjonalną lub intelektualną, która uniemożliwia wypełnienia narzędzi badawczych, a także są „długotrwale nieobecne” w szkole (nieobecni w szkole przez wiele tygodni poprzedzających badanie). Zgodnie z ideą edukacji inkluzywnej uczniowie niepełnosprawni są w Polsce zachęcani do wzięcia udziału w badaniu, ale ich udział nie jest uwzględniany w  podstawie do obliczania wskaźnika poziomu realizacji (response rate) i w wyliczeniach wyników badania. 

Wartość wskaźnika poziomu realizacji próby uznaje się za zado­walającą, gdy w badaniu wzięło udział co najmniej 85% wy­losowanych szkół, co najmniej 95% wylosowa­nych oddziałów w szkołach i co najmniej 85% uczniów w oddziałach, które przystąpiły do badania. Jeżeli kraj nie spełnia tych warunków, sprawdza się, czy ogólny poziom realizacji badania wśród uczniów wyniósł co najmniej 75%. Kraje, które nie spełniają żadnego z tych dwóch kryteriów jakości badania, oznaczane są przy prezentacji wyników specjalnymi adnotacjami w związku z gorszą jakością realizacji, a co za tym idzie mniejszą dokładnością oszacowań i mniejszą pewnością przy wnioskowaniu na podstawie z badania. W Polsce oba te warunki we wszystkich edycjach badania zostały spełnione z nad­datkiem.

Przebieg badania w szkole

Badanie w szkołach przeprowadzane jest wiosną w ustalonym z każdą szkołą, dogodnym dla niej terminie. Na około 3 tygodnie przed ustalonym terminem badania rodzice lub opiekunowie prawni uczniów z wylosowanych oddziałów otrzymują pisemną informację o  badaniu TIMSS 2019, formularz zgody na udział dziecka w badaniu oraz ankietę rodzica do wypełnienia. W tym samym terminie dyrektorzy szkół i nauczyciele wylosowanych oddziałów otrzymują przeznaczone dla nich dane umożliwiające wypełnienie ankiet w formie online.  Wypełnione formularze i  ankiety rodziców w zaklejonych kopertach są zbierane przez koordynatorów szkolnych (są to zwykle wyznaczeni do tego przez dyrektora szkoły nauczyciele) i  przekazywane ankieterowi w dniu badania uczniów w szkole. Sesja testowa zaczyna się od poinformowania uczniów o  międzynarodowym charakterze badania oraz rozdania zeszytów testowych poszczególnym uczniom. Każdy zeszyt zaczyna się od dwustronicowych Wskazówek. Prowadzący badanie ankieter czyta je głośno wraz z uczniami i  sprawdza, czy przykładowe zadania są zrozumiałe dla uczniów. Następnie dzieci przystępują do pracy nad pierwszą częścią zeszytu, a  po 15-minutowej przerwie – nad drugą. Nad każdą częścią mogą pracować nie dłużej niż 36 min. Z dwóch części zeszytu TIMSS jedna dotyczy matematyki, druga – przyrody. We wszystkich częściach znajdują się pytania różnego rodzaju. Niektóre wymagają wyboru jednej z kilku opcji, inne – sformułowania krótkiej odpowiedzi. Uczniowie zaznaczają właściwe opcje lub piszą swoje odpowiedzi w zeszycie testowym. Po zakończeniu sesji testowej i dłuższej przerwie dzieci wypełniają ankietę ucznia. Otwierają ją Wskazówki, które prowadzący badanie czyta wraz z dziećmi, śledzi ich odpowiedzi na przykładowe pytania i  udziela dodatkowych wyjaśnień, gdy coś jest niezrozumiałe. W razie potrzeby procedura zezwala na głośne czytanie uczniom pytań ankiety. Jeśli w  badaniu weźmie udział mniej niż 90 proc. uczniów, ankieter w porozumieniu z zespołem badawczym TIMSS 2019 w IBE organizuje sesję uzupełniającą dla uczniów nieobecnych w dniu sesji głównej. Po zakończeniu sesji ankietowej ankieter dziękuje uczniom za udział w badaniu, zbiera materiały badawcze od uczniów i sprawdza zebrane materiały. Na tym kończy się procedura realizacji badania w szkole.

Kodowanie odpowiedzi uczniów na zadania otwarte i wprowadzanie danych

Po zakończeniu realizacji badania w szkołach papierowe materiały badawcze są przewożone do IBE, a pliki wynikowe z komputerów zawierające odpowiedzi uczniów przesyłane są na serwer międzynarodowy. Odpowiedzi z ankiet rodziców są wpisywane do bazy danych przygotowanej przez międzynarodowe konsorcjum. Odpowiedzi uczniów na zadania otwarte są oceniane (kodowane) według klucza kodowego przez przeszkolonych specjalistów w specjalnie przygotowanym do tego oprogramowaniu.  Po wprowadzeniu wszystkich danych z ankiet rodziców i zakończeniu procesu kodowania następuje weryfikacja baz danych i następnie są one przesyłane do konsorcjum.

Metody obliczeniowe związane z doborem próby

Z doborem próby nierozerwalnie związany jest sposób analizowania danych z badania. Ze względu na to, że schemat doboru próby zakłada nierówne prawdopodobieństwa trafienia uczniów z całej populacji do próby, w trakcie analiz używa się specjalnie wyliczonych wag, uwzględniających prawdopodobieństwa wylosowania szkół, prawdopodobieństwa wylosowania oddziałów oraz poprawki związane ze wskaźnikami poziomu realizacji próby. Po zastosowaniu ważenia danych wyniki uzyskane na próbie uczniów mogą być uogólniane na populację czwartoklasistów w Polsce. Uogólnienie musi uwzględniać również wielkość błędów losowych, która nie są znana, jednak może zostać oszacowana zgodnie z regułami rachunku prawdopodobieństwa. Wokół oszacowań (np. obliczonej średniej lub odsetka) wylicza się tzw. przedziały ufności, czyli wielkość, której błąd losowy nie przekroczy z określonym prawdopodobieństwem (np. przy 95% prawdopodobieństwie mówimy o 95% poziomie ufności). Schemat zastosowany w doborze próby jest złożony. Przy wyliczaniu błędów standardowych, a co za tym idzie przy wyliczaniu długości przedziałów ufności, należy zatem uwzględnić również specyficzne dla tego typu schematów techniki obliczeniowe. W badaniu TIMSS stosuje się technikę Jackknife Repeated Replication (JRR), która pozwala na wyznaczanie przedziałów ufności oraz weryfikację hipotez statystycznych z uwzględnieniem specyfiki przyjętego schematu doboru próby. Oprogramowanie analityczne rozwijane na potrzeby obliczeń statystycznych w badaniu TIMSS ma zaimplementowane wszystkie powyższe rozwiązania. Są one obecne również w przeglądarce danych na stronie IEA, w której nawet mniej zaawansowany użytkownik może zaprojektować swoją analizę.

Skalowanie wyników

Szczególne znaczenie w międzynarodowych badaniach osiągnięć uczniów ma sposób wyliczania wyników uczniów w testach osiągnięć. W TIMSS wyniki przypisywane są poszczególnym uczniom na podstawie procedury skalowania, uwzględniającej liczbę poprawnie rozwiązanych zadań oraz ich trudność.  Uczniowie rozwiązują różne zestawy zadań, które są losowo przydzielone do kilkunastu (tzw. matrix sampling)  rozłożonych w kilkunastu zeszytach testowych. Zaletą takiego rozwiązania jest możliwość wykorzystania znacznie większej liczby różnorodnych zadań, niż gdyby wszyscy uczniowie mieli rozwiązywać te same zadania. Jest to też sposób zapewnienia możliwości porównywania wyników różnych edycji badania, pomimo że jedynie część zadań (tzw. zadania kotwiczące) powtarzanych jest w kolejnych edycjach. Oszacowanie wyników na podstawie danych z tak skonstruowanego badania umożliwiają techniki teorii odpowiedzi na pytanie testowe (Item Response Theory, IRT) – rodzina narzędzi statystycznych służących do modelowania zmiennych nieobserwowalnych o charakterze ciągłym na podstawie wskaźników – w teście TIMSS poprawnych (a w przypadku niektórych zadań też częściowo poprawnych) odpowiedzi na zadania. Na podstawie wszystkich odpowiedzi uczniów szacuje się parametry zadań (w tym ich trudność) oraz parametry rozkładu poziomu umiejętności w całej populacji. W badaniu TIMSS, podobnie jak w innych badaniach międzynarodowych, analizy wyników przeprowadza się z zastosowaniem wartości zmiennych wygenerowanych losowo rozkładu umiejętności ucznia oszacowanego na podstawie jego odpowiedzi w zadaniach, tzw. „wartości prawdopodobne” (Plausible Values). Dzięki temu analizy uwzględniają błąd pomiaru związany z niedokładnością narzędzi testowych.

Sposób prezentowania wyników

Skale umiejętności będące efektem badania TIMSS nie mają obiektywnego punktu zerowego. Wyniki pomiaru umiejętności podawane są na wystandaryzowanej skali o średniej 500 i odchyleniu standardowym 100, wyliczonej  dla krajów uczestniczących w pierwszej edycji badania TIMSS w 1995, która jest punktem odniesienia w kolejnych edycjach badania. Użycie „zadań kotwiczących” o trudności oszacowanej już w poprzednich edycjach badania TIMSS pozwala zakotwiczyć skale TIMSS względem wcześniejszych edycji badania, a tym samym osiągnąć porównywalność wyników kolejnych edycji. Dzięki temu oprócz porównań międzykrajowych możliwe jest również monitorowanie, jak wyniki danego zmieniają się w czasie, o ile oczywiście kraj wziął udział w co najmniej dwóch edycjach badania. Używane w prezentacji wyników badania pojęcie średniej osiągnięć uczniów jest zgodne z intuicyjnym rozumieniem średniej, zwanej inaczej wartością przeciętną. Odchylenie standardowe jest miarą zróżnicowania. Niezwykle ważne w analizach jest monitorowanie zróżnicowania osiągnięć uczniów w kolejnych edycjach lub porównania zróżnicowania wyników w różnych grupach w ramach jednej edycji.

Ogłoszenie wyników badania

Konsorcjum międzynarodowe analizuje dane, które spłynęły z poszczególnych krajów. Analizy trwają około roku. Kolejne pół roku jest poświęcone na przygotowanie materiałów z badania (raport, odtajnione narzędzia badawcze, bazy i tabele wynikowe). W tym samym czasie krajowe zespoły badawcze przygotowują własne raporty. Ogłoszenie wyników następuje w listopadzie lub grudniu w rok po zakończeniu badania głównego w szkołach i jest organizowane przez IEA. Upublicznia się wtedy wyniki uzyskane przez uczniów wszystkich krajów biorących udział w badaniu. Jednocześnie zespoły krajowe organizują własne konferencje prasowe, seminaria i konferencje służące omówieniu wyników badania. W kolejnym roku konsorcjum badawcze przygotowuje również publikacje prezentujące pogłębione analizy wybranych tematów.

W materiałach z badania TIMSS można również znaleźć opracowywane przez koordynatorów krajowych charakterystyki poszczególnych systemów oświatowych, podstaw programowych i programów nauczania, co pozwala na interpretację wyników badań w szerszym kontekście. Informacje te są dostępne online – TIMSS 2019 Encyclopaedia: Educational policy and curriculum in mathematics and science (Mullis i in., 2020), dostępne na stronie internetowej http://timssandpirls.bc.edu.

Badania IEA

Film w 10 krokach przedstawia cykl badań międzynarodowych prowadzonych przez IEA – International Association for the Evaluation of Educational Achievement (Międzynarodowe Stowarzyszenie Mierzenia Osiągnięć Szkolnych), począwszy od opracowania koncepcji badania, skończywszy – na opublikowaniu jego wyników.
 
IEA na poziomie międzynarodowym koordynuje kilka badań edukacyjnych. Polska uczestniczy m.in w badaniu PIRLS, TIMSS, ICCS. Badania na zlecenie MEN realizuje Instytut Badań Edukacyjnych.