Teraz, gdy pierwszy miesiąc szkoły się skończył, rodzice mogą przygotować się na kolejny kamień milowy w roku szkolnym – wkrótce otrzymają raporty z testów państwowych, które ich dzieci zdały w zeszłym roku.

Z moich szacunków wynika, że ​​w zeszłym roku około 26 milionów uczniów szkół publicznych przystąpiło do ogólnostanowych testów z czytania i matematyki. Wielu z nich przystąpiło również do ogólnostanowych testów z przedmiotów ścisłych. Testy te dostarczają rodzicom ważnych informacji o tym, jak dobrze ich dzieci radzą sobie w szkole.

Jednak moje badania pokazują również, że kiedy rodzice otrzymują wyniki testu swojego dziecka, mogą mieć trudności z oddzieleniem ważnych informacji od statystycznego bełkotu.

Co więcej, wyniki mogą nawet nie dać im dokładnych informacji na temat rozwoju akademickiego ich dziecka.

Czy Twoje dziecko jest „biegłe”?

Ustawa „No Child Left Behind”, uchwalona w 2002 r., wymagała od wszystkich stanów ustanowienia „standardów poziomu osiągnięć” w czytaniu i matematyce dla klas od trzeciej do ósmej oraz dla jednej klasy w szkole średniej, zazwyczaj 10. lub 11. klasy. Państwa były również zobowiązane do opracowania testów mierzących poziom uczniów "biegłość" na każdym teście.

Nowa ustawa federalna uchwalona w grudniu 2015 r Ustawa o sukcesie każdego studenta (ESSA), będzie kontynuował tę praktykę.

W rezultacie raporty z testów, które otrzymują rodzice, klasyfikują dzieci według poziomów osiągnięć, takich jak „podstawowy” lub „zaawansowany”. Każde państwo decyduje, jak nazywają się te klasyfikacje, ale przynajmniej jedna kategoria musi oznaczać „biegły”.

Te kategorie poziomów osiągnięć są opisane w raportach z wynikami testów, dzięki czemu informacje te są łatwo zrozumiałe dla rodziców. Na przykład uważam, że co roku warto sprawdzać, czy moi synowie osiągnęli biegłość w każdej dziedzinie.

Ale wyniki testów dzieci w danym roku i ich poziom osiągnięć to nie jedyne informacje podawane w niektórych stanach. Nowy wskaźnik statystyczny, zwany „centylem wzrostu ucznia”, trafia do raportów wysłane do domu do rodziców w 11 stanach. Dwadzieścia siedem stanów używa tego wskaźnika również do oceny nauczycieli.

Chociaż miara „wzrostu” lub postępów uczniów brzmi jak dobry pomysł, percentyle wzrostu uczniów nie zostały jeszcze poparte badaniami. W rzeczywistości kilka badań sugeruje one nie podawaj dokładnych opisów postępów uczniów i skuteczności nauczycieli.

Co to znaczy?

Czym dokładnie są „centyle wzrostu uczniów”?

Są to indeksy zaproponowane w 2008 roku przez Damiana W. Betebennera, statystyk, który zasugerował, że można ich używać jako miary opisowej „rozwój akademicki” studentów z jednego roku szkolnego na następny. Ideą było opisanie postępów uczniów w porównaniu z ich rówieśnikami.

Podobnie jak wykresy wzrostu używane przez pediatrów do opisywania wzrostu i wagi dzieci, percentyle wzrostu uczniów wahają się od najniższego poziomu 99 do wysokiego XNUMX. Jednak ich obliczenia zawierają dużo więcej błędów niż pomiary fizyczne, takie jak wzrost i waga. Nasze badania na University of Massachusetts Amherst wskazują istotny błąd w ich kalkulacji.

Percentyle wzrostu uczniów pochodzą z wyników testów, które nie są dokładnym opisem biegłości akademickiej uczniów: na wyniki testów wpływa wiele czynników, takich jak pytania zadawane danego dnia, temperament uczniów, poziom zaangażowania podczas test lub po prostu metody użyte do oceny ich odpowiedzi.

Percentyl wzrostu każdego ucznia jest obliczany na podstawie co najmniej dwóch różnych wyników testów, zwykle w odstępie roku lub więcej. Najnowsze wyniki testów ucznia są następnie porównywane z najnowszymi wynikami testów uczniów, którzy mieli podobne wyniki w poprzednich latach. Ma to na celu sprawdzenie, który z tych uczniów miał wyższe lub niższe wyniki w tym roku.

Problem polega jednak na tym, że każde z obliczeń obarczone jest pewnym błędem pomiarowym. Dalsze obliczenia tylko potęgują ten błąd. Tak bardzo, że wyniki kończą się dwukrotnie większym błędem. Bez wyrafinowania statystycznego może usunąć ten błąd.

Pytanie brzmi, dlaczego tak wiele państw stosuje tak niewiarygodny środek?

Używając go do odpowiedzialności

Wykorzystanie percentyli wzrostu uczniów wynika częściowo z chęci sprawdzenia, ile uczniowie uczą się w danym roku, i powiązania tych postępów z systemami odpowiedzialności, takimi jak ocena nauczycieli.

W 2010, Konkurs grantowy Race to the Top zachęciła stany do opracowania innowacyjnych sposobów wykorzystania wyników testów do oceny nauczycieli, co utorowało drogę do szybkiego zastosowania tej nowej miary „wzrostu” w wielu stanach.

Jednak stosowanie percentyli wzrostu uczniów rozpoczęło się, zanim przeprowadzono badania nad ich dokładnością. Dopiero teraz istnieje wystarczająca liczba badań, aby je ocenić, a wszystkie badania prowadzą do tego samego wniosku – zawierają wiele błędów.

Oprócz naszych badań na University of Massachusetts Amherst, badania dotyczące dokładności percentyli wzrostu uczniów zostały przeprowadzone przez edukacyjne organizacje non-profit, takie jak ZachódEd, Usługa testowania edukacyjnego i inny instytucje badawcze. Badacze JR Lockwooda i Katarzyna E. Castellano niedawno zakończone że „znaczna baza badawcza już zauważa, że ​​szacunki percentyla wzrostu uczniów dla poszczególnych uczniów zawierają duże błędy”.

Wydaje się jednak, że wiele stanów nie zdaje sobie sprawy z wyników tych badań. Massachusetts posuwa się nawet do tego sklasyfikować dzieci z percentylami wzrostu mniej niż 40 jako „niższy wzrost”, a dzieci z percentylami wzrostu większymi niż 60 jako „wyższy wzrost”.

Pomiar wydajności nauczyciela

Jak wspomniałem wcześniej, 27 stanów wykorzystuje percentyle wzrostu uczniów do klasyfikacji nauczycieli jako „skutecznych” lub „nieskutecznych”. Badania nad wykorzystaniem percentyli wzrostu do tego celu wskazują, że mogą nie doceniać występu z najskuteczniejszych nauczycieli i przeceniać wydajność najmniej efektywnych nauczycieli – dokładne przeciwieństwo tego, co te państwa próbują zrobić ze swoimi systemami oceny nauczycieli.

Niedawny raport WestEd ocenił wykorzystanie percentyli wzrostu uczniów do oceny nauczycieli i zawarta „nie osiągnęły poziomu stabilności”, który byłby potrzebny do podejmowania tak ważnych decyzji.

Wróćmy do tradycyjnych środków

Uważam, że percentyle wzrostu uczniów cofnęły nas o krok wstecz w korzystaniu z testów edukacyjnych w celu poprawy uczenia się uczniów.

Tradycyjne miary wyników dzieci na testach edukacyjnych, takie jak to, czy są „biegłe” w danym roku i ich rzeczywiste wyniki testów, dają dobre wyobrażenie o tym, jak dobrze radziły sobie z matematyką lub czytaniem w danym roku.

Te tradycyjne rankingi percentyla są nadal podawane w wielu testach edukacyjnych, tak jak wtedy, gdy my, rodzice, chodziliśmy do szkoły. Tradycyjne rankingi percentylowe porównywały nas z grupą krajową lub stanową w danym roku, zamiast porównywać nas z tym, jak inne dzieci w kraju lub stanie „dorastały” w różnych testach, które zdawały w różnych latach, jak próbują zrobić percentyle wzrostu uczniów.

Biorąc pod uwagę to, co wiemy teraz o percentylach wzrostu uczniów, radzę rodzicom nie tylko ignorować je w raportach wyników testów ich dzieci, ale także skontaktować się z ich stanowym departamentem edukacji i zapytać, dlaczego podają tak niewiarygodne statystyki.

Dobrym celem jest opracowanie mierników tego, ile uczniowie nauczyli się w ciągu roku. Niestety, percentyle wzrostu uczniów nie wykonują dobrej pracy, aby to zmierzyć.

O autorze

Stephen Sireci, profesor polityki edukacyjnej, University of Massachusetts Amherst

Ten artykuł został pierwotnie opublikowany w Konwersacje. Przeczytać oryginalny artykuł.

Powiązane książki:

at Rynek wewnętrzny i Amazon