A. Geske, A. Grīnfelds. Testu teorijas elementi izglītībā
5. Testu validitāte
Izglītības pētījumos lietoto mērinstrumentu kvalitāte ir ļoti svarīgs faktors, nodrošinot adekvātu secinājumu izdarīšanu, kas balstīti uz savākto datu analīzi. Tāpēc, veidojot pētījumu mērinstrumentus, vienmēr liela uzmanība tiek pievērsta tam, vai ar mērinstrumentu iegūtā informācija ir pietiekami ticama un droša.
Jautājuma aktualitāti, īpaši izglītības pētījumos, nosaka tas, ka atšķirībā no citām zinātnēm, piemēram, fizikas vai ķīmijas, izglītības pētījumu mērinstrumentu veidošanā nav iespējams lietot precīzi noteiktus etalonus. Tāpēc mērinstrumentu (testu, aptauju, interviju utt.) īpašības ne vienmēr var precīzi noteikt, un to piemērotības un drošuma noteikšana ir samērā sarežģīts un darbietilpīgs process.
Visplašāk lietotā validitātes definīcija balstās uz jebkurā izglītības pētījumā svarīgu jautājumu: Vai es patiešām mēru to, ko gribu izmērīt?
Tādējādi, mērinstrumenta validitāte raksturo mērinstrumenta spēju nomērīt tieši to, ko ar šo mērinstrumentu ir paredzēts mērīt.
Piemēram, ja skolotājs grib ar testu noskaidrot skolēnu spēju izprast zinātniski pētniecisko darbību būtību, bet testā iekļauj tikai faktoloģiskus jautājumus par pētniecību, tad šāds tests nemērīs to, ko skolotājs grib mērīt – tātad šis tests būs invalids. Latviešu valodā validitātei atbilstošs termins varētu būt piemērotība vai derīgums.
Klasisko validitātes definīciju mēdz izteikt arī izvērstāk, uzsverot dažādus ar mērinstrumentiem savākto datu īpašību un uz to bāzes izdarīto secinājumu aspektus. Izmantojot šo pieeju, validitāti definē kā uz pētnieku savākto datu kopas izdarīto secinājumu atbilstību, saturīgumu un lietderību.
Tādējādi pētījuma mērinstrumentu validācijas process nozīmē pierādījumu iegūšanu, kas apstiprinātu tikko minētās secinājumu īpašības.
Atbilstīgi secinājumi ir tādi, kas saistīti ar pētījuma mērķiem. Piemēram, ja pētījuma mērķis ir noskaidrot skolēnu zināšanas par latviešu folkloru, tad nav nekādas jēgas, izmantot testa rezultātus par Latvijas ģeogrāfiju.
Saturīgi secinājumi ir tādi, kas satur informāciju par iegūto rezultātu saturu un jēgu, piemēram, ja testā sasniegti augsti rezultāti, tad, ko tas īsti nozīmē. Ko var pateikt par testa dalībnieku, kas sasniedzis testā noteiktu rezultātu? Ar ko atšķiras augstu un zemu rezultātu sasnieguši testa dalībnieki utt.?
Noderīgi secinājumi ir tādi, kas pētniekam palīdz izdarīt slēdzienus un pieņemt lēmumus saistībā ar pētniecisko problēmu. Piemēram, pētot mācību grāmatu ietekmi (saistību) ar skolēnu sasniegumiem, pētnieku interesē informācija, kas ļautu izdarīt secinājumus par to, vai dažādu mācību grāmatu lietošanas rezultātā skolēnu sasniegumi atšķiras un, ja tas tā ir, tad, kāpēc tā notiek.
Rezumējot var teikt, ka izglītības pētījumu mērinstrumentu validitāte ir atkarīga no to pierādījumu dažādības un daudzuma, kas apstiprina uz savākto datu pamata izdarīto secinājumu kvalitāti un noderīgumu pētījuma mērķu sasniegšanai.
Parasti tiek apskatīti šādi galvenie izglītības pētījumu mērinstrumentu validitātes pierādījumu veidi:
Satura validitāte. Šis validitātes pārbaudes veids saistīts ar pētījuma mērinstrumentu saturu un formātu. Cik atbilstošs ir mērinstrumenta saturs? Cik aptverošs? Vai testam izvēlēto jautājumu un uzdevumu komplekts adekvāti atspoguļo vērtējamo (mērāmo) saturisko jomu? Vai mērinstrumenta formāts ir atbilstošs? Mērinstrumenta saturam un formai jābūt atbilstošiem un pieskaņotiem mērāmajiem procesiem vai parametriem.
Kritēriju validitāte. Mērījumu rezultātu saistības noteikšana, iegūstot datus ar pārbaudāmo mērinstrumentu un vienu vai vairākiem citiem (kontroles vai kritēriju) mērinstrumentiem. Cik izteikta un stabila ir šāda saistība? Cik labi ar šādi iegūtiem rezultātiem var novērtēt esošo situāciju vai prognozēt procesu attīstību?
Konstruktu validitāte. Plašākais no mērinstrumentu validitāti raksturojošajiem aspektiem, kas saistīts ar to, cik adekvāti un pilnīgi tiek mērītas pētāmās kategorijas. Būtībā tiek noskaidrots, cik aptveroši darbojas pētījuma mērinstrumenti. Šim nolūkam tiek analizēti pētījumā noskaidrojamie mainīgie lielumi (pētījuma elementi vai konstrukti). Mērinstrumentiem piemīt konstruktu validitāte, ja ar tiem iegūtie dati dod pilnīgu priekšstatu par pētāmajām parādībām.
Nosakot izglītības pētījuma mērinstrumentu satura validitāti, svarīgākais uzdevums ir nodrošināt līdzsvaru starp pētāmo parādību (parametru) un šim nolūkam izmantojamo parādību (parametru) raksturojošo indikatoru kopu no vienas puses un instrumentā iekļauto jautājumu un uzdevumu saturu un formu no otras puses. Praktiski tas nozīmē, ka viens no svarīgākajiem jautājumiem ir instrumentā iekļaujamo jautājumu vai uzdevumu atbilstība un piemērotība. Instrumenta satura validitātes noteikšanai nepieciešams noskaidrot instrumentā iekļautās jautājumu kopas (izlases kopa) reprezentativitāti, attiecībā pret pētījumā iekļauto saturisko jomu raksturojošo jautājumu kopumu (ģenerālkopa).
Piemēram, ja skolotājs grib pārbaudīt, kā viņa skolēni prot risināt teksta uzdevumus matemātikā, tad viņš var sagatavot testu (mērinstrumentu), kurā ir iekļauti 15 teksta uzdevumi. Šāda testa satura validitāte ir atkarīga no tā, vai testā ir vienādi pārstāvēti visi skolēniem mācītie teksta uzdevumu veidi (jautājumu kopas reprezentativitāte attiecībā pret pārbaudāmo parametru). Testa validitāte būs zema, ja tajā būs iekļauti tikai ļoti viegli vai ļoti grūti uzdevumi. Tāpat testa validitāte būs nepietiekama, ja tajā būs pārstāvēti dažādas grūtības pakāpes, bet viena veida uzdevumi.
Vēl viena validitātes problēma saistīta ar instrumenta formātu. Šeit jāmin tādas lietas kā drukātu materiālu kvalitāte, burtu lielums, pietiekami lieli darba laukumi (ja tādi nepieciešami), uzdevumu izpildes norādījumu precizitāte utt.
Satura validitātes apstiprinājumus vai pierādījumus parasti iegūst, izmantojot eksperta pakalpojumus, kas izvērtē gan instrumenta satura, gan formas atbilstību pētījuma mērķiem. Ekspertam(-iem) iesniedz izveidoto mērinstrumentu kopā ar precīzi formulētu mērinstrumenta lietošanas mērķi (ko tieši pētnieks iecerējis ar šo instrumentu nomērīt).
Kopumā pētījuma mērinstrumenta (piemēram, testa) satura validitātes noteikšana ir samērā sarežģīts process, kurā nepieciešams iekļaut vismaz šādus posmus:
- pētāmās kognitīvās jomas noteikšana,
- kvalificētu ekspertu izvēle pētījuma kognitīvajā jomā,
- strukturēta procesa izstrāde kognitīvajai jomai atbilstošu uzdevumu atlasīšanai,
- uzdevumu atbilstības noteikšanas procesa rezultātu apkopošana.
Lai iegūtu izglītības pētījuma mērinstrumenta kritēriju validitātes pierādījumus, pētnieki parasti salīdzina respondentu rezultātus, kas iegūti, lietojot pārbaudāmo mērinstrumentu, ar rezultātiem, kas iegūti, lietojot citu mērinstrumentu (kritēriju). Piemēram, ja izveidots tests, ar kura palīdzību paredzēts noteikt skolēnu sasniegumu līmeni skolā, tad validitātes noteikšanai var salīdzināt skolēnu sasniegtos rezultātus šādā testā ar skolēnu vidējām atzīmēm mācību gadā (ceturksnī, pusgadā). Ja izveidotais instruments tiešām mēra to, kas paredzēts (tātad ir valids), tad abos veidos iegūtajiem skolēnu sasniegumus raksturojošajiem datu masīviem vajadzētu korelēt.
Praktiski tiek lietotas divu veidu kritēriju validitātes noteikšanas metodes – prognozējošā un konkurences. Pirmajā gadījumā kritērija mērinstruments tiek lietots zināmu laiku pēc pārbaudāmā mērinstrumenta. Šai gadījumā mērinstruments tiek izmantots prognozes veidošanai, bet kritērijs – rezultātu apstiprināšanai (kā piemēru varētu minēt diagnosticējošu pārbaudes darbu kādā priekšmetā noteikta mācību posma sākumā un skolēnu atzīmes priekšmetā mācību posma beigās).
Ja ar pārbaudāmo mērinstrumentu un kritērija mērinstrumentu datus savāc praktiski vienlaicīgi un tos tūlīt salīdzina, tad ir pamats runāt par konkurences tipa kritēriju validitātes pierādījumu iegūšanu. Piemēram, ja skolotājs ar skolēnu aptaujas palīdzību noskaidro viņu pašnovērtējuma līmeni un līdzīgu informāciju iegūst arī, noskaidrojot dažādu skolotāju vērtējumus par skolēniem.
Kritēriju validitātes noskaidrošana parasti tiek organizēta šādi:
- piemērotu kritēriju un to mērīšanas metožu atrašana,
- reprezentatīvas respondentu izlases veidošana,
- testa realizācija un tā rezultātu fiksēšana,
- kritērija mērinstrumenta lietošana, kad tas iespējams,
- pārbaudāma mērinstrumenta un kritērija mērinstrumenta rezultātu kopas korelācijas pakāpes noteikšana.