PISA-tutkimusten kritiikki

PISA oppilasarviointeja että OECD ovat johtaneet paitsi ylimääräisen tiedotusvälineissä, mutta myös kovaa tieteellistä keskustelua. Tässä artikkelissa esitetään yhteenveto PISA-tutkimusten (PISA = Program for International Student Assessment ) tavoitteiden, metodologian ja tulkinnan kritiikistä .

PISA: n asema tieteen, liike-elämän ja politiikan välillä

PISA on käynnistänyt satoja, ellei tuhansia, toissijaista työtä, joka arvioi skaalattua tietojoukkoa (osaamisarvot ja taustamuuttujat) yksityiskohtaisemmin eri näkökohtien perusteella. Suuri osa tästä työstä on ilmestynyt vertaisarvioiduissa tieteellisissä lehdissä. Paradoksaalista kyllä, PISA: lle ei ole tehty tällaista laadunvalvontaa: PISA esittelee itseään kiinnostuksen kohteena olevana tai jopa sidottuina sopimustutkimuksina, joita rahoittavat osallistuvien maiden yksittäiset hallitukset ja toteuttavat yksityisen sektorin instituutiot (erityisesti ACER Australia), ja tulokset julkaisee itse OECD julkaistu ilman ennakkoarviointia. Viime aikoina tietojoukot on evätty tiedeyhteisöltä. Ensisijainen julkaisu erikoislehdissä olisi myös tuskin mahdollista, koska testikohdat (psykologian kielellä: "instrumentit") pidetään enimmäkseen salassa, mikä on ilmeistä tieteellisten standardien vastaista.

Se, että PISA ei ole tieteellinen työ sanan tarkassa merkityksessä, vaikeuttaa kritiikkiä, koska keskustelua ei voi niputtaa keskitetyllä kansainvälisellä julkaisuelimellä. Kriittisiä teoksia on toistaiseksi julkaistu hyvin hämmentävällä tavalla joskus hyvin syrjäisissä paikoissa. Tutkijat kokoontuvat vasta muutaman vuoden viiveen jälkeen esitääkseen PISA-kritiikkinsä yhtenäisessä muodossa (erityisesti Jahnke / Meyerhöfer 2006; Hopmann / Brinek / Retzl 2007). Bank ja Heidecke (2009) järjestävät useita kriittisiä julkaisuja PISA: sta ja tarjoavat siten perustan uudelle jäsennellylle keskustelulle. Edellä mainittujen antologioiden lisäksi esitys viittaa muutamiin muihin lähteisiin ja pyrkii samalla pohtimaan kritiikkiä kriittisesti.

Aiheen monimutkaisuuden vuoksi kritiikki on monialainen yritys, johon osallistuvat paitsi kasvatustutkijat , myös kouluttajat, psykologit ja muut tilastollisesti asiantuntevat tutkijat (matemaatikot, fyysikot, ekonomistit).

Hopmann ja Brinek kuvaavat PISA-virkamiesten reaktiota julkiseen kritiikkiin seuraavasti:

  • Hiljaisuus, jotta kriitikot eivät saisi julkista vastausta;
  • jos se ei enää riitä, kiistä kriitikoiden pätevyys ja ota epäoikeudenmukainen motivaatio;
  • myöntää tarvittaessa yksittäisiä ongelmia, mutta väittää, että niillä ei ole merkittävää vaikutusta;
  • lopulta väittävät, että kritiikki on hyvin tiedossa ja kauan sitten kumottu.

PISA: n tavoitteiden kritiikki

Utilitarian koulutuksen tavoitteena PISA on arvosteltu erityisesti ranskankielisen tekijöistä: Ensinnäkin, se aiheuttaa vääristymän testituloksista hyväksi anglosaksisissa maissa ja sitten paine mukauttaa opetussuunnitelmia suuntaan taitoja, jotka ovat välitöntä merkitystä jokapäiväisessä elämässä. Tämä uhkaa esimerkiksi ranskalaisten matematiikkaluokkien erityispiirteitä, jotka pitävät erittäin tärkeinä tiukkoja todisteita . Tässä yhteydessä viitataan OECD: n taloudellisiin tavoitteisiin ja avoimuuden puutteeseen ja demokraattisen legitimiteetin puutteeseen PISAn päätöksentekoprosesseissa (Cytermann DESCO 2003: ssa). Vastaava vastalause on se, että PISA, joka keskittyy matematiikan, äidinkielen ja luonnontieteiden kolmeen alueeseen, edistää yhteiskuntatieteiden, vieraiden kielten ja taiteen syrjäytymistä. Kirjallisuuskasvatus on suljettu pois myös Saksan alueella. Keskeiset koulutusalueet, kuten kielellinen ilmaisu, kirjallisuuden tuntemus, historiallinen, maantieteellinen, poliittinen ja taloudellinen tieto, uskonnollinen ja eettinen perusopetus, esteettinen perusopetus ovat piilossa.

Jahnke (julkaisussa Jahnke / Meyerhöfer 2006) kritisoi perusajatusta halusta "standardoida" koulutus (vrt. Koulutusstandardit ja kritiikki Brügelmann 2005) ja tulkitsee PISA: n avaavan markkinoita testausteollisuudelle .

Freerk Huisken näkee PISA: ssa kansan ja talouden väitteen dokumentoiduksi väitteeksi koulutuksen ja tieteen saavutuksista tai tämän väitteen olevan kansallinen kunniakysymys kansainvälisessä kilpailussa. Tällä tavalla katsottuna kansallisen maineen vahingoittuminen palaa takaisin "meille kaikille" ja haastaa meidät uusiin huippusuorituksiin - kansakunnan hyväksi. Koulutusprosessiin osallistuvien henkilöiden etuihin liittyvä kysymys on siis vain abstrakti ja kansallinen.

Menetelmän kritiikki

Testikohteiden pätevyys opetussuunnitelmassa

On olemassa erilaisia näkemyksiä siitä opetussuunnitelman pätevyyttä , eli vaatimustenmukaisuuden tarkastettavia kohteita opetussuunnitelman koulujen testattu. Vaikka PISA 2000: n johtaja Baumert hylkäsi tämän kategorisesti, hänen seuraajansa Prenzel oletti kategorisesti opetussuunnitelman pätevyyden. Sitä, miten opetussuunnitelman pätevyys määritettiin pitkälti salaisissa tehtävissä, ei kuitenkaan niin kutsuttujen asiantuntija-arvioiden avulla , ei ole vielä selvitetty.

Testattavien tuotteiden laatu

Vuosien 2000 ja 2003 testien jälkeen vain pieni osa käytetyistä tehtävistä ( psykologian kielen instrumentit ) julkaistiin. Suuri määrä kirjoittajia on kritisoinut näitä esimerkkiharjoituksia osittain virheellisiksi tai harhaanjohtaviksi.

Matematiikkaa opettava asiantuntija Wolfram Meyerhöfer (2005) esittää, että PISA ei täytä vaatimusta testata matemaattisia suorituskykyä tai erityisesti "matemaattinen osaaminen". Tulkinnan avulla (menetelmä: didaktinen analyysi ja objektiivinen hermeneutiikka ) hän näyttää erilaisia ​​ongelma-alueita:

  • Usein on niin monta tapaa päästä haluttuun ratkaisuun (joka ei aina ole oikea ratkaisu), että on mahdotonta sanoa, mitä kykyä tehtävä todella mittaa. Rakenteesta "matemaattinen suorituskyky" tulee siten sattuma.
  • Testattavuuden komponentit mitataan myös. Testattavuuden ydinosaaminen osoittautuu ottamasta matemaattista ongelmaa eikä väitettyjä todellisia ongelmia vakavasti, vaan keskittymällä sen sijaan siihen, mitä testaajat haluavat nähdä olevan merkittyjä tai kirjoitettuja. Periaatteessa osoittautuu hyödylliseksi työskennellä keskinkertaisesti, ts. Luopua älyllisestä syvyydestä tehtävien käsittelyssä.
  • Voit arvata monivalintakokeissa . PISA-ryhmä väittää pystyvänsä ratkaisemaan tämän ongelman teknisesti, mutta tämä osoittautuu vääräksi arvioinniksi.
  • Väitetysti käytetyt didaktiset ja psykologiset teoriat ovat vain teoreettisia viitteitä teoreettisesti huonolle testiluomiselle.
  • Testejä ei luoda luomalla operointimittauskonstrukteja, vaan tekemällä järjestelmällisesti tehtäviä yhteen.
  • PISA: ssa "matemaattinen lukutaito" tulisi testata. Lyhyesti sanottuna tämän pitäisi olla kyky "tunnistaa ja ymmärtää matematiikan rooli maailmassa, tehdä perusteltuja matemaattisia päätöksiä ja käsitellä matematiikkaa tavalla, joka täyttää henkilön nykyisen ja tulevan elämän vaatimukset rakentavan, sitoutuneen ja heijastavan kansalaisen ”(PISA-raportti). Tehtävät huomioon ottaen tästä ei voi olla kysymys.
  • Siinä esitetään matematiikan didaktinen habitus, joka on tiivistetty avainsanalla "kääntyminen pois asiasta". Se koostuu seuraavista osista: Ilmeinen suuntautuminen tekniseen kieleen ja matematiikan piilevä tuhoaminen, illuusio läheisyydestä oppilaisiin harhana, laskennallinen suuntautuminen matemaattisen koulutuksen sijaan, todellisten ja matemaattisten "välityksen" epäonnistuminen realistisissa tehtävissä. Jälkimmäinen perustuu sekä todellisen että matemaattisen aitouden laiminlyöntiin.

Epäilyjä kulttuurienvälisestä vertailukelpoisuudesta

Käännösongelma

Käännösongelma, jota ei ole ratkaistu ensimmäisistä vertailevista kouluopinnoista lähtien, vääristi kansainvälisiä vertailuja eri tavoin:

  • Tehtävien alkuperä (lähinnä anglosaksialueelta ja Alankomaista).
  • Eri kielien erilainen luettavuus (puhtaan tekstin pituus vaihtelee 10% tai enemmän).
  • Tekstit kääntyvät yleensä pidemmiksi.
  • Kun kääntäjät ymmärtävät tehtävän, heillä on tapana tarjota apua (Freudenthal 1975).
  • Jos kääntäjät eivät näe kaikkia sudenkuoppia, tehtävä voi olla paljon vaikeampaa.
  • Käännösvirheitä esiintyy.

Tehtävämuodon tuntemus

Toinen ongelma on tehtävämuodon erilainen tuntemus. Meyerhöfer puhuu tässä yhteydessä "testattavuudesta"; "Testwisenessin" merkityksestä on pitkään keskusteltu Yhdysvalloissa. Wuttke (2006) huomasi, että jopa 10% saksankielisistä opiskelijoista ei ymmärrä monivalintamuotoa ja valitsi useamman kuin yhden vaihtoehtoisen vastauksen, jos implisiittisesti todettiin, että yksi vastaus on oikea. Joachim Wuttken mukaan "moniin tehtäviin [...] vaaditaan taidetta kirjoittaa vastauslause, joka ottaa tietoa tekstistä toistamatta sitä sanatarkasti. Joskus on vaikea arvata, mitä tutkinnon haltijat haluavat kuulla. Ainoastaan ​​englanninkielisessä julkaisussa toistetut korjausohjeet osoittavat, kuinka paljon englantilaisamerikkalaiset tutkimustavat muokkaavat tässä mitattua. "

Testiin osallistujien motivaatio

Amerikan sisäisistä tutkimuksista tiedetään, että ero pienien panosten ja korkeiden panosten testien välillä voi olla puolet tai enemmän keskihajonnasta . Sjoeberg vertaa ehdottomien saavutusten motivaatiota Taiwanissa ja Koreassa, joissa kansallislaulu lauletaan ennen testiä, norjalaisten ja tanskalaisten opiskelijoiden mentaliteettiin, joka kysyy itseltä, mitä testi tuo heille henkilökohtaisesti, ja viimeistään kun testitehtävät eivät ole hauskoja, eivät enää tee vakavia ponnisteluja.

Tilastolliset puutteet

PISA: ta ja vastaavia tutkimuksia arvioitaessa syntyy perusongelma, että suorituskykyerot kunkin maan sisällä ovat paljon suurempia kuin tyypilliset maiden väliset erot . Mittaustarkkuus alemmalla prosenttialueella on siis tarpeen, jotta voidaan tehdä tilastollisesti merkittäviä lausuntoja tällaisista eroista. PISA: ssa tämä saavutetaan muodollisesti käyttämällä erittäin suuria otoksia (noin 5000 opiskelijaa maata kohden). Virallisissa standardivirheissä ei kuitenkaan oteta huomioon mahdollisia järjestelmällisiä ennakkoluuloja.

Tällaisia ​​vääristymiä aiheuttavat muun muassa:

  • PISA testasi 15-vuotiaita. Tässä iässä erityisen heikot oppilaat eivät ole enää koulussa monissa maissa. Esimerkiksi Turkissa vain 54 prosenttia käy koulua tässä iässä, Meksikossa 58 prosenttia, mutta Saksassa 96,3 prosenttia. Tämä tarkoittaa: Erityisen heikot opiskelijat masentivat tasoa täällä, kun taas muissa maissa he eivät enää olleet edustettuina koulun keskeyttäjinä - mutta he kuitenkin kannattavat koulujärjestelmän yleistä tehokkuutta.
    • Kiina käyttää ns. Hukou- järjestelmää tiettyjen asuntojen jakamiseen asukkaille heidän todellisesta asuinpaikastaan ​​riippumatta, mikä liittyy myös vapaaseen pääsyyn oppilaitoksiin. Shanghain hyvät testitulokset voivat johtua tästä maaseutuväestön syrjinnästä. Osoitus tästä on testattujen 15-vuotiaiden suhteellisen pieni määrä suhteessa koko väestöön.
  • Lähtötiedot ovat epäluotettavia (alkuperäisiä luetteloita ei ole kaikista viidentoista vuoden ikäisistä; otanta on erittäin monimutkainen eikä sitä voida tarkistaa).
  • Suorituskykyyn perustuvat osallistumisasteet.
    • Yhdysvallat laski rankaisematta alle 65 prosentin vähimmäiskoulun.
    • Etelä-Tirolissa vain 83% kaikista viisitoista-vuotiaista ilmoitettiin koululaisiksi, vaikka koulunkäynti on siellä vielä pakollista tässä iässä. Ammattikoulut on todennäköisesti pitkälti suljettu pois testistä, mikä selittäisi maan huipputuloksen tilastollisena ennakkoluulona (vrt. Tilastollinen artefakti ).
    • Itävallassa kaikkia PISA 2000 -tuloksia oli tarkistettava alaspäin huomattavasti vuosia myöhemmin, koska ammattikouluopiskelijat eivät ottaneet riittävästi huomioon.
  • Epäyhtenäinen oppimisvaikeuksista kärsivien opiskelijoiden poissulkeminen. Vain seitsemässä maassa, mukaan lukien Saksa, testattiin erityiskouluopiskelijoita lyhyillä testeillä. Jos nämä testit jätettäisiin pois PISA: sta, Saksa saapuisi Pisa 2003: een, kun opiskelijoiden lukutulokset olisivat 18. - 12. sija 29 maan joukossa. Muissa maissa ei ole erityiskouluja oppiville vammaisille, mutta ne ovat kyenneet sulkemaan koulutasolla jopa 4,5% väestöstä. Oppimisvaikeuksista kärsivien osuus Saksassa on 2,5%.
    • Tanska, Suomi, Kreikka, Irlanti ja Puola ovat jättäneet dysleksikot testistä. Dysleksiikkojen osuus Saksassa on 4-15%.
    • Tanskassa myös laskemisongelmista kärsivät opiskelijat suljettiin pois. Niistä dyskalkulia 4-5% opiskelijoista Saksassa vaikuttaa.
    • Kansainvälisten sääntöjen rikkominen: Kanada, Tanska, Uusi-Seelanti, Espanja ja Yhdysvallat ovat sulkeneet pois yli sallitut 5% kohderyhmästä.
  • Yksityiskohdat näytteenotosta ja testin suorittamisesta ovat täysin hallitsemattomia, ja niitä voidaan manipuloida mielivaltaisesti, jos asiasta on vastaava poliittinen kiinnostus.

Hankkeeseen osallistuneet rikkovat sääntöjä

Bielefeldin laboratorion tieteellisen tukikomitean johtaja, professori Dr. Tillmann on myös kansallisen PISA-yhteenliittymän jäsen. Saksan opettajaliitto kritisoi tätä. Bielefeldin laboratorio koulu testattiin omasta pyynnöstään uudelleen vuoden kuluttua PISA-pääajosta. Tässä vaiheessa jotkut PISA-tehtävistä olivat jo tiedossa. Yksittäisten koulujen arviointi on tarkoitettu vain palautteeksi koulun johtajalle. Tilastollisista syistä niitä ei voida käyttää vakaviin vertailuihin. Siksi koulujohtajien oli pidettävä luottamuksellisuutta. Yksittäisten koulujen tulokset on kuitenkin julkistettu osittain avoimista poliittisista syistä.

tulkinta

Ovatko PISA- arviot koulun suoritustesti?

Suurin osa kansalaisista kokee PISA: n tutkimuksen koulujärjestelmän suorituskyvystä. Tämä on yhdenmukaista käsityksen kanssa PISA: sta maakilpailuna, koska koulujärjestelmän perusrakenne vaihtelee maittain. Tämä PISA: n tulkinta koulun suoritustutkimuksena perustuu seuraaviin oletuksiin:

(1) PISA testaa ikää, ei arvosanaa. Tämä voi olla perusteltua, jos suorituskykyä pidetään tiettyyn ikään asti. PISA syrjii koulujärjestelmiä, joissa merkittävällä osalla oppilaita on alemmat arvosanat myöhään ilmoittautumisen , istumalla pysymisen tai vapaaehtoisen toistamisen vuoksi . Siksi PISA-lähestymistapa ei sovi vertailemaan oppilaiden suorituksia ”pakollisen koulutuksen lopussa”. Voidaan kuitenkin myös kysyä, ovatko varusteet jne. Järkeviä koulutustoimenpiteitä. Tieteellisen tutkimuksen tehtävänä on kuitenkin määritellä selkeästi ja avoimesti omat standardinsa ja pidättäytyä kaikista arvioinneista, jotka ovat jo implisiittisiä otoksen määritelmän valinnassa.

(2) PISA ei mittaa kognitiivisten taitojen lisääntymistä koulun aikana, vaan vain tietyn ikäryhmän nykytilannetta. PISA: n suoritustiedoista ei voida päätellä, missä määrin suorituskyky johtuu koulukoulutuksesta ja missä määrin se johtuu erilaisista järjestelmistä ja ympäristövaikutuksista. Tämä väite estää sen, että on olemassa lukuisia muita tutkimuksia, mukaan lukien pituussuuntaiset leikkaukset, kuten B. LAU: n tutkimukset Hampurissa. Kysymys tilasta tai ympäristöstä ei nouse koululle. Ratkaiseva tekijä on se, voidaanko jotain muuttaa ja onko sinulla tarpeeksi aikaa tehdä niin, mikä on kyseenalaista luokan 4 jälkeisen varhaisen valinnan vuoksi. Kuitenkin - joten kritiikki jatkuu - PISA mahdollistaa suorituskykytiedon korreloinnin sosiaalisten ominaisuuksien kanssa . Tulokset osoittavat, että sosiaalisilla olosuhteilla eri maissa on erilaiset vaikutukset kognitiiviseen suorituskykyyn. Saksassa eniten mainittu esimerkki on siirtolaislapset, jotka jäävät jälkeen Saksassa enemmän kuin muissa maissa. Itä-Saksassa on korkeampia maahanmuuttajalapsia lukioissa kuin Länsi-Saksassa. Esimerkiksi Thüringenissä 63% vietnamilaista lasta käy lukiossa. Tämä selitetään "progressiiviseksi", kun Itä-Saksassa on paljon parempi päiväkoti ja päivähoitojärjestelmä, "konservatiivinen", jossa vietnamilaisten kulttuurien koulutus arvostetaan erittäin hyvin, "etninen" ja aasialaisten keskimääräisesti korkeampi älykkyysosamäärä (verrattuna turkkilaisiin, arabeihin). tai myös eurooppalaiset) ja "sosiologinen-historiallinen", sillä Vietnamista v. a. eliitit pakenivat Saksaan kommunismista.

(3) PISA-tulokset julkaistaan ​​noin kaksi vuotta tutkimuksen jälkeen. Siksi johtopäätökset koulupoliittisesta tilanteesta julkaisuhetkellä eivät ole sallittuja (mikä tehdään raportoinnissa). Tämä väite olettaa kuitenkin järjestelmän nopeat muutokset, mikä on tuskin osoitettu toistaiseksi.

(4) Tuloksia tulkittaessa PISA-tutkimuksissa ei oteta huomioon eri lukumäärän opetustuntien käyttöä, ulkopuolista institutionaalista oppimista ja esimerkiksi matematiikan asiantuntijatuntien osuutta opetustuntien kokonaismäärästä. Esimerkiksi Koreassa on erittäin korkeat arvot matematiikan oppituntien lukumäärälle ja opetussuunnitelman ulkopuolisen sitoutumisen arvoille.

Mitataanko PISA-tutkimuksissa älykkyyttä?

Heiner Rindermann ja Siegfried Lehrl väittävät, että PISA on yritys, jolla mitataan yleistä älykkyyttä , ja että se on monimutkaisin ja paras koskaan tehty kansainvälisesti. Kirjoittajien mukaan PISA: n maakohtaiset tulokset sopivat plus- tai miinus-kolmeen IQ- pisteeseen kirjan IQ-tietojen (ja arvioiden) kanssa : IQ and Wealth of Nations (Lynn ja Vanhanen, 2002). Havaitut korrelaatiot, jotka näytteiden pääosin "erinomaisen edustavuuden" vuoksi ovat korkeammat kuin tähän mennessä tavallisten IQ-testien välillä, osoittavat IQ-testien kannattajille, että PISA-tulokset ovat periaatteessa yhdenmukaisia ​​vuosisadan klassisen älykkyyden tutkimuksen tulosten kanssa todistettujen, standardoitujen IQ-testien hyödyllisyys sekä PISA-arvojen ja IQ: n erittäin korkea korrelaatio TIMSS-tutkimuksen ja IGLU-tutkimuksen tuloksiin . PISA-tutkimusten tulokset eivät kuitenkaan korreloi IGLU-tutkimuksen tuloksiin, koska näillä kahdella tutkimuksella on erilaiset otosmäärittelyt. Vaikka PISA-tutkimus perustuu koehenkilöiden ikään (15 vuotta), IGLU: n peruskoulun tutkimuksessa testataan tietyn luokan (enimmäkseen 4. luokan) oppilaita. Siksi näiden kahden tutkimuksen tulokset eivät voi olla korreloivia eivätkä myöskään voi vahvistaa "vuosisadan klassisen älykkyyden tutkimuksen tuloksia" edellyttäen, että oletetaan, että älykkyys neljännen luokan lapsilla on koulusta riippumaton ja muuttumaton, mikä on kuitenkin kyseenalainen oletus.

Yksittäiset todisteet

  1. ↑ Hopmann / Brinek / Retzl 2007, s. 14f.
  2. ↑ news4teachers.de
  3. ↑ Freerk Huisken : "PISA-sokki" ja miten selviytyä siitä. Kuinka paljon tyhmyyttä tasavalta tarvitsee / sietää? VSA-Verlag Hampuri 2005.
  4. ↑ Esimerkiksi monivalintakysymyksessä vastaus "Evoluutio on tutkimuksen osoittama teoria" arvioidaan virheelliseksi. Englanninkielisen alkuperäiskappaleen "tutkimus" sijasta ei ole "tutkimusta" vaan "tieteellisiä kokeita". (Joachim Wuttke: PISA: kallis satunnaislukugeneraattori. Julkaisussa: Berliner Zeitung. 11. joulukuuta 2007)
  5. ↑ Joachim Wuttke: PISA: kallis satunnaislukugeneraattori. Julkaisussa: Berliner Zeitung. 11. joulukuuta 2007.
  6. ↑ julkaisussa Hopmann et ai. 2007, s. 220--223.
  7. ↑ Wuttke (2007), ensimmäinen julkaisussa Jahnke / Meyerhöfer (2006).
  8. ↑ Huomio OECD-PISA: Hiljaisuus Kiinassasi on väärä , 12. joulukuuta 2013.
  9. ↑ Learn-foerdern.de ( Memento of alkuperäisen 5. maaliskuuta 2016 Internet Archive ) Info: arkisto yhteys oli lisätään automaattisesti, ei ole vielä tarkastettu. Tarkista alkuperäinen ja arkistolinkki ohjeiden mukaisesti ja poista tämä ilmoitus. @ 1@ 2Malline: Webachiv / IABot /lern-foerdern.de
  10. ↑ legasthenie-lds.org ( Memento of alkuperäisen 5. maaliskuuta 2016 Internet Archive ) Info: arkisto yhteys oli lisätään automaattisesti, ei ole vielä tarkastettu. Tarkista alkuperäinen ja arkistolinkki ohjeiden mukaisesti ja poista tämä ilmoitus. @ 1@ 2Malline: Webachiv / IABot / www.legasthenie-lds.org
  11. ↑ akl-bayern.de
  12. ↑ Lehrerverband.de ( Memento of alkuperäisen 15. syyskuuta 2007 Internet Archive ) Info: arkisto yhteys oli lisätään automaattisesti, ei ole vielä tarkastettu. Tarkista alkuperäinen ja arkistolinkki ohjeiden mukaisesti ja poista tämä ilmoitus. @ 1@ 2Malline: Webachiv / IABot / www.lehrerverband.de
  13. ↑ statsoft.com

kirjallisuus

nettilinkit