OKTATÁSI HIVATAL

Nyelvvizsgáztatási

Akkreditációs Központ

Levelezési cím: 1363 Budapest, Pf. 112.
Ügyfélszolgálat (kizárólag személyesen):
1122 Budapest, Maros utca 19-21.
Telefon: 374-2135
E-mail: info.nyak@oh.gov.hu
Bankszám: 10032000-00282637-00000000

Gazdasági nyelvvizsgarendszerek összehasonlítása

Kiszely Zoltán – Szabó Gábor

Gazdasági nyelvvizsgarendszerek összehasonlítása

Kutatási jelentés

Bevezetés

A nyelvvizsgákról általában és azokon belül a gazdasági nyelvvizsgákról számos megalapozottnak vélt, ám adatokkal alá nem támasztott elképzelés kering az országban. Mivel a NYAK és a NYAT felelős az egyes Magyarországon akkreditált nyelvvizsgák minőségbiztosításáért, felelősséget érez azért is, hogy a maga eszközeivel megerősítse vagy cáfolja a közszájon forgó vélekedéseket. Ez a megfontolás volt a kiindulópontja annak a projektnek, amit a NYAK és a NYAT közösen indított el 2011. januárjában azzal a céllal, hogy a legtöbb vizsgázót vonzó, középfokú (B2) angol írásbeli gazdasági szaknyelvi vizsgák egymáshoz való viszonyáról empirikus adatokon nyugvó információkat szerezzen.
Ebben a jelentésben röviden összefoglaljuk a kutatás kérdéseit, módszertanát és eredményeit.

2. Kutatási kérdések

A vizsgálat három fő kérdésre igyekezett választ kapni.

  1. Milyen a sikeres vizsgák aránya az egyes vizsgarendszerekben?
  2. Különböznek-e egymástól az egyes vizsgarendszerekben vizsgázók eredményei az összesített eredmény, az olvasáskészség, illetve az íráskészség tekintetében?
  3. Különböznek-e egymástól azon vizsgázók eredményei (összesített eredmény, olvasáskészség és íráskészség), akik legalább két különböző vizsgarendszerben is tettek vizsgát?

3. A kutatás módszertana

A kutatásba öt vizsgaközpont egy-egy gazdasági szaknyelvi vizsgarendszerét vontuk be, melyek a következők voltak: BCE-OECONOM közgazdasági szaknyelvi vizsgarendszer, BGF üzleti szaknyelvi vizsgarendszer, KITEX kereskedelmi szaknyelvi vizsgarendszer, GAZDÁLKODÓ gazdasági szaknyelvi vizsgarendszer és SZIE Zöld Út gazdálkodási menedzsment szaknyelvi vizsgarendszer.
A vizsgálat a 2010-ben letett angol nyelvű B2-es szintű írásbeli nyelvvizsgákra fókuszált. Ez összesen 5269 vizsgaeseményt jelentett; ez a szám azon vizsgázókat is magában foglalja, akik több alkalommal is vizsgáztak. A Rex adatbázis segítségével megállapítható volt, hogy a 2010. évben a vizsgázók milyen eredményeket értek el a fenti nyelvvizsgákon, valamint, hogy milyen eredményeket értek el az egyes vizsgarendszerekben azok, akik több különböző vizsgarendszerben is tettek vizsgát 2010-ben.
Mivel a különböző vizsgák eltérő maximális pontszámokkal működnek, az egyes vizsgázói pontszámokat az összehasonlíthatóság kedvéért oly módon szinkronizáltuk, hogy az egyes feladatokon elért pontszámokat százalékos formában tüntettük fel.
Mivel az összehasonlított vizsgarendszerek belső szerkezete egymástól eltérő, az elemzések az olvasáskészség, az íráskészség és az összesített írásbeli eredmények vizsgálatára terjedtek ki.

4. Kutatási eredmények

1. Milyen a sikeres vizsgák aránya az egyes vizsgarendszerekben?
A sikeres vizsgák arányát az alábbi oszlopdiagram mutatja (a részletes adatok a Függelék 1. táblázatában szerepelnek).
oszlopdiagram
Mint az ábrán látható, a sikeres vizsgák aránya vizsgarendszerenként eltérő. A legnagyobb arányban a BCE vizsgán születtek sikeres vizsgák (79%), míg a legalacsonyabb sikerességi arány a KITEX vizsgánál figyelhető meg (43%). Feltétlenül megjegyzendő, hogy ezek az adatok nem nehézségi sorrendet jelentenek a vizsgarendszerek között, hanem csupán arra utalnak, hogy az adott vizsgára jelentkezett résztvevők milyen sikerrel tették le a vizsgát. Az adatokból azonban az is felfedezhető, hogy a vizsgarendszerek között látszólag jelentős az eltérés, amely eltérés okának felderítése további vizsgálódást igényelt. Ezt a célt szolgálta a kutatás második fő kérdése.

2. Különböznek-e egymástól az egyes vizsgarendszerekben vizsgázó jelöltek eredményei az összesített eredmény, az olvasáskészség, illetve az íráskészség tekintetében?
A kérdés megválaszolásához először is célszerű áttekinteni a vizsgákat jellemző leíró statisztikai adatokat, amelyeket a Függelék 2. táblázata tartalmaz. Ezen adatok közül külön figyelmet érdemelnek az átlagos teljesítmények, melyeket az alábbi oszlopdiagram szemléltet.
Az adattáblában szereplő átlagok kerekített értékek.
oszlopdiagram
Mint az ábrán látható, a vizsgarendszerek között az átlageredmények szempontjából is különbségek mutatkoznak. Az összesített eredményeket tekintve a sikerességi arányokhoz hasonló sorrend rajzolódik ki az egyes vizsgarendszerek között, azaz a BCE eredmények a legmagasabbak (68,19% átlageredmény), a KITEX eredmények pedig a legalacsonyabbak (54,29% átlageredmény).
Az olvasás- és az íráskészség esetén ez a sorrend egy kissé eltérő, de a különbségek szemmel láthatók. Annak eldöntésére, hogy ezek a különbségek ugyanakkor statisztikailag szignifikánsak-e (azaz, hogy mekkora annak esélye, hogy a megfigyelt eredmények véletlenszerűen alakultak így), a releváns statisztikai próba elvégzése adhat választ. Jelen esetben ez az ún. Wilcoxon-próba elvégzését jelentette.
Az elemzések eredményeit a Függelékben található 3-5. számú táblázatok mutatják be. Amennyiben a szignifikancia-szint oszlopban szereplő adat 0,01-nál magasabb, akkor a vizsgált eredmények között nincsen tényleges különbség (azaz nagy valószínűséggel a különbség a véletlen műve), amennyiben pedig alacsonyabb, akkor 99% a valószínűsége annak, hogy az eredmények között tényleges különbségről beszélhetünk (tehát a véletlenszerűség szerepe csekély). Amennyiben a szignifikancia-szint oszlopban szereplő adat 0,05-nál magasabb, akkor az eredmények között ugyancsak nincsen tényleges különbség, amennyiben pedig alacsonyabb, akkor 95% a valószínűsége annak, hogy az eredmények között tényleges különbség áll fenn. A 99 és a 95 százalékos biztonsággal kapott válaszok a pedagógiai kutatásban szignifikáns azaz tényleges (valós) különbségnek tekintendőek.
Az eredményeket áttekintve az a kép rajzolódik ki, hogy kevés kivételtől eltekintve mind az olvasás-, mind az íráskészség valamint az összesített eredmények tekintetében is szignifikáns különbségek állapíthatók meg az eredmények között.
A téves következtetések levonását elkerülendő, egy igen fontos körülményt azonban itt feltétlenül ki kell emelnünk. A fentebb feltárt különbségek kizárólag a megfigyelt vizsgaeredményekre vonatkoznak, nem pedig az érintett vizsgarendszerek nehézségi szintjére. Utóbbiakra csak akkor vonatkoztathatnánk az elemzések eredményeit, ha biztosan állíthatnánk, hogy a különböző vizsgákon igen hasonló tudásszintű vizsgázók jelennek meg, vagy akkor, ha a vizsgákat ugyanazok a vizsgázók tették volna le. Ez utóbbi eset természetesen kizárható, míg az előbbi kérdésnek az eldöntése csak úgy lehetséges, ha megvizsgáljuk azon vizsgázók eredményeit, akik több vizsgarendszerben is vizsgáztak, s akiket ily módon viszonyítási pontnak tekinthetünk.

3. Különböznek-e egymástól azon vizsgázók eredményei (összesített eredmény, olvasáskészség és íráskészség), akik legalább két különböző vizsgarendszerben is tettek vizsgát?
A Függelékben szereplő 6-11. számú táblázatok azon vizsgázók eredményeit tartalmazzák, akik a 2010. évben két különböző vizsgarendszernél tettek vizsgát. Olyan vizsgarendszer-párokat mutatunk itt be, amelyekben az a közös, hogy legalább hat vizsgázó mindkét helyen tett vizsgát. Ezek az adatok immár lehetővé teszik a vizsgák közvetlen összehasonlítását, hiszen ha ugyanazok a vizsgázók lényegesen eltérő eredménnyel szerepelnek a különböző vizsgákon, akkor már okkal tételezhetjük fel a vizsgák nehézségi szintjei közötti különbséget. A BCE nem szerepel ebben az összehasonlításban, ugyanis nem volt legalább hat olyan BCE vizsgázó, aki ugyanannál a másik vizsgarendszernél is tett volna vizsgát.
Az adatokat áttekintve igen vegyes kép rajzolódik ki. Az összesített eredmények alapján a BGF könnyebbnek tűnik a KITEX-nél és a ZÖLD ÚT-nál, de a GAZDÁLKODÓ-nál már nem. A KITEX hajszálnyit könnyebb a GAZDÁLKODÓ-nál, a GAZDÁLKODÓ nehezebb, mint a ZÖLD ÚT, utóbbi pedig nehezebb, mint a KITEX. A BGF és a ZÖLD ÚT valamint a KITEX és a ZÖLD ÚT között tűnik jelentősebbnek a különbség (mindkét esetben a ZÖLD ÚT tűnik nehezebbnek), a többi relációban minimális különbségek látszanak.
Fontos hangsúlyozni, hogy ezek a különbségek itt sem biztosan valósak. Ennek eldöntésére ismét a Wilcoxon-próba került alkalmazásra.
A statisztikai elemzések eredményeit a Függelék 12-17. számú táblázatai mutatják be. Az adatok azt mutatják, hogy a BGF-ZÖLD ÚT olvasás- és íráskészség kivételével (ahol is a ZÖLD ÚT szignifikánsan nehezebbnek tűnik), a vizsgákon elért eredmények között sehol sem volt kimutatható szignifikáns különbség, azaz a vizsgázók némiképp eltérő eredményei nem tényleges különbségekre, hanem sokkal inkább véletlenszerű eltérésekre utalnak.
„Ezek az eredmények azt mutatják, hogy mivel az azonos vizsgázók eredményei a különböző vizsgákon érdemben nem különböztek egymástól, nem a vizsgák nehézségi szintje között van valódi különbség. Ha a különböző központokban is próbálkozó vizsgázók szignifikánsan különböző eredményeket értek volna el az egyes vizsgákon, akkor valóban lehetne arról beszélni, hogy a vizsgák nehézsége különbözik egymástól. Így azonban sokkal inkább tételezhetjük fel azt, hogy az igazi differencia a vizsgázói populációk összetételében keresendő, amely tökéletesen megmagyarázza a kutatás első két kérdése kapcsán feltárt különbségeket.”

Összefoglalás

A vizsgált öt gazdasági szaknyelvi vizsgarendszerben a 2010. évben elért eredmények statisztikai elemzései kimutatták, hogy mind az olvasás-, mind pedig az íráskészség terén valós különbségek mutatkoztak a vizsgaeredmények között. Az összesített eredmények tekintetében ugyanez volt megfigyelhető, kivéve a BGF-BCE és a SZIE-GAZDÁLKODÓ relációt, ahol nem volt statisztikailag kimutatható különbség a vizsgaeredmények között. A vizsgálat során megállapítást nyert, hogy a 2010. évben az öt vizsgált rendszer közül a KITEX kereskedelmi vizsgán elért eredmények voltak a legalacsonyabbak, a BCE-OECONOM közgazdasági vizsgán pedig a legmagasabbak.
Mivel az érintett vizsgarendszerek vizsgázói nem feltétlenül hasonló tudásszintűek, szükséges volt más jellegű összehasonlító elemzés elvégzése is.
Ennek során azon vizsgázók eredményeit elemeztük, akik 2010-ben több vizsgarendszernél is nyelvvizsgáztak, s ily módon viszonyítási pontként szolgálhattak a vizsgák tényleges nehézségét illetően. Megállapítást nyert, hogy az esetek túlnyomó többségében az egyes vizsgákon elért eredmények között nem volt szignifikáns különbség, azaz az eredmények ténylegesen nem különböztek egymástól. Ezen adatok azt sugallják, hogy nem a vizsgák nehézségi szintje között, hanem a vizsgázói populációk tudásszintje között van a tényleges a különbség.
Ugyancsak figyelemreméltó adat, hogy az öt vizsgált rendszerben vizsgázók csupán elenyésző része (kb. 120 fő) választott új vizsgarendszert abban az esetben, ha valahol egyszer már sikertelen vizsgát tett. A vizsgázókra sokkal inkább jellemző a „márkahűség”, azaz ragaszkodás az egyszer már kiválasztott vizsgarendszerhez függetlenül attól, hogy a korábbiakban már esetleg többször is sikertelen vizsgát tettek az adott vizsgarendszerben.
Ezek az adatok természetesen megfelelő óvatossággal kezelendők. Bár a fenti következtetések a legteljesebb adatok felhasználásával születtek, a vizsgálat csupán a B2-es szintű angol nyelvi írásbeli vizsgára koncentrált, s tény az is, hogy a kutatás harmadik szakaszában szereplő vizsgázók létszáma viszonylag alacsony volt. Mindazonáltal ez utóbbi esetben is a rendelkezésre álló adatok teljessége került feldolgozásra.

Függelék

Táblázat 1. Írásbeli sikerességi arány
BCE BGF KITEX GAZDÁLKODÓ ZÖLD ÚT
79% 69% 43% 54% 65%

Táblázat 2. Leíró statisztikai mutatók
  N Minimum Maximum Átlag Szórás
BCE olvasás 1046 .00 100.00 76.9034 18.30390
BGF olvasás 839 .00 100.00 72.5507 18.28871
KITEX olvasás 487 3.00 100.00 62.0185 21.37269
GAZDÁLKODÓ olvasás 563 .00 100.00 66.7389 23.00497
ZÖLD ÚT olvasás 2334 .00 100.00 63.7995 19.24367
BCE írás 1046 .00 100.00 60.6214 18.10459
BGF írás 839 .00 100.00 67.3540 21.29114
KITEX írás 487 .00 98.00 47.5606 17.33464
GAZDÁLKODÓ írás 563 .00 98.00 56.4991 18.58695
ZÖLD ÚT írás 2334 .00 100.00 62.9302 19.58863
BCE összes 1046 .00 98.00 68.1912 15.77157
BGF összes 839 .00 100.00 68.1395 17.55933
KITEX összes 487 5.00 96.00 54.2998 16.98996
GAZDÁLKODÓ összes 563 2.00 96.00 60.1581 16.35249
ZÖLD ÚT összes 2334 9.00 100.00 62.4152 16.72373

Táblázat 3. Wilcoxon-próba – olvasáskészség
  Z Szignifikanciaszint
BGF olvasás - BCE olvasás -2.129 .033
KITEX olvasás - BCE olvasás -7.463 .000
GAZDÁLKODÓ olvasás - BCE olvasás -4.634 .000
ZÖLD ÚT olvasás - BCE olvasás -16.945 .000
KITEX olvasás - BGF olvasás -9.812 .000
GAZDÁLKODÓ olvasás - BGF olvasás -6.805 .000
ZÖLD ÚT olvasás - BGF olvasás -13.103 .000
GAZDÁLKODÓ olvasás - KITEX olvasás -3.432 .001
ZÖLD ÚT olvasás - KITEX olvasás -2.821 .005
ZÖLD ÚT olvasás - GAZDÁLKODÓ olvasás -6.550 .000

Táblázat 4. Wilcoxon-próba – íráskészség
  Z Szignifikanciaszint
BGF írás - BCE írás -7.267 .000
KITEX írás - BCE írás -8.514 .000
GAZDÁLKODÓ írás - BCE írás -2.118 .034
ZÖLD ÚT írás - BCE írás -2.605 .009
KITEX írás - BGF írás -13.737 .000
GAZDÁLKODÓ írás - BGF írás -8.833 .000
ZÖLD ÚT írás - BGF írás -3.830 .000
GAZDÁLKODÓ írás - KITEX írás -8.140 .000
ZÖLD ÚT írás - KITEX írás -11.437 .000
ZÖLD ÚT írás - GAZDÁLKODÓ írás -5.640 .000

Táblázat 5. Wilcoxon-próba – összesített írásbeli eredmények
  Z Szignifikanciaszint
BCE – BGF -.1.311 .190
BCE – KITEX -.9.551 .000
BCE – GAZD -.5.791 .000
BCE – ZÖLD ÚT -.9.740 .000
BGF – KITEX -.12.811 .000
BGF – GAZD -.9.482 .000
BGF – ZÖLD ÚT -.9.168 .000
KITEX – GAZD -.5.463 .000
KITEX – ZÖLD ÚT -.4.230 .000
GAZDÁLKODÓ - ZÖLD ÚT -.1.391 .164

Táblázat 6. BGF-KITEX
  N Minimum Maximum Átlag Szórás
BGF olvasás 10 25.00 85.00 54.5000 19.78355
KITEX olvasás 10 19.00 86.00 53.9000 22.56078
BGF írás 10 20.00 75.00 48.5000 16.33843
KITEX írás 10 3.00 70.00 44.7000 18.67887
BGF összes 10 30.00 77.00 50.8000 15.28107
KITEX összes 10 14.00 74.00 48.9000 17.66006

Táblázat 7. BGF-ZÖLD ÚT
  N Minimum Maximum Átlag Szórás
BGF olvasás 10 30.00 85.00 64.5000 18.62644
ZÖLD ÚT olvasás 10 24.00 76.00 48.0000 14.11067
BGF írás 10 30.00 80.00 61.0000 14.86981
ZÖLD ÚT írás 10 20.00 60.00 43.9000 11.79878
BGF összes 10 38.00 77.00 58.2000 13.76630
ZÖLD ÚT összes 10 22.00 64.00 44.6000 13.30163

Táblázat 8. BGF-GAZDÁLKODÓ
  N Minimum Maximum Átlag Szórás
BGF olvasás 7 30.00 80.00 52.8571 17.28611
GAZDÁLKODÓ olvasás 7 25.00 100.00 60.7143 25.42121
BGF írás 7 20.00 85.00 58.5714 22.86086
GAZDÁLKODÓ írás 7 .00 75.00 46.2857 25.11782
BGF összes 7 32.00 77.00 51.0000 18.11997
GAZDÁLKODÓ összes 7 16.00 88.00 51.7143 21.74637

Táblázat 9. GAZDÁLKODÓ-KITEX
  N Minimum Maximum Átlag Szórás
KITEX olvasás 6 61.00 81.00 71.5000 8.14248
GAZDÁLKODÓ olvasás 6 42.00 92.00 68.1667 21.81208
KITEX írás 6 20.00 73.00 51.1667 18.23641
GAZDÁLKODÓ írás 6 45.00 70.00 58.8333 9.04249
KITEX összes 6 45.00 72.00 60.6667 9.93311
GAZDÁLKODÓ összes 6 38.00 77.00 60.1667 13.49691

Táblázat 10. GAZDÁLKODÓ-ZÖLD ÚT
  N Minimum Maximum Átlag Szórás
GAZDÁLKODÓ olvasás 7 17.00 75.00 50.0000 20.34699
ZÖLD ÚT olvasás 7 28.00 72.00 41.7143 15.80838
GAZDÁLKODÓ írás 7 30.00 55.00 45.4286 8.73417
ZÖLD ÚT írás 7 27.00 80.00 58.1429 17.79914
GAZDÁLKODÓ összes 7 39.00 55.00 47.1429 7.10466
ZÖLD ÚT összes 7 35.00 71.00 49.4286 11.13339

Táblázat 11. KITEX-ZÖLD ÚT
  N Minimum Maximum Átlag Szórás
KITEX olvasás 6 19.00 86.00 58.1667 29.38310
ZÖLD ÚT olvasás 6 24.00 64.00 46.0000 15.33623
KITEX írás 6 18.00 45.00 34.0000 11.88276
ZÖLD ÚT írás 6 20.00 47.00 34.5000 10.80278
KITEX összes 6 21.00 63.00 45.5000 16.42863
ZÖLD ÚT összes 6 24.00 53.00 40.5000 11.76010

Táblázat 12. Wilcoxon-próba KITEX-BGF
  Z Szignifikanciaszint
KITEX olvasás – BGF olvasás -.153 .878
KITEX írás – BGF írás -.772 .440
KITEX összes – BGF összes -.357 .721

Táblázat 13. Wilcoxon-próba BGF-ZÖLD ÚT
  Z Szignifikanciaszint
ZÖLD ÚT olvasás – BGF olvasás -2.244 .025
ZÖLD ÚT írás – BGF írás -2.668 .008
BGF összes – ZÖLD ÚT összes -1.938 .053

Táblázat 14. Wilcoxon-próba BGF-GAZDÁLKODÓ
  Z Szignifikanciaszint
GAZDÁLKODÓ olvasás – BGF olvasás -.676 .499
GAZDÁLKODÓ írás – BGF írás -1.363 .173
GAZDÁLKODÓ összes – BGF összes -.594 .553

Táblázat 15. Wilcoxon-próba GAZDÁLKODÓ-KITEX
  Z Szignifikanciaszint
GAZDÁLKODÓ olvasás – KITEX olvasás -.405 .686
GAZDÁLKODÓ írás – KITEX írás -1.367 .172
GAZDÁLKODÓ összes – KITEX összes -.420 .674

Táblázat 16. Wilcoxon-próba GAZDÁLKODÓ-ZÖLD ÚT
  Z Szignifikanciaszint
ZÖLD ÚT olvasás – GAZDÁLKODÓ olvasás -1.101 .271
ZÖLD ÚT írás – GAZDÁLKODÓ írás -1.859 .063
ZÖLD ÚT összes – GAZDÁLKODÓ összes -.507 .612

Táblázat 17. Wilcoxon-próba ZÖLD ÚT-KITEX
  Z Szignifikanciaszint
ZÖLD ÚT olvasás – KITEX olvasás -.734 .463
ZÖLD ÚT írás – KITEX írás -.105 .916
ZÖLD ÚT összes – KITEX összes -.632 .527