Tegnap felszólítottak egy vállalkozónői csoportban, hogy töltsek ki egy tesztet arról, hogy hogyan élem meg a menstruációmat. Mivel a felvezetés kissé túlzóan ambíciózusnak tűnt – 10ezer kitöltőt, nagy mintát, mindezek következtében “pontos képet” vizionált – a “kutatás” felkeltette az érdeklődésemet. Így, bár kitölteni nem állt szándékomban, kattintottam.
Kattintottam, annak ellenére, hogy ekkor különösebb illúzióim már nem voltak a “kutatás” minőségéről – hiszen már magából a felhívásból is kikandikált, többek között, a lefedettségi hiba. És ha ez nem hangzik elég rémisztően, akkor folytatom: egy “nem kezelt” – észre sem vett lefedettségi hibával terhelt felmérés nem csak hogy eleve magában hordozza a téves eredményeket és következtetéseket, hanem egyenesen cégeket vihet csődbe.
Nem túlzok, ugyanis pontosan ez történt 1936-ban, miután a Literary Digest nevű amerikai lap úgy próbálta előrejelezni az aktuális elnökválasztás eredményét, hogy 10 millió olvasójának (igen, tízmillió…) küldött ki rövid kérdőívet arról, hogy kire fognak szavazni – Alf Landonra, vagy Franklin Delano Rooseveltre. Innen Magyarországról, egy nem egészen tízmilliós országból nézve a visszaküldött űrlapok száma elképesztő, 2,4 millió volt; abban talán egyetértünk, hogy ez kis mintának semmiképp sem nevezhető… A statisztikában ugyanakkor nem csak a méret a lényeg, hanem az adatminőség, és a megfelelő mintavétel is. Röviden: egy hatalmas minta is vezethet irdatlanul téves következtetésekre, mint ahogyan az történt 90 éve, az USA-ban… íme, az előrejelzés, és a tényleges választási eredmények! Látható, hogy a becslés és a valóság éppen ellentétes irányú…
Az alapvető probléma itt is, mint a kortárs menstruációs “kutatásban”, a lefedettséggel volt – vagyis azzal, hogy a kérdéseinkkel mennyire érjük el azt a populációt, aminek a véleménye és tapasztalatai érdekelnek minket. Nos, annak idején a Literary Digest figyelmen kívül hagyta, hogy azok a címjegyzékek, amiket a kérdőív kiiküldéséhez használtak, csak a tehetősebb rétegek lakcímeit tartalmazták – így a szegényebbeket egyszerűen nem látta a kutatásuk. Ugyanígy nem fogja látni a facebookot nem használó nőket a menstruációs kutatás, vagy azokat, akiknek nem dobja fel a felhívást az algoritmus. Sőt, itt még rosszabb is lesz a torzítás, hiszen, ha gondoltak volna erre a problémára, a Literary Digest munkatársai megjósolhatták volna a torzítás irányát. Mivel a szegényebbek inkább szavaztak Rooseveltre, ha őket “nem látja” a kutatás, akkor Rooseveltet alulméri – tehát a tényleges választáson nagyobb arányban fognak rá szavazni, mint ahányan a kérdőívet visszaküldők között… A menstruációs kutatásnál azonban fogalmunk sincs, “milyenebbek” azok a nők, akik nem találkoznak a facebookon a kitöltésre való felhívással!
Azután a következő probléma, hogy akikhez elér a kitöltésre való felhívás, azok sem mind fognak válaszolni. Nem fognak válaszolni sem azok, akiket különösebben nem visel meg a menstruáció; de talán azok sem, akiket viszont annyira, hogy próbálnak nem is gondolni rá. Ha, a kezdeményező kérésére a felmérés linkjét a vállalkozónős csoportból megosztják különböző női egészséggel foglalkozó közösségekben, akkor a mintában felülreprezentáltak lesznek azok a nők, akik tudatosan foglalkoznak a témával, akár azért, mert súlyosan érinti őket, akár azért, mert ez a szakmájuk. Sokkal többet tudnak hát a jelenségről, mint egy “átlagnő”, ezzel pedig ismét csak torzítani fogják az eredményeket. A Literary Digest kérdőívét ugyan 2,4 millió ember küldte vissza, de 7,6 millió viszont nem – így tehát róluk sem tudtunk semmit (kimerítve ezzel a nemválaszolási-torzítás fogalmát), de joggal feltételezhették volna a kutatók (amennyiben gondoltak volna erre a problémára), hogy akik nem válaszolnak, azok esetleg több szempontból másmilyenek, mint akik igen – és ha az ő véleményük kimarad a kutatásból, akkor az nem fog pontos eredményekhez vezetni…
De vissza a menstruációs kutatáshoz – hiszen arról, hogy a kérdőív linkjét tartalmazó landing oldalon feltüntették a már addig beérkezett eredményeket, amivel komolyan befolyásolhatják a későbbi kitöltéseket, még nem is beszéltem… Mire ide elérünk, látható, hogy több szinten, több szempontból, több irányból is torzulnak az eredményeink. Összefoglalva: valami egészen mást fogunk kapni, mint amit a MAGYAR NŐK megélnek a menstruációjukkal kapcsolatban, és fogalmunk sem lesz a valóságról, továbbra sem, hiába a nagy minta…
És, hogy ne hagyjam félbe a Literary Digest történetét, ez az irtózatos félrebecslés olymértékben megtépázta az újság hírnevét, hogy nem sokkal a választás után csődbe is ment… Persze ott volt a becslés után egy reality-check, maga a tényleges választás, ahol az olvasók szembesültek a tévedéssel. A menstruációs ‘“kutatás” esetében ilyesmi nem lesz. A felmérés szervezői az összes magyar nőre fognak általánosítani a “kutatásból” – de hogy valójában kikre fognak vontakozni az eredmények, az örök rejtély marad.
A Literary Digest tehát a saját hírnevével fizetett a rossz adatokért – a menstruációs ‘kutatók’ viszont a nők hiteles reprezentációjával fognak fizetni a szakmaiatlanságukért.
Ha mélyebbre ásnál: