Statistiek van experiment

[cartman666]

Ik moet een experiment opzetten dat een zekere significantie moet opleveren. Het voornaamste doel is dus eigenlijk het bepalen van het aantal proefpersonen dat nodig is (voor zover mogelijk).

Helaas blijkt het al erg lastig om een duidelijk toetsingsgrootheid in elkaar te flansen en ondertussen ben ik zo ten einde raad dat ik hier hulp zoek.
Dit is het probleem:
Ik stel mijn proefpersonen een aantal keer een vraag die ze goed of fout kunnen beantwoorden. (Deze vraag is of de kracht op hun arm groter/kleiner/gelijk is aan een andere kracht.)
Nu wil ik aantonen dat mensen het verschil niet kunnen voelen.

Volgens mij is dit een standaard binomiaal experiment met B(n,p), met p de kans op een juist antwoord.
De stellingen zijn dan:
H0: p=1
H1: p<1
Als ik H0 verwerp en H1 aantoon (sterke uitspraak) dan heb ik bewezen dat de proefpersoon het verschil niet voelt.

Dat volgens mij dus niet, en wel hierom: Als p=1 dan B(n,1) = n. Ofwel: één goed antwoord zorgt al dat p niet meer 1 kan zijn. Echter, iemand kan net even niet opgelet hebben of onnadenkend geantwoord hebben. Bovendien zit ik straks met >100 metingen waarbij ik bij 99 keer het juiste antwoord toch wil kunnen zeggen dat men het verschil kan voelen.

Help?

[mathfreak]

cartman666 schreef op 01-06-2007 @ 11:35 :
Ik moet een experiment opzetten dat een zekere significantie moet opleveren. Het voornaamste doel is dus eigenlijk het bepalen van het aantal proefpersonen dat nodig is (voor zover mogelijk).

Helaas blijkt het al erg lastig om een duidelijk toetsingsgrootheid in elkaar te flansen en ondertussen ben ik zo ten einde raad dat ik hier hulp zoek.
Dit is het probleem:
Ik stel mijn proefpersonen een aantal keer een vraag die ze goed of fout kunnen beantwoorden. (Deze vraag is of de kracht op hun arm groter/kleiner/gelijk is aan een andere kracht.)
Nu wil ik aantonen dat mensen het verschil niet kunnen voelen.

Volgens mij is dit een standaard binomiaal experiment met B(n,p), met p de kans op een juist antwoord.
De stellingen zijn dan:
H0: p=1
H1: p<1
Als ik H0 verwerp en H1 aantoon (sterke uitspraak) dan heb ik bewezen dat de proefpersoon het verschil niet voelt.

Dat volgens mij dus niet, en wel hierom: Als p=1 dan B(n,1) = n. Ofwel: één goed antwoord zorgt al dat p niet meer 1 kan zijn. Echter, iemand kan net even niet opgelet hebben of onnadenkend geantwoord hebben. Bovendien zit ik straks met >100 metingen waarbij ik bij 99 keer het juiste antwoord toch wil kunnen zeggen dat men het verschil kan voelen.

Help?

Kijk maar eens op http://nl.wikipedia.org/wiki/Statistische_toets

[cartman666]

mathfreak schreef op 01-06-2007 @ 20:21 :
Kijk maar eens op http://nl.wikipedia.org/wiki/Statistische_toets

Ja, daar heb ik al gekeken. Bovendien heb ik gewoon statistiek gehad in mijn 2e jaar. Helaas snapte ik het toen al nauwelijks, en haalde ik het in één keer met een zesje, maar de kennis van die wiki kan ik nog behappen.

Het probleem is dat je in een binominaal toetsingsprobleem volgens mij nooit kan werken met een H0 of H1 die stelt dat p=1 of p=0. Alleen al omdat de n-p-c kans-tabel voor p=1 ontbreekt omdat die uit alleen maar nullen zou bestaan.

Bij een dobbelsteen werken ze met p = 1/6, wat logisch is voor een dobbelsteen, want in de theoretische situatie is dat de kans dat je een bepaalde waarde gooit. Bij mijn experiment zou p (de kans op een goed antwoord) 1/2(gokken) of 1(weten) moeten zijn. De proefpersoon kan ofwel het verschil niet voelen, ofwel het verschil wel voelen.

Oja, ik zie op die wiki de volgende zin Omdat n zo groot is, kan deze verdeling beschouwd worden als een normale met verwachting np=100 en variantie np(1-p)=83,33, dus standaardafwijking 9,13. Dat kan ik ook al niet, want deze aanname is geldig voor een gemiddelde p waarde. 0.1<p<0.9 zoiets. Voor extreme waarde van p is een poisson vergelijking met mu=np bruikbaarder maar ik weet p niet. Die kan 1/2 of 1 zijn.

Overigens zeg ik alles hierboven alsof het allemaal waar is, maar ik weet dat ik het zeg zonder gehinderd te zijn door wiskundige kennis. Dit komt allemaal uit verschillende boekjes en sites. Ik hoop dat ik een grove denkfout maak en dat iemand hier die kan aanwijzen.

[mathfreak]

cartman666 schreef op 01-06-2007 @ 20:49 :
Ja, daar heb ik al gekeken. Bovendien heb ik gewoon statistiek gehad in mijn 2e jaar. Helaas snapte ik het toen al nauwelijks, en haalde ik het in één keer met een zesje, maar de kennis van die wiki kan ik nog behappen.

Het probleem is dat je in een binominaal toetsingsprobleem volgens mij nooit kan werken met een H0 of H1 die stelt dat p=1 of p=0. Alleen al omdat de n-p-c kans-tabel voor p=1 ontbreekt omdat die uit alleen maar nullen zou bestaan.

Bij een dobbelsteen werken ze met p = 1/6, wat logisch is voor een dobbelsteen, want in de theoretische situatie is dat de kans dat je een bepaalde waarde gooit. Bij mijn experiment zou p (de kans op een goed antwoord) 1/2(gokken) of 1(weten) moeten zijn. De proefpersoon kan ofwel het verschil niet voelen, ofwel het verschil wel voelen.

Oja, ik zie op die wiki de volgende zin Omdat n zo groot is, kan deze verdeling beschouwd worden als een normale met verwachting np=100 en variantie np(1-p)=83,33, dus standaardafwijking 9,13. Dat kan ik ook al niet, want deze aanname is geldig voor een gemiddelde p waarde. 0.1<p<0.9 zoiets. Voor extreme waarde van p is een poisson vergelijking met mu=np bruikbaarder maar ik weet p niet. Die kan 1/2 of 1 zijn.

Overigens zeg ik alles hierboven alsof het allemaal waar is, maar ik weet dat ik het zeg zonder gehinderd te zijn door wiskundige kennis. Dit komt allemaal uit verschillende boekjes en sites. Ik hoop dat ik een grove denkfout maak en dat iemand hier die kan aanwijzen.

Volgens mij is de denkfout die je maakt dat de kans 1 zou moeten zijn. Stel dat je een totaal van n personen hebt en dat k personen het verschil voelen, dan is p=k/n de kans dat een persoon het verschil voelt en q=1-p=(n-k)/n de kans dat een persoon het verschil niet voelt. Het enige wat je dan nog moet weten is je significantieniveau alfa, dat bepaalt hoe groot je kritieke gebied is. Omdat je linkszijdig toetst krijg je K={0,1,2,...k_l} als je kritieke gebied, waarbij k_l bepaald wordt uit P(X<=k_l)<=alfa. Als X het aantal personen met "succes" is, en als dit aantal deel uitmaakt van je kritieke gebied, dan wordt H₀ verworpen, anders wordt H₀ aanvaard.

[cartman666]

mathfreak schreef op 01-06-2007 @ 21:25 :
Volgens mij is de denkfout die je maakt dat de kans 1 zou moeten zijn. Stel dat je een totaal van n personen hebt en dat k personen het verschil voelen, dan is p=n/k de kans dat een persoon het verschil voelt en q=1-p=(n-k)/k de kans dat een persoon het verschil niet voelt. Het enige wat je dan nog moet weten is je significantieniveau alfa, dat bepaalt hoe groot je kritieke gebied is. Omdat je linkszijdig toetst krijg je K={0,1,2,...k_l} als je kritieke gebied, waarbij k_l bepaald wordt uit P(X<=k_l)<=alfa. Als X het aantal personen met "succes" is, en als dit aantal deel uitmaakt van je kritieke gebied, dan wordt H₀ verworpen, anders wordt H₀ aanvaard.

Dat klinkt inderdaad wel beter. Maar stel dat ik een test doe met 50 personen, 40 geven het juiste antwoord. p = k/n (neem ik aan dat je bedoelde) = 0,8. Dus B(50 ; 0,8).
Maar met het kritieke gebied bewijs ik dan toch dat mijn test naar alle waarschijnlijk genomen is uit een B(50 ; 0,8) verdeling? Maar dat zou vrij evident zijn als ik de verdeling net heb vastgesteld mbv mijn experiment.

Ik zat gisteravond trouwens opeens aan een verdelingsvrije toets te denken. Wilcoxon misschien, maar daar weet ik nog minder van, dus misschien slaat het wel nergens op.

[mathfreak]

cartman666 schreef op 02-06-2007 @ 14:03 :
Dat klinkt inderdaad wel beter. Maar stel dat ik een test doe met 50 personen, 40 geven het juiste antwoord. p = k/n (neem ik aan dat je bedoelde) = 0,8. Dus B(50 ; 0,8).
Maar met het kritieke gebied bewijs ik dan toch dat mijn test naar alle waarschijnlijk genomen is uit een B(50 ; 0,8) verdeling? Maar dat zou vrij evident zijn als ik de verdeling net heb vastgesteld mbv mijn experiment.

Het is mede afhankelijk van de keuze van je waarde voor alfa of je al of niet de juistheid van je hypothese aanvaardt. Laten we veronderstellen dat je weet dat je over een populatie van 50 personen beschikt en dat je uitgaat van H₀: p=0,8 en
H₁: p<0,8. Stel dat je kiest voor alfa=0,05, dan moet de gezochte waarde k_l voldoen aan P(X<=k_l)<=0,05. Met een tabel voor binomiale verdelingen vind je dan: k_l=34, dus K={0,1,2,...,34}. Veronderstel dat 10 personen het verschil voelen, dan geldt: X=10. Omdat X=10 een waarde in K voorstelt betekent dit dat H₀: p=0,8 als hypothese wordt verworpen en dat H₁: p<0,8 als hypothese wordt aanvaard. Als je dus linkszijdig wilt toetsen moet je dus eerst weten wat voor waarde van p je wilt kiezen, hoe groot je populatie n is, en welk significantieniveau alfa je wilt kiezen. Op grond daarvan bepaal je je kritieke gebied K. Als je vervolgens weet hoe groot X is, dus hoeveel personen uit jouw populatie het verschil voelen, kun je op grond daarvan bepalen of je de hypothese H₀: p=p₀ of H₁: p<p₀ aanvaardt. Je weet dan ook welke hypothese je dus verwerpt.
Merk overigens op dat ik de waarden voor p en q in mijn vorige reply inmiddels heb gecorrigeerd.

cartman666 schreef op 02-06-2007 @ 14:03 :
Ik zat gisteravond trouwens opeens aan een verdelingsvrije toets te denken. Wilcoxon misschien, maar daar weet ik nog minder van, dus misschien slaat het wel nergens op.

In dat geval ga je uit van 2 steekproeven. Zie voor verdere info
http://nl.wikipedia.org/wiki/Wilcoxon

[cartman666]

mathfreak schreef op 02-06-2007 @ 16:32 :
Het is mede afhankelijk van de keuze van je waarde voor alfa of je al of niet de juistheid van je hypothese aanvaardt. Laten we veronderstellen dat je weet dat je over een populatie van 50 personen beschikt en dat je uitgaat van H₀: p=0,8 en
H₁: p<0,8. Stel dat je kiest voor alfa=0,05, dan moet de gezochte waarde k_l voldoen aan P(X<=k_l)<=0,05. Met een tabel voor binomiale verdelingen vind je dan: k_l=34, dus K={0,1,2,...,34}. Veronderstel dat 10 personen het verschil voelen, dan geldt: X=10. Omdat X=10 een waarde in K voorstelt betekent dit dat H₀: p=0,8 als hypothese wordt verworpen en dat H₁: p<0,8 als hypothese wordt aanvaard. Als je dus linkszijdig wilt toetsen moet je dus eerst weten wat voor waarde van p je wilt kiezen, hoe groot je populatie n is, en welk significantieniveau alfa je wilt kiezen. Op grond daarvan bepaal je je kritieke gebied K. Als je vervolgens weet hoe groot X is, dus hoeveel personen uit jouw populatie het verschil voelen, kun je op grond daarvan bepalen of je de hypothese H₀: p=p₀ of H₁: p<p₀ aanvaardt. Je weet dan ook welke hypothese je dus verwerpt.
Merk overigens op dat ik de waarden voor p en q in mijn vorige reply inmiddels heb gecorrigeerd.

Ja, dan is het inderdaad wel mogelijk om te toetsen, maar de waarde van p is tamelijk arbitrair. Ik zou moeten achterhalen hoe laag die waarde mag zijn wil ik nog met goed fatsoen kunnen zeggen dat de personen het verschil voelen. Als op een totaal van 50 mensen 35 mensen de juiste keuze maken denk ik niet dat ik kan stellen dat men het verschil voelt. Terwijl ik in bovenstaand voorbeeld wel de H₀ aanvaard.

Het probleem is dat als je proefpersonen 10 kilo aan hun arm hangt dat ze dan gegarandeerd weten dat de arm zwaarder is, dus dan heb je B(n,p) = n. Als ik 0,001 kilo aan hun arm hang dan voelt de proefpersoon dat niet en krijg je B(n,p) = n/2. Het probleem blijft: hoe toon je aan vanaf welk niveau mensen wel het verschil voelen.

mathfreak schreef op 02-06-2007 @ 16:32 :
In dat geval ga je uit van 2 steekproeven. Zie voor verdere info
http://nl.wikipedia.org/wiki/Wilcoxon

Ja, dat had ik al gelezen. Het zou handig zijn als ik de twee bekende situaties (wel voelen / niet voelen) kon vergelijken met de onbekende situatie en kon zeggen hoe groot de kans is dat de nieuwe situatie deel uit maakt van een van de twee bekende situaties. Zou dat mogelijk zijn met wilcoxon?

[mathfreak]

cartman666 schreef op 03-06-2007 @ 12:52 :
Ja, dan is het inderdaad wel mogelijk om te toetsen, maar de waarde van p is tamelijk arbitrair. Ik zou moeten achterhalen hoe laag die waarde mag zijn wil ik nog met goed fatsoen kunnen zeggen dat de personen het verschil voelen. Als op een totaal van 50 mensen 35 mensen de juiste keuze maken denk ik niet dat ik kan stellen dat men het verschil voelt. Terwijl ik in bovenstaand voorbeeld wel de H₀ aanvaard.

Het probleem is dat als je proefpersonen 10 kilo aan hun arm hangt dat ze dan gegarandeerd weten dat de arm zwaarder is, dus dan heb je B(n,p) = n. Als ik 0,001 kilo aan hun arm hang dan voelt de proefpersoon dat niet en krijg je B(n,p) = n/2. Het probleem blijft: hoe toon je aan vanaf welk niveau mensen wel het verschil voelen?

Daarover vind je hier mogelijk meer: http://nl.wikipedia.org/wiki/Wet_van_Weber-Fechner

cartman666 schreef op 03-06-2007 @ 12:52 :
Ja, dat had ik al gelezen. Het zou handig zijn als ik de twee bekende situaties (wel voelen / niet voelen) kon vergelijken met de onbekende situatie en kon zeggen hoe groot de kans is dat de nieuwe situatie deel uit maakt van een van de twee bekende situaties. Zou dat mogelijk zijn met wilcoxon?

Dat weet ik zo niet. Ik ben beter thuis in de analyse en de aanverwante vakgebieden dan in de statistiek. Wat je zou kunnen doen is contact opnemen met iemand van een wiskundefaculteit die wel in dat soort dingen gespecialiseerd is.

[cartman666]

mathfreak schreef op 03-06-2007 @ 14:27 :
Daarover vind je hier mogelijk meer: http://nl.wikipedia.org/wiki/Wet_van_Weber-Fechner

Dat is in ieder geval goed om te noemen in het verslag. Bedankt.

mathfreak schreef op 03-06-2007 @ 14:27 :
Dat weet ik zo niet. Ik ben beter thuis in de analyse en de aanverwante vakgebieden dan in de statistiek. Wat je zou kunnen doen is contact opnemen met iemand van een wiskundefaculteit die wel in dat soort dingen gespecialiseerd is.

Daar ga ik morgen maar eens langs denk ik, maar nu weet ik in ieder geval dat het geen heel simpel iets is waarbij ik gewoon wat over het hoofd zie. Bedankt voor je tijd en moeite, ik zal nog wel posten hoe ik het onderzoek uiteindelijk ga opzetten.

[cartman666]

Hoe meer ik lees en hoor, hoe meer ik besef hoe weinig ik weet.

Ik heb nu twee mogelijke methodes:
1) Simpelweg bewijzen dat mensen niet gokken (H₀:p=0.5 H₁:p>0.5), ipv bewijzen dat mensen het niet zeker weten. Dat werkt wel natuurlijk.
2) De meetpunten sorteren op p waarde. (ik heb 9 niveau's waarop ik test of mensen iets voelen) Van de hoogste p waarde aannemen dat de mensen "zeker weten", van de laagste aannemen dat de mensen "gokken". Vervolgens met een wilcoxon-test controleren of de metingen ertussen uit de eerst of de laatste meting komen.

Welke methode lijkt jou 'beter'?