Statistikk eller logikk eller hva jeg skal si

Polyanna · 04-07-16, 12:17

Trenger å sjekke tenkingen min her:

Det fantes en liste med 200 000 stort sett unike nummer. Et ukjent antall (ikke så stort) av disse var duplikater. Altså at person nr 1234 står to ganger på listen.

Man mottar et tilfeldig uttrekk av denne listen, 100 000 av numrene, og forventer at alle skal være unike, for det var egentlig meningen. Man kjører en duplikatsjekk og oppdager at noen av dem (ca. 100) ligger inne med mer enn en forekomst.

Spørsmål: Hvor mange av disse numrene er det sannsynlig at har (minst) en forekomst på hver av listene? Gitt at den originale listen på 200 000 ble delt tilfeldig i to? 100? 200?

Anta for enkelthets skyld at de fleste duplikatene er dobbelt opp, ikke flere enn det.

Ru · 04-07-16, 12:50

Har du fått oversikt over folks mobilnummer fra DIFI?

Polyanna · 04-07-16, 12:54

Vet ikke hva det betyr, men nei.

Ru · 04-07-16, 12:57

Opprinnelig lagt inn av Polyanna, her.

Vet ikke hva det betyr, men nei.

Vel, la meg bare si at der er det ikke bare duplikater som i dobbelt opp. Vi snakker både 4 og 5 og enda flere.

(Men jeg bare fjaser, jeg er med på tenkningen din, men klarer ikke bidra. Fullt i hodet.)

Polyanna · 04-07-16, 13:00

Ja, mitt også, sitter og prøver å tenke på papir nå.

Mex · 04-07-16, 13:24

Du har en liste på 100 000 av 200 000, og av disse så forekommer det 100 stk med dubletter?
Jeg ville da antatt at det vil være tilsvarende mengde med dubletter på de 100 000 jeg ikke har mottatt.

Polyanna · 04-07-16, 13:30

Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to.

Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre:

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2).

Pelle · 04-07-16, 14:08

Sorry. Måtte bare uttrykke mine umiddelbare følelser ved å tenke et kvart sekund på hva jeg skulle gjort med en slik oppgave på jobb.

Candy Darling · 04-07-16, 14:12

Hah, fiffig! Umiddelbart tenkte jeg at incidensen er 100 på 100.000, men du har jo silent dublettes i ukjent omfang.

Polyanna · 04-07-16, 14:13

Nå er jeg der at jeg snart svarer "et sted mellom 100 og 200".

Mex · 04-07-16, 14:18

Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count(*) from [tabell] having coint(*) >1
Antagelser fungerer dårlig egentlig.
Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter.

Candy Darling · 04-07-16, 14:18

Jeg ville sagt 150 på 100.000 - 100 du oppdager og 50 silent i hver gruppe?

Candy Darling · 04-07-16, 14:19

Det er så høye tall her at det vel ikke er noen grunn til at de silente ikke skal fordele seg noenlunde likt mellom gruppene?

Polyanna · 04-07-16, 14:36

Opprinnelig lagt inn av Mex, her.

Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count(*) from [tabell] having coint(*) >1
Antagelser fungerer dårlig egentlig.
Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter.

Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart...

Mex · 04-07-16, 16:12

Opprinnelig lagt inn av Polyanna, her.

Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart...

Så da skal du bare gi et anslag over forventede dubletter?

Cauchy · 04-07-16, 17:07

Hvis det er to like tall på en liste, vil det ikke være dobbelt så sannsynlig at de havner på hver sin liste som at begge havner på liste en, hvis man deler lista tilfeldig i to? Altså gjetter jeg 200 tall som finnes på begge listene.

Med alle slags mulige forbehold, spesielt ammetåke.

Cauchy · 04-07-16, 17:19

Opprinnelig lagt inn av Polyanna, her.

Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to.

Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre:

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1!

Jeg tror altså det andre alternativet er riktig.

Candy Darling · 04-07-16, 19:37

Vil det det? Det vil være akkurat like sannsynlig at hvert navn kommer på liste A som på liste B, uavhengig av om det andre navnet er her eller der?

Polyanna · 04-07-16, 19:48

Jeg har kalt begge alternativene alternativ 1!

Men det andre alternativet har en stemme her, altså.

Polyanna · 04-07-16, 19:49

Opprinnelig lagt inn av Mex, her.

Så da skal du bare gi et anslag over forventede dubletter?

Dette er et uventet problem, og det at samme nummer har havnet på begge lister lager litt trøbbel. Så jeg vil anslå hvor stort antagelig er.

04-07-16, 12:17	#1
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Statistikk eller logikk eller hva jeg skal si Trenger å sjekke tenkingen min her: Det fantes en liste med 200 000 stort sett unike nummer. Et ukjent antall (ikke så stort) av disse var duplikater. Altså at person nr 1234 står to ganger på listen. Man mottar et tilfeldig uttrekk av denne listen, 100 000 av numrene, og forventer at alle skal være unike, for det var egentlig meningen. Man kjører en duplikatsjekk og oppdager at noen av dem (ca. 100) ligger inne med mer enn en forekomst. Spørsmål: Hvor mange av disse numrene er det sannsynlig at har (minst) en forekomst på hver av listene? Gitt at den originale listen på 200 000 ble delt tilfeldig i to? 100? 200? Anta for enkelthets skyld at de fleste duplikatene er dobbelt opp, ikke flere enn det. __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 12:50	#2
Ru Protonterapeut Medlem siden: Sep 2006 Hvor: Hundremeterskogen Innlegg: 31.080 Blogginnlegg: 934	Sv: Statistikk eller logikk eller hva jeg skal si Har du fått oversikt over folks mobilnummer fra DIFI? __________________ “Though she be but little, she is fierce!” - Shakespeare

04-07-16, 12:54	#3
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Vet ikke hva det betyr, men nei. __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 12:57	#4
Ru Protonterapeut Medlem siden: Sep 2006 Hvor: Hundremeterskogen Innlegg: 31.080 Blogginnlegg: 934	Sv: Statistikk eller logikk eller hva jeg skal si Opprinnelig lagt inn av Polyanna, her. Vet ikke hva det betyr, men nei. Vel, la meg bare si at der er det ikke bare duplikater som i dobbelt opp. Vi snakker både 4 og 5 og enda flere. (Men jeg bare fjaser, jeg er med på tenkningen din, men klarer ikke bidra. Fullt i hodet.) __________________ “Though she be but little, she is fierce!” - Shakespeare

04-07-16, 13:00	#5
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Ja, mitt også, sitter og prøver å tenke på papir nå. __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 13:24	#6
Mex Tidsklemma Medlem siden: Aug 2008 Innlegg: 7.808 Blogginnlegg: 459	Sv: Statistikk eller logikk eller hva jeg skal si Du har en liste på 100 000 av 200 000, og av disse så forekommer det 100 stk med dubletter? Jeg ville da antatt at det vil være tilsvarende mengde med dubletter på de 100 000 jeg ikke har mottatt. __________________ Storebror des 2006 Lillebror nov 2010 "Mamma, jeg er glad i deg. Helt til månen og ut i verdensrommet"

04-07-16, 13:30	#7
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to. Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre: Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2). Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2). __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 14:08	#8
Pelle Unik Medlem siden: Apr 2008 Innlegg: 16.103	Sv: Statistikk eller logikk eller hva jeg skal si Sorry. Måtte bare uttrykke mine umiddelbare følelser ved å tenke et kvart sekund på hva jeg skulle gjort med en slik oppgave på jobb. __________________ 07 og 10

04-07-16, 14:12	#9
Candy Darling Prettiest mess ever seen Medlem siden: Sep 2006 Hvor: Under ground Innlegg: 29.238 Blogginnlegg: 50	Sv: Statistikk eller logikk eller hva jeg skal si Hah, fiffig! Umiddelbart tenkte jeg at incidensen er 100 på 100.000, men du har jo silent dublettes i ukjent omfang. __________________ Vi gjør alle så godt vi kan Og vi gjør alt feil. - No. 4 -

04-07-16, 14:13	#10
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Nå er jeg der at jeg snart svarer "et sted mellom 100 og 200". __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 14:18	#11
Mex Tidsklemma Medlem siden: Aug 2008 Innlegg: 7.808 Blogginnlegg: 459	Sv: Statistikk eller logikk eller hva jeg skal si Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count() from [tabell] having coint() >1 Antagelser fungerer dårlig egentlig. Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter. __________________ Storebror des 2006 Lillebror nov 2010 "Mamma, jeg er glad i deg. Helt til månen og ut i verdensrommet"

04-07-16, 14:19	#13
Candy Darling Prettiest mess ever seen Medlem siden: Sep 2006 Hvor: Under ground Innlegg: 29.238 Blogginnlegg: 50	Sv: Statistikk eller logikk eller hva jeg skal si Det er så høye tall her at det vel ikke er noen grunn til at de silente ikke skal fordele seg noenlunde likt mellom gruppene? __________________ Vi gjør alle så godt vi kan Og vi gjør alt feil. - No. 4 -

04-07-16, 14:36	#14
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Opprinnelig lagt inn av Mex, her. Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count() from [tabell] having coint() >1 Antagelser fungerer dårlig egentlig. Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter. Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart... __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 16:12	#15
Mex Tidsklemma Medlem siden: Aug 2008 Innlegg: 7.808 Blogginnlegg: 459	Sv: Statistikk eller logikk eller hva jeg skal si Opprinnelig lagt inn av Polyanna, her. Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart... Så da skal du bare gi et anslag over forventede dubletter? __________________ Storebror des 2006 Lillebror nov 2010 "Mamma, jeg er glad i deg. Helt til månen og ut i verdensrommet"

04-07-16, 17:07	#16
Cauchy Bør lage seg en tittel selv Medlem siden: Jul 2012 Innlegg: 1.713	Sv: Statistikk eller logikk eller hva jeg skal si Hvis det er to like tall på en liste, vil det ikke være dobbelt så sannsynlig at de havner på hver sin liste som at begge havner på liste en, hvis man deler lista tilfeldig i to? Altså gjetter jeg 200 tall som finnes på begge listene. Med alle slags mulige forbehold, spesielt ammetåke. Sist redigert av Cauchy : 04-07-16 kl 17:16.

04-07-16, 17:19	#17
Cauchy Bør lage seg en tittel selv Medlem siden: Jul 2012 Innlegg: 1.713	Sv: Statistikk eller logikk eller hva jeg skal si Opprinnelig lagt inn av Polyanna, her. Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to. Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre: Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2). Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2). Alternativ 1! Jeg tror altså det andre alternativet er riktig.

04-07-16, 19:37	#18
Candy Darling Prettiest mess ever seen Medlem siden: Sep 2006 Hvor: Under ground Innlegg: 29.238 Blogginnlegg: 50	Sv: Statistikk eller logikk eller hva jeg skal si Vil det det? Det vil være akkurat like sannsynlig at hvert navn kommer på liste A som på liste B, uavhengig av om det andre navnet er her eller der? __________________ Vi gjør alle så godt vi kan Og vi gjør alt feil. - No. 4 -

04-07-16, 19:48	#19
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Jeg har kalt begge alternativene alternativ 1! Men det andre alternativet har en stemme her, altså. __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

04-07-16, 19:49	#20
Polyanna Yes, we can!! Medlem siden: Sep 2006 Innlegg: 51.118 Blogginnlegg: 199	Sv: Statistikk eller logikk eller hva jeg skal si Opprinnelig lagt inn av Mex, her. Så da skal du bare gi et anslag over forventede dubletter? Dette er et uventet problem, og det at samme nummer har havnet på begge lister lager litt trøbbel. Så jeg vil anslå hvor stort antagelig er. __________________ Feilen med verden er at de dumme er så skråsikre på alt - og de kloke så fulle av tvil. Bertrand Russel

Statistikk eller logikk eller hva jeg skal si

Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si

Sv: Statistikk eller logikk eller hva jeg skal si