Statistikk eller logikk eller hva jeg skal si

Trenger å sjekke tenkingen min her:

Det fantes en liste med 200 000 stort sett unike nummer. Et ukjent antall (ikke så stort) av disse var duplikater. Altså at person nr 1234 står to ganger på listen.

Man mottar et tilfeldig uttrekk av denne listen, 100 000 av numrene, og forventer at alle skal være unike, for det var egentlig meningen. Man kjører en duplikatsjekk og oppdager at noen av dem (ca. 100) ligger inne med mer enn en forekomst.

Spørsmål: Hvor mange av disse numrene er det sannsynlig at har (minst) en forekomst på hver av listene? Gitt at den originale listen på 200 000 ble delt tilfeldig i to? 100? 200?

Anta for enkelthets skyld at de fleste duplikatene er dobbelt opp, ikke flere enn det.

Har du fått oversikt over folks mobilnummer fra DIFI?

Vet ikke hva det betyr, men nei.

Polyanna skrev:

Vet ikke hva det betyr, men nei.

Vel, la meg bare si at der er det ikke bare duplikater som i dobbelt opp. Vi snakker både 4 og 5 og enda flere.

(Men jeg bare fjaser, jeg er med på tenkningen din, men klarer ikke bidra. Fullt i hodet.)

Ja, mitt også, sitter og prøver å tenke på papir nå.

Du har en liste på 100 000 av 200 000, og av disse så forekommer det 100 stk med dubletter?
Jeg ville da antatt at det vil være tilsvarende mengde med dubletter på de 100 000 jeg ikke har mottatt.

Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to.

Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre:

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2).

Sorry. Måtte bare uttrykke mine umiddelbare følelser ved å tenke et kvart sekund på hva jeg skulle gjort med en slik oppgave på jobb.

Hah, fiffig! Umiddelbart tenkte jeg at incidensen er 100 på 100.000, men du har jo silent dublettes i ukjent omfang.

Nå er jeg der at jeg snart svarer "et sted mellom 100 og 200".

Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count(*) from [tabell] having coint(*) >1
Antagelser fungerer dårlig egentlig.
Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter.

Jeg ville sagt 150 på 100.000 - 100 du oppdager og 50 silent i hver gruppe?

Det er så høye tall her at det vel ikke er noen grunn til at de silente ikke skal fordele seg noenlunde likt mellom gruppene?

Mex skrev:

Jeg hadde slått sammen listene, dyttet dem inn i en tabell i en database, og kjørt en select id, count(*) from [tabell] having coint(*) >1
Antagelser fungerer dårlig egentlig.
Du kan ha 100 dubletter på din liste, det kan være 100 på den andre listen, og det kan være 100 eller 200 eller 300 som ligger en gang på din liste, og en gang på den andre listen, altså i prinsippet dubletter.

Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart...

Polyanna skrev:

Tilleggsinfo: Jeg har ikke tilgang til den andre listne, kun min halvpart...

Så da skal du bare gi et anslag over forventede dubletter?

Hvis det er to like tall på en liste, vil det ikke være dobbelt så sannsynlig at de havner på hver sin liste som at begge havner på liste en, hvis man deler lista tilfeldig i to? Altså gjetter jeg 200 tall som finnes på begge listene.

Med alle slags mulige forbehold, spesielt ammetåke.

Polyanna skrev:

Ja, det antar jeg også, så langt har jeg kommet. Men hvor mange har havnet med en fot på hver liste? Altså at jeg hadde to stk 1234 på den lange listen med 200 000, og så har en 1234 havnet på liste en og en 1234 havnet på liste to.

Jeg vakler mellom å tenke at det er tre utfall som er like sannsynlige, og dermed fordeles 100, 100, 100, og 3 utfall hvorav det midterste er dobbelt så sannsynlig som de to andre:

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 100 dubletter havner en på liste en og en på liste to (utfall 3). 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1: 100 dubletter havner begge to på liste en (utfall 1). 200 dubletter havner en på liste en og en på liste to (utfall 3. 100 dubletter havner begge på liste to (utfall 2).

Alternativ 1! 🙂

Jeg tror altså det andre alternativet er riktig.

Vil det det? Det vil være akkurat like sannsynlig at hvert navn kommer på liste A som på liste B, uavhengig av om det andre navnet er her eller der?

Jeg har kalt begge alternativene alternativ 1!

Men det andre alternativet har en stemme her, altså.

Mex skrev:

Så da skal du bare gi et anslag over forventede dubletter?

Dette er et uventet problem, og det at samme nummer har havnet på begge lister lager litt trøbbel. Så jeg vil anslå hvor stort antagelig er.