Jak vypočítat dohodu o mezi hodnotiteli

Dohodamezi hodnotiteli jeměřítkem toho, jak konzistentní měření jsou mezi dvěma nebo více pozorovatelů ( nebo " hodnotitelů " ) . Například lékařští výzkumníci často používají skupinu lékařů pozorovat a kategorizovat účinky léčby experimentu . Měření konzistence mezi pozorovateli je důležité, protože chceme být jisti, že všechny účinky vidíme, jsou vzhledem k našemu experimentu , a ne k velkým rozdílům mezi pozorovateli . Primární statistika používá k měření dohody mezi hodnotiteli se nazývá " kappa ". Pokyny dovolená 1

Vypočítejte procentuální dohodu vydělením počtu pozorování , které se dohodly na celkový počet pozorování . Vezměme si za příklad experimentu zahrnující 100 pacientů, kteří dostávaliléčbu astmatu . Dva lékaři jsou žádáni, aby zařadit pacienty do dvou kategorií : kontrolované ( ano ), nebo není pod kontrolou ( žádné ) příznaky astmatu . Výsledky by mohl vypadat takto : Spojené

Oba hodnotitelé Ano 70

oba hodnotitelé č. 15

Rater # 1 Ano /Rater # 2 č. 10

Rater # 1 Ne /Rater # 2 Ano 5

Celkem pozorování : 100

v tomto příkladu , dohodaprocent ( Pa ) budepočet pozorování ve kterém hodnotitelé se shodují ( 70 +15 ) děleno celkovým pozorování ( 100 ) , nebo 85 procent . Toto se použije v čitateli v konečném rovnici .
2

výpočtu očekávané dohody vzhledem k náhody . Některé z pozorovaného dohody bude v důsledku čistého štěstí . Můžeme spočítat, kolik dohoda by v případě, že pozorování byly zcela náhodné

V našem příkladu : .

Obojí Ano 70

Oba č. 15

# 1Yes /# 2 č. 10

# 1 Ne /# 2 Ano 5

Celkem pozorování : 100

Dr. # 1 hodnocené Ano 80/100 nebo 80 procent času ( 0,80 ) .

Dr. # 1 hodnocené č. 20/100 nebo 20 procent času ( 0,20 ) .

Dr. # 2 bez ano 75/100 nebo 75 procent času ( 0,75 ) . Celým

Dr. # 2 hodnocené č. 25/100 nebo 25 procent času ( 0,25 ) .

Pokud pozorování byly náhodně,pravděpodobnost, jak ratingu Ano bude ( 0,80 ) x ( 0,75 ) , nebo 60 procent , apravděpodobnost, jak ratingu č. bude ( 0,15 ) x ( 0,25 ) , nebo 4 procenta

Takžecelková pravděpodobnost smlouvy kvůli náhodě ( Pe ) bysoučet těchto . : ( .60 ) + ( 0,04 ) , nebo 64 procent . Tato adresa bude použita v čitateli a jmenovateli konečné rovnice
3

Spočítejte kappa pomocí následující rovnice : .

K = ( Pa ) - ( Pe )

---------------

1 - ( Pe )

V našem příkladu ,

k = ( .85 ) - ( .64 ) /1 - ( 0,64 ) = ( 0,58 ) nebo 58 procent
4

Vyhodnotit kappa k určení, zda dohoda mezi hodnotiteli je silná . Dobrým pravidlem je , že Kappas nad 80 procent jsou vynikající a více než 60 procent jsou dobré . Cokoliv pod 60 procent je považováno za méně než optimální dohodě .

V našem příkladu , 58 procent je na hranici dobrého mezi hodnotiteli spolehlivosti , a výsledky studie by měly být interpretovány s ohledem na tuto skutečnost .

5

Vyhodnotit kappa pro více než dva hodnotitelů pomocí kappa výpočtů Fleiss " . To jemnohem složitější výpočty , které by mělo být provedeno na počítači .