udlæsningsstøj og farvecam

[mortenDeltager Super Nova]

Selvom emnet har været debatteret før er det muligt at erfaringerne med måling af dette på mit Orion Starshoot Pro har interesse. Så vidt jeg kan se er det ikke postet om dette cam før. Det ville være interessant at kunne sammenligne med en tilsvarende måling for qcam8, der er ratet til en udlæsningsstøj på 8-12 elektroner (rms). Der er (som sædvanligt) ingen specs for dette på Orion cameraet.

Jeg får en værdi for orion kameraet på mellem 11,0 e- r.m.s. (udlæsningshastighed 8) og 11,8 e- r.m.s. (udlæsningshastighed 2) Nedenfor forklares hvordan.

Jeg har anvendt Berry og Burnells formler (The Handbook of Astronomical Image Processing, Willmann-Bell 2005, pp 229-233), som udnytter at støjen er poissonfordelt, d.v.s. standardafvigelsen på en måling på N ADU’er er kvadratroden af N (variansen er N). Da der er tale om et farvekamera har jeg isloleret de grønne pixels og brugt dem til beregningen. Da Maxim ikke kan regne med negative pixelværdier har jeg lagt 50000 ADU til differencerne for at få et korrekt beregnet SD – NB dette er IKKE beskrevet i bogen, går man slavisk frem efter teksten med MAXIM får man kun de halve værdier af udlæsningsstøjen fordi alle de negative værdier af differencen simpelthen sættes til 0, og det er der ikke meget varians i).

Ved den høje udlæsningshastighed (8) får jeg summen af de to flats: SF=48515,12 ADU. SD af differencen mellem de to flats: SDF= 303,716. Summen af de to bias: SB=1462,948. SD af differencen: SDB= 30,321. Dette giver en conversion factor,g, på (SF-SB)/(SDF^2-SDB^2) = 0,514, og en readout noise på g*SDB/kvrod(2) = 11,05 e- r.m.s. Om dette er meget eller lidt er svært for mig at sige, det afhænger af hvad andre kameraer i den prisklasse kan præstere.

Hvis betydningen af udlæsningsstøjen skal vurderes må man sammenholde med den skybaggrund man har. Med mit IDAS2 filter har jeg en skybaggrund her i september på ca 250 ADU på mine 5 min eksponeringer fra mit sommerhus (350 uden filter), ca 27 (40) e pr min. Det er faktism mere mørkt end jeg troede. Himmelbaggrunden tilføjer en støj (standardafvigelse) på ca. 16 e- på 5 min frames (16 = kvrod(250)). Det betyder så, at jeg ved 5 min eksponeringer får stort set samme støjbidrag fra readoutstøj som jeg gør fra himmelbaggrunden. Dette taler måske for at arbejde med guiding, montering etc. for at få gjort eksponeringerne så lange som muligt – de skal dog være rigtigt laaaange for at det batter.

Jeg troede egentligt at der var lidt bedre styr på readout noise på de kameraer, 11 e er inden for de specs man kan finde på mange, også dyrere kameraer.

morten2009-09-28 15:21:32

[steffan Giant]

Hej Morten,

Bliver støj niveauet ikke mindre relevant hvis man laver kalibrering med bias frames, som skulle udgøre udlæsningsstøjen? Det er ihvertfald det jeg har forstået.

Det er naturligvis bedst at kameraet ikke generer noget videre, men når nu der findes en kalibreringsrutine for det, burde det kunne minimeres af den vej.

Maxim kan sættes op til at tage nogle bias frames.

Mvh Steffan

[mortenDeltager Super Nova]

Nej det er ikke rigtigt. Kalibrerings frames tilføjer faktisk støj – det er derfor det er vigtigt at have mange af dem. Selvom de tilføjer støj, så gør de baggrunden mere jævn fordi de fjerner hot pixels, amp glow, og andre ujævnheder – ligesom flats udjævner belysningsforskelle. Hver pixel kan opfattes som en “sand” værdi + støj. Når du trækker kalibreringsframes fra (eller dividerer med dem som ved flats), så får du en bedre “sand” værdi for den enkelte pixel, men støjen skal lægges til (variansen af A+B er variansen af A + variansen af B)

[mortenDeltager Super Nova]

Kære Michael Stauning

Har du ikke på et tidspunkt målt udlæsningsstøj på qcam8? Jeg kan ikke finde tråden

Morten

[mstauningDeltager Black Hole]

Qcam8 – Nope.

Qcam6, Qcam5, LPI, StarShoot, Nikon D80, ST-2000 men ikke Qcam8.

Sorry.

[mr.mox Nova]

morten wrote: Nej det er ikke rigtigt. Kalibrerings frames tilføjer faktisk støj – det er derfor det er vigtigt at have mange af dem. Selvom de tilføjer støj, så gør de baggrunden mere jævn fordi de fjerner hot pixels, amp glow, og andre ujævnheder – ligesom flats udjævner belysningsforskelle. Hver pixel kan opfattes som en “sand” værdi + støj. Når du trækker kalibreringsframes fra (eller dividerer med dem som ved flats), så får du en bedre “sand” værdi for den enkelte pixel, men støjen skal lægges til (variansen af A+B er variansen af A + variansen af B)

 

Jeg er ikke helt enig. Problemet består lidt i hvordan man definere støj.

Du har for så vidt ret i at variansen vokser, men middelværdien skulle gerne blive mindre. Hvis de optagede billededata er trukket ud af støjgulvet kan kontrasten forbedres.

 

En normalfordelt stokastisk variabel vil i mere end 99% af udfaldene ligge indenfor middelværdien +/-3*spredning, hvor spredning er kvadratroden af variansen.

Eksempel:

“Sand” værdi for pixel: X = 1000

Fordeling af udlæsningsstøj: E(Pbias) = 10, Var(Pbias) = 9

Fordeling af “sand” darkstøj: E(Pdark)=100, Var(Pdark) = 16

 

Fordeling af udlæst pixel:

E(Plight) = 1000+E(Pbias)+E(Pdark) = 1110

Var(Plight)=Var(Pbias)+Var(Pdark) = 25

 

En udlæst pixel vil således have værdi 1110 +/- 15

 

Trækkes vores optagede dark (som også indeholder udlæsningsstøj) fra fås:

E(Presult) = 1000+E(Pbias)+E(Pdark)-(E(Pbias)+E(Pdark)) = 1000

Var(Presult) = Var(Pbias)+Var(Pdark)+Var(Pbias)+Var(Pdark) = 50

 

Den færdige pixel vil derfor have værdien 1000 +/-21

 

De mange optagelser skal bruges for at reducere variansen af vores målte middelværi for pixelen. Middelværdien vil stige lineær med antallet af eksponeringer, men variansen vil kun stige med kvadratroden af antal eksponeringer. Det normaliserede billede vil derfor blive mindre støjfyldt.

Mr. Mox2009-09-30 13:25:57

[mr.mox Nova]

Hov, glemte at argumentere for den forbedrede kontrast.

Kontrasten vil uden darks blive 1110 / (110+15) = 8,88

og med darks 1000 / (0+21) = 47,61

Mr. Mox2009-09-30 13:40:04

[mstauningDeltager Black Hole]

Men du må give Morten ret i en ting… At der skal en vis mængde til at lave en “ren” master.

[jesperDeltager Neutron star]

Interessant diskussion. Jeg skal ikke gøre mig for klog på matematikken, jeg er jo mest “håndværker”. Men kalibrering forbedrer da helt sikkert signal/støjforholdet i hele billedet, ellers var der ingen grund til at kalibrere. Det er sikkert rigtigt at kameraets samlede dynamikområde bliver en smule mindre ved kalibrering, især flats, men man vinder mere end man taber i motivets dynamikområde, mht. SNR og kontrast. Husk at astrofotos næsten altid kun bruger en lille del af histogrammet.

Med hensyn til udlæsningsstøj så kan der på nogle kameraer være et vist mønster, som kan kalibreres, ellers er det bare mange frames der skal til.

Og mange frames er altid godt, både ligths og kalibreringsframes. Det gør jo at fotonstøjen udjævnes. Dog må man sige at selv en enkelt darkframe, som f.eks. den automatiske på DSLR, faktisk virker meget bedre end ingenting. Men et 100% “sandt” billede er vist ikke muligt uden uendeligheder. Det vil altid være en tilnærmelse, men jo længere samlet eksponeringstid i lights og kalibreringsframes, jo bedre tilnærmelse.

Jesper2009-09-30 12:32:27

[mr.mox Nova]

Morten har skam ret hele vejen igennem. Magien ligger ikke i støjreduktion, men i forbedring af kontrast.
De mange darks skal til for at bestemme middelværdien af støjen bedre. Tager man blot et enkelt billede med ovenstående støjfordeling vil darken jo få værdien 100 +/- 12

Lægger man 100 sådanne billeder sammen bliver de anderledes:

Fordeling af “sand” darkstøj: E(Pdark)=100, Var(Pdark) = 16

E(100*Pdark) = 100*E(Pdark) = 10000

Var(100*Pdark) = 100*Var(Pdark) = 1600

Pixelen i et sådant billede vil derfor ligge i intervallet 10000 +/- 3*kvrod(1600)

hvilket er det samme som 10000 +/-120

Billedet normalisered (pixels skaleres ned med en faktor 100) inden det trækkes fra. Derfor kan middelværdien Edark bestemmes som 100 +/- 1.2, hvilket jo er meget bedre end 100 +/-12

Dette er iøvrigt præcis samme argument som for hvorfor man skal stakke. Støjen i billedet reduceres med kvadratroden af antallet af eksponeringer. 100 eksponeringer giver 10 gange mindre støj. Fratrækning af dark er for at kompensere for “fejl” i kameraet, som primært skyldes varme og andre fænomener der indfinder sig tilfældigt på censoren.

Hvis man tager en enkelt dark med ovenstående fordeling vil pixlen jo indeholde støj og ikke være så godt et estimat. Hvis man tager mange vil spredningen blive mindre.

Eksempel. 25 biaspixels summeres: Esum=25*10 VarSum=25*9
Spredningen vil da blive 15

Mr. Mox2009-09-30 13:53:05

[mr.mox Nova]

En lille detalje.

Øjet er ikke lineæar som en CCD eller fotografisk film. Derfor tilføjes en gamma-funktion når billedet fremkaldes. Det gør at støjen bliver mange gange mindre tydelig når den flyttes til et mørkere område!

Øjet opfatte forskellen på pixelværdien 10 og 20 ækvivalent med 100 og 200. Der er dog stor forskel på 10 +/-5 og 100 +/-5.

Eksempel.

En gamma op 2 (for nemhedens skyld vælges et heltal)

Pixelværdier kan ligge i området 0 til 1000. Og afbilledes i området 1 til 1000

En simpel gamma-kompensering vil så være: Xopfattet = (Xmålt^2)/1000

10 +/-5 afbilledes så over i 0,025 til 0,225 mens 100 +/-5 afbilledes over i 9.025 til 11.025

På den oplevede skala er støjen derfor reduceret med en faktor

(11.025-9.025)/(0.225-0.025) = 2/0.2 = 10

Altså støjen opleves som 10 gange mindre, selvom den matematisk set er den samme

[mortenDeltager Super Nova]

Jeg er helt enig med Jacob Schultz i at vi får reduceret støjen ved at tage mange eksponeringer eller længere eksponeringer. Det der var mit udgangspunkt var udlæsningsstøjen og dens betydning i forhold til hvor meget jeg skal kæmpe for at gøre eksponeringerne længere. Affødt i øvrigt af et guideproblem ved 10 min subs. Beklager hvis nedenstående er for tørt, en gang imellem løber det nørdede af med mig

Der er forskellige typer støj. Mørkestrøm i CCD og støjen fra selve fotonindfaldet er Poissonfordelt. D.v.s. er værdien N, så er variansen også N. Standardafvigelsen er kvadratroden af variansen, d.v.s. Kvrod(N). Hvis N>20 kan fordelingen for praktiske formål håndteres som en normalfordeling, d.v.s. de almindelige regler for konfidensintervaller gælder, f.eks. at 95% af sandsynlighedsmassen som ligger inden for N+/-1.96*kvrod(N), som Jakob ovenfor skriver. For udlæsningsstøjen kan man ikke regne med at den er poissonfordelt, fordi det ikke er en ventetidsproces. Når jeg har målt på mine biasframes, så er standardafvigelsen lidt mindre end hvad man skulle forvente af en poissonfordeling, mens selve fordelingen ligner en normalfordeling.

Signal-støj forholdet d.v.s. forholdet mellem signal og standardafvigelse er for en poisson fordelt størrelse N/Kvrod(N) = kvrod(N). D.v.s. jo større N desto bedre signal støjforhold, dette gælder uanset om det store N er opnået ved lange eksponeringer eller ved summation af mange kortere eksponeringer. (Kontrasten er en lidt anden størrelse, som kan måles på forskellig vi, og og for sig ikke har noget med støj at gøre, se: http://en.wikipedia.org/wiki/Contrast_(vision)).

Fidusen ved dark- og bias frames frames er at man får udjævnet støjgulvet. Hvis kameraet havde et helt jævnt gulv af udelukkende tilfældig støj, uden systematiske komponenter, (d.v.s. komponenter der er ens på alle frames som f.eks. hotpixels og ampglow), på f.eks. 600 ADU, så ville man få de reneste optagelser ved helt at droppe darks og så bare starte ens billedbehandling ved at klippe de nederste 600 ADU af. Når vi i praksis får bedre billeder ud af at kalibrere, så er det fordi vi kun derved kan få et helt jævnt gulv at arbejde ud fra med vores strækkerutiner. D.v.s. fordi vi kalibrerer den systematiske-, ikke-tilfældige, støj ud af billederne – specielt ved ikke kølede kameraer som DSLR kan den være betydelig, specielt om sommeren. Her er det bare vigtigt at være klar over, at man tilføjer tilflældig støj ved at trække dark frames fra. Det er den tilfældige støj som det følgende handler om, og den kan minimeres ved at have gennemsnit af mange dark frames. Det samme er kun i mindre grad tilfældet for flats fordi ADU værdierne er højere, og derfor er signal-støj-forholdet væsentligt bedre for den enkelte frame (se nedenfor).

Har man en stribe darkframes og f.eks. Maxim kan man få et indtryk af betydningen af antallet af darkframes. Hvis åbner darkframe A og darkframe B, så man i pixel math subtrahere de to darkframes, og lægge et fast tal til, som er større end den højeste værdi i A og B. Dernæst kan man i information vinduet måle standardafvigelsen (støjen) i et centralt område. Man kan derefter stacke f.eks. 16 darkframes og erstatte B med den stakkede dark frame. Herefter kan man igen subtrahere A fra stakken og så se at støjen mindskes til 1.25/2 af den forrige værdi. Der skal en del darkframes til for at kontrollere støjen.

Udlæsningsstøjen er mere problematisk, fordi den giver mere støj jo mere en given eksponeringstid hakkes op i mindre subframes. Hvis udlæsningsstøjen er af samme størrelsesorden som himmelbaggrunden, så kan en væsentlig del af den støj man får i sine kalibrerede enkelt frames stamme fra udlæsning. Man kan til en vis grad reducere denne støjkilde ved at tage længere eksponeringer med deraf følgende guideproblemer etc. Nedenfor gennemregnes betydningen af udlæsningsstøjen ved et eksemepel.

Et eksempel: Mit newtonbillede af slørtågen posted d. 15/9. For en 300s darkframes i område uden hotpixels er middelværdi af N, Ed= 994.046, standardafvigelsen SDd = 26,246. Biasframes Eb=731.724, SDb=21.644. Himmelbaggrund i 300s light frame: Elhb(N)=1135.280, SDlhb: 28.317. Tåge: i 300s light frame Elt = 1174.119, SDlt: 40.966.

Som det ses er mørkestrømmen Ed-Eb = 262 ADU på 5 min eller 52 ADU pr minut. Det passer nogenlunde at SD på min dark kan beregnes udfra udlæsningsstøj og mørkestrømmen kvrod(SDb^2 + 220) = 27,03. For en 5 min frame kommer knap 2/3 af støjen på en darkframe altså fra udlæsningsstøjen!

For min enkelt lightframe har jeg en himmelbaggrund på Elhb-Ed = 141 ADU og et niveau i tågedelen på ELt-Ed = 180 ADU. Tågen er altså ca 40 ADU over himmelbaggrunden. Min støj i det kalibrerede billedes himmelbaggrund er kvrod(26,246^2+28,317^2) = 38,61 –d.v.s. 36% over støjen i det ukalibrerede billede. Mit signal til støjforhold bliver altså ca 1, hvilket svarer til at man sagtens kan se tågen i den kalibrerede enkeltframe. Anvendes i stedet alle de 11 darkframes, jeg lavede den nat, vil den kalibrerede himmelbaggrunds støj være kvrod((26,246/^2)/11+28,317^2)=29,4 – d.v.s en ubetydelighed af 4% over det ukalibrerede billede. Signal støj forholdet er nu 1,36. Når jeg stakker mine 37 lightframes, som hver er fratrukket de 11 darkframes når jeg ned på en støj (SD) på 4.83 ADU, og mit signal støjforhold er nu forbedret til 8,2. Uden darkkalibrering var den tilfældige støj 4,66 ADU, altså for praktiske forhold det samme, men altså en anelse højere end uden kalibrering. Jeg kan så glæde mig over at det færdige, dark kalibrerede, billede bliver uden den lille ampglow i øverste højre hjørne og uden hotpixels etc og dermed meget renere end hvis jeg ikke havde dark kalibreret

Hvis vi forestiller os, at min udlæsningsstøj kunne halveres ville støjen i de ovenstående situationer blive reduceret til ca 83% af den ovenstående værdi. Det er altså ikke SÅ meget man vinder, så min paranoia over udlæsningsstøjen er nok ikke så velfunderet.

morten2009-10-01 07:03:11

[jesperDeltager Neutron star]

For sådan en som mig, der er mere eller mindre uindviet i matematikkens velsignelser, og derfor ikke forstår det halve af hvad i skriver kunne det næsten virke som om i mener at kalibrering lidt lige meget, eller måske ligefrem skadeligt. Jeg er sikker på at det bare er mig der misforstår, men vil da alligevel komme med en opfordring til de som vil i gang med deepsky foto: Kalibrer jeres billeder, det hjælper rigtig meget. Hvis en fuld kalibrering er for besværligt så tag i det mindste en serie matchende darks (mindst 3). Med langt de fleste kameraer gør det en væsentlig forskel i kvaliteten af det færdige billede.

[mstauningDeltager Black Hole]

Jesper – det er helt rigtigt at man tilføjer en smule støj når man kalibrere !

Men det opvejes så rigeligt at de fordele det har, man kan så miske støjen man tilføjer mere eller mindre. Ved at optage mange kaliberings frames, og en masse andre krumspring.

Jeg vil holde på at mindst 3 er rigtigt, dog skal man helst sigte efter 5.

Den støj man så tilføjer, vil nemt kunne opvejes via bare en extra lightframe !

Men lige meget hvad så ender man med en mere RENT billede, end ved ikke at kalibere.

Her er vi ude i det nørdede, hvor støjen kan siges at kunne måles (og kan den ikke det, så kan man da heldigvis beregne den 🙂 )

Også er der tilsidst det med udlæsningsstøj, eller som andre kalder det – støj der ikke kan fjernes – som er tilfældig og derfor ikke kan fjernes fra hvert enkelt frame. Har man så en total på 100 frames, lights, darks, bias, flats… Så ender man med tilfældig støj fra 100 frames i en… Men betyder det realt noget? Det er det store spørgsmål, nej mener jeg.

[mr.mox Nova]

Jo Michael, det betyder noget!

At støjen er tilfældig betyder ikke at den er ligeligt fordelt i alle pixels i billedet. Nogen pixels vil være mere modtagelige for lys end andre, nogen vil være varmere, og nogen vil være defekte, og nogen vil blive forstærket mere and andre i udlæsningen. Det er netop DET som kalibrering gør noget ved! Efter kalibrering vil støjen være uniformt fordelt over billedet.

Kalibrering fjerner altså et støjmønster fra hele billedet, men forøger den totale støj en smule.

Mr. Mox2009-10-01 10:59:30

[Forfatter]

Indlæg