Kan man slå Kepler fra jorden?

[BjarneModerator Super Nova]

SWR wrote:
Jeg tror dog trygt man kan regne med at Sony’s og Nikons teknikere ved hvad de har med at gøre. Støj er også vigtig for almindelige fotografer, hvor stort dynamikområde og evnen til at hive detaljer ud af skyggerne er noget der sælger kameraer.

Jo, det gør de sikkert; men så har reklameavdelingen lige været inde omkring for at sikre sig at den usofistikerede bruger ikke bliver forvirret. David Coffin (forfatter af dcraw programmet) skriver nemlig:

Hi Bjarne,

	

	     That's because Nikon cameras subtract the dark level

	and truncate to zero.  With half of the pixel values gone,

	there probably isn't much you can do with this file.

	

					Dave Coffin  6/7/2013
Der er 2 fordele ved at fratrække middelværdien for pixler i et overdækket område:
1. Det ser overfladisk ud til at detektoren har en meget lav mørkestrøm.
2. Middelværdien er påvirket i positiv retning af nogle få varme pixler, så over halvdelen sættes til nul.
Det sidste punkt betyder at udlæsestøjen virker mindre fremtrædende for øjet.
Denne subtraktion og den efterfølgende trunkering af negative værdier til nul er gift for en astronomisk anvendelse på lyssvage objekter. Man kan kun anvende kameraet, hvis himmelbaggrunden er vel over mørkestrømmen; men hvordan afgøres dette, hvis mørkestrømmen automatisk trækkes fra alle optagelser? 

[nightskyDeltager Neutron star]

Hejsa

Jeg er flere gange stødt på bemærkninger omkring Nikon DSLR til f.eks. fotometri. Problemet er vist, som I vist har fundet ud af, at RAW formattet ikke er ubehandlet. Hvis man vil bruges DSLR er Canon vist vejen frem.

Buil nævnte dette for længe siden omkring D70 da den kom frem. For øvrigt er der masser af god information omkring netop DSLR til astronomi på hans hjemmeside.

—–
D70 NEF (RAW) format is not lossless.

This mode preserve the CCD full resolution for astronomical long exposure applications. The first part is identical to the MODE 2 (noise removal procedure is ON), but for going until the end, it is necessary to turning off the power switch some fraction seconds or some few seconds after the first acquisition phase, i.e. once that the shutter is closed and that the D70 carrying out the dark frame. There is no risk to damage anything. The firmware of D70 automatically saves the image stored in the buffer memory on the CompactFlash card. It is a safety measure if the user cuts off the power supply without taking guard there. Now, the D70 save an absolutely true raw image. This RAW image is equivalent to a true CCD image, which it will be possible to process in-depth. Within the framework of a use automatically, a small electronics and a servomechanism which acts as switch at the level of the concentric on/off button can be developed. It is also probably possible to use a wired solution but it is necessary to open the camera (see web site in reference at the end of this page – the operation seen to be complex…).

[BjarneModerator Super Nova]

Jeg har ikke noget imod at man fratrækker mørketællingerne. Det tåbelige er at man nægter at arbejde med negative tal, selvom disse blev opfundet for mere en 2000 år siden. Man kunne så bare selv lægge et passende tal til alle værdier. Men nej, man sætter alle negative tal til 0, så det er umuligt at gendanne de oprindelige tal.

[BjarneModerator Super Nova]

SWR wrote:

Problemet er at jeg ikke ved hvor i NEF filen man kan læse disse kalibreringspixels.

Jeg har fundet dem ved et rent tilfælde. Der er 14 værdier i intervallet 7378:7391. Dernæst følger 2 mystiske ens værdier 16382. Resten af linien har alle værdien 1. idl’s index starter med 0.
a[7378:7395,2000]:
603 601 607 604 605 606 606 604 606 605 606 605 606 605 16382 16382 1 1 …..
Dette betyder at det er muligt at bestemme dark for hver optagelse, selvom man ikke bare kan lægge den til igen. Men 16382 = 2^14 – 2 ??

[swr Giant]

Det var godt du fandt kalibreringsværdierne. Så kan du regne read og dark noise ud på baggrund af dem.

Der er forskel på hvordan der bliver kalibreret i det ældre D70 RAW format og det nye D800 RAW format. Det er vigtigt ikke at skære alle Nikon kameraer over en kam på det område.

[swr Giant]

BjarneT wrote: 2. Middelværdien er påvirket i positiv retning af nogle få varme pixler, så over halvdelen sættes til nul.

Det er vel kun en hot pixel i “Optical Black” kalibreringspixels der kan forskyde middelværdien? En hot pixel på selve billedet vil blot få fratrukket den samme værdi som alle de andre pixels. Data fra selve billedet bliver ikke brugt til at kalibrere med.

[BjarneModerator Super Nova]

Nej, det er selvfølgelig kun en hot pixel i den overdækkede del; men da pixlerne forhåbentlig er statistisk ens i det overdækkede område, kan de forekomme. Vi ved strengt taget ikke, hvad de har gjort. Nogle CCD’er har en biasstribe for enden af hver linie (enten en overdækket eller en overskannet). Jeg har den erfaring at men aldrig må fratrække en middelværdi for hver linie. Det lille antal pixels giver en statistisk variation fra linie til linie, som giver billedet et stribet udseende. Jeg endte med at fratrække medianen for et vindue omkring den aktuelle linie. For nogle CCD’er var variationen så lille vinkelret på linieretningen at jeg tog medianen for hele striben. Medianen er mere robust; men den er langsommere end middelværdien, og dette kan være et problem for kamerasoftware. Linieretningen er i dette tilfælde søjleretningen.

Jeg har strengt taget KUN identifiseret en stribe pixler, som IKKE har fået fjernet mørkestrømmen. Jeg ved ikke, om de kan have fjernet dark fra nogle af de overdækkede pixler, som derfor befinder sig omkring 0. Jeg har brug for at finde ud af, hvilke pixler der rent faktisk er lysfølsomme, idet jeg ønsker kun at udtrække sådanne pixler. Jeg ønsker også eksperimentelt at være sikke på at jeg udvælger RGGB billederne korrekt.

Jeg vil i bunden af hvert af de 4 RGGB billeder placere de 14 dark pixels. Dette gøres ved at lave 4 index arrays, som udvælger de ønskede pixler ud fra deres lineære indexafstand fra begyndelsen af det rå array. dcraw informerer mig om, at farvepixlerne har rækkefølgen RGGBRGGBRGGB…..; men jeg ved ikke, om det gælder hele vejen ud af bunden på den første søjle og ind i den næste. Det forekommer mig en risikabel antagelse. De sidste pixler i søjlerne har den eksakte værdi 1 af en eller anden ukendt grund.

Det vil uden tvivl være en hjælp, hvis du kan tage 1 billede af en blå daghimmel og en optagelse af en flade belyst med en glødelampe. Disse kan fortælle mig, hvor R og B pixlerne befinder sig. De fortæller også, hvilke pixler, der er følsomme.

[BjarneModerator Super Nova]

Bryce Bayer:
http://en.wikipedia.org/wiki/Bryce_Bayer
Jeg går ud fra at Nikon D800 følger dette mønster. Problemet er blot, om man har
GRGRG….
BGBGB….
GRGRG….
eller
GBGBG….
RGRGR….
GBGBG…

[swr Giant]

Hvis du ser støjen på D800 ligner den hvid støj, mens støjen på f.eks. en Canon 5Dmk3 har de striber du omtaler, så det er tilsynedadende et spørgsmål om hvorledes det implementeres. Her er et eksempel.

Jeg kan tage et billede af en hvid, rød, grøn og blå skærm. Det burde kunne vise hvilke pixels der er hvilken farve.

[BjarneModerator Super Nova]

Hvis vi bare vidste, hvordan de trækker dark fra billedområdet, og baggrunden fra himlen er så høj at der ikke forekommer et eneste nul, kunne vi adere mørkestrømmen tilbage, så vi fik gendannet det rå billede.

Jeg er ikke sikker på at 3 billeder af farvede skærme er så godt som 2 billeder af flade belysninger med så forskellige farvetemberaturer som en blå daghimmel og en glødelampe. Jeg havde tænkt mig at dividere de 2 billeder med hinanden. Hvis jeg f.eks. dividerer glødelampeoptagelsen med himmeloptagelsen, vil de blå pixler blive meget mørkere end de grønne pixler, og de grønne bliver meget mørkere end de røde pixler. Jeg har set denne forskel på spektre af daghimlen og spektra af en halogenlampe. Forskellen er ganske enorm, da det meste lys fra en glødelampe kommer i den infrarøde del af spektret.

[BjarneModerator Super Nova]

Jeg har fået en ide. Vi kan måske finde frem til deres metode ved at finde forholdet mellem positive pixelværdier og nulværdier på billedområdet af en dark, og sammenligne med forholdet mellem negative og positive pixler fra det overdækkede område efter at den estimerede dark er trukket fra. Det vil blive mere nøjagtigt med en mindre gain faktor, dvs højere ISO værdi.Det er ikke helt urealistisk at vi kan finde estimationsmetoden.

[swr Giant]

Jeg tror begge metoder kan bruges, og jeg er ret sikker på at man tydeligt vil kunne skelne de enkelte pixels med rene farver fra skærmen. Der er kun tre grundfarver i LCD’en som matcher farvefiltrene i Bayer-matricen ret godt. Pixels i den tilsvarende farve burde have en meget højere værdi end de andre to farver.

[swr Giant]

BjarneT wrote: Jeg har fået en ide. Vi kan måske finde frem til deres metode ved at finde forholdet mellem positive pixelværdier og nulværdier på billedområdet af en dark, og sammenligne med forholdet mellem negative og positive pixler fra det overdækkede område efter at den estimerede dark er trukket fra. Det vil blive mere nøjagtigt med en mindre gain faktor, dvs højere ISO værdi.Det er ikke helt urealistisk at vi kan finde estimationsmetoden.

Det lyder spændende.

[BjarneModerator Super Nova]

SWR wrote: Jeg tror begge metoder kan bruges, og jeg er ret sikker på at man tydeligt vil kunne skelne de enkelte pixels med rene farver fra skærmen. Der er kun tre grundfarver i LCD’en som matcher farvefiltrene i Bayer-matricen ret godt. Pixels i den tilsvarende farve burde have en meget højere værdi end de andre to farver.

Gør som du synes. Det vigtigste lige nu er at lokalisere det lysfølsomme område, så jeg kun gemmer dette på de 4 billeder, og så selvfølgelig striben med mørkestrøm.
Jeg fatter ikke at de har valgt at fratrække mørkestrømmen i NEF-formatet. Hvis de i stedet havde valgt at fratrække den i konverteringsprogrammerne, ville de have kunnet fjerne striberne med en simpel opdatering af programmerne. Sagen er sandsynligvis at de startede med at gemme bytes i NEF-filen, så de forekom naturligt at fortsætte med unsignet 16-bit integer. Da man så fandt det naturligt at fratrække mørkestrømmen, vil alle de øvre bits blive sat til 1 for negative tal, hvorfor man sætter alle negative tal til 0. Men dette har gjort det umuligt at rekonstruere billedet. De mange milliarder optagelser har gjort det umuligt at ændre NEF.

[BjarneModerator Super Nova]

Fornyet mystik.
Jeg anvender dette idl program på 30s dark:
a = read_tiff(‘SWR_9599.tiff’)
b = a[7378:7391,*]
help, a
help, b
print, ‘min =’, min(b)
print, ‘max =’, max(b)
print, ‘mean =’, mean(b)
print, ‘median =’, median(b)
END
Output er
A UINT = Array[7424, 4924]
B UINT = Array[14, 4924]
min = 589
max = 1157
mean = 603.658
median = 604.000
BEMÆRK: medianen for striben er 604
dcraw fortæller mig at Shutter: 30.0 sec
Jeg gør nu det samme for 60s dark:
Output:
min = 590
max = 1158
mean = 603.634
median = 604.000
BEMÆRK: medianen er eksakt den samme!!
dcraw siger: Shutter: 60.4 sec
Jeg går nu til 120s dark:
dcraw siger Shutter: 119.1 sec
Så, hvad siger mit idl program på dette billede?
Output:
min = 592
max = 1162
mean = 605.396
median = 605.000
Ingen skal fortælle mig at mærkestrømmen kun er 1 ADU på 2 min.
Hvad foregår der??

[Forfatter]

Indlæg