Hjælp til fotometri forklaring og tidssynkroniseri

[nightskyDeltager Neutron star]

Hjælp til fotometri forklaring og tidssynkronisering

Jeg sidder og forbereder teknikken til mine kommende
observationer af de mange formørkelser
og okkultationer i Jupiter systemet. I
den forbindelse har jeg fået nogle vejledninger fra L’Institut
de Mécanique
céleste et de calcul des éphémérides (IMCCE) omkring de metoder der skal
bruges
for at data kan sendes ind og sidenhen bruges til at forfine beregninger af månernes
baner.
De er faktisk ikke så præcise som jeg troede.

Lige nu driller det mig lidt omkring beregning af
lights, specielt ”mean value FF” og tidskalibrering.

Billedbehandling:

Omkring
flats fra vejledningen:

Flat Field:

The second
problem is that the quantum return on every pixel is not constant. It is so necessary

to have a map of sensibility of the detector. For that, it is necessary to
enlighten the CCD with a
Calibrated light. If we suppose that the response of
the target is linear (what is very close to the
reality), an uniform light can
be enough. One makes a map of sensibility of the matrix by making
the average
of a dozen images to decrease the problems connected to the noise of reading.
For
the correction of an image, one divides every pixel of the image by the
corresponding pixel of the
image of the Flat Field of uniform light (denoted FF
in the following and PLU in french) and one
multiplies by the mean value of its
FF to preserve the dynamics (I den
franske version står der
“on multiplie par la valeur moyenne de la PLU”, tror
det er gennemsnit eller er det
gennemsnit/mean af max-min?). It is
necessary to realize one FF for each used filter,
furthermore as the conditions
of observations change each night (temperature, dusts), it is
necessary to
realize one FF each night of observation.

IMCCE anbefaling:

1:
Lav et dusin flats. Hvis de laves i skumringen, så skal det gøres modsat solen
og pænt højt
oppe på himlen. Ingen
pixels må gå i mætning og det gennemsnitlige niveau skal være mindre end
den
halve værdi af det dynamiske område.

Indeed verify that no pixel is saturated and that the average level of the
image is equal or
superior in the middle of the dynamics of the detector.

Skal det forstås sådan at det dynamiske
område er det område hvor CCD’en er lineær?

2:
Lav et dusin offset (darks) under de samme forhold, samme temperatur og
eksponeringstid
som flats, i total mørke.

3: Beregn flat-field. Dette gøres ved at lave en sum
af N flats, lave et gennemsnit af offsets. Til
sidst fratrækkes flat-field N
gange gennemsnittet af offset.

Calculate the Flat Field. For that, make the sum the thorough images of
sky, then the average
of the offset maps. Remove then from the sum of N FF, N time the average of the offsets.

4:
Straks efter observationen af fænomenet og optagelser af lights, laves en ny
serie offsets under
de samme forhold som lights, samme temperatur og
eksponeringstid.

5:
Hver light fratrækkes den tilhørende gennemsnitlige offset, derefter ganges
light med middelværdien
af flat-field og til sidst divideres med flat-field

Finally for every image of the phenomenon it will be necessary to remove
the offset map,

to multiply by the mean (i den
franske version står der gennemsnitlige ,a valeur moyenne
og det samme i
formlen) value of the FF, then to divide this image by the FF

Engelsk : I (x,y) = ( I_raw(x,y) – I_offset(x,y)
)* I_FFaverage/ I_FF(x,y)

Fransk : I (x,y) = ( I_brute(x,y)
– I_offset(x,y) )* I_{PLU moy}/ I_PLU(x,y)

I_FFaverage/ hvordan skal det forstås, den gennemsnit
af samtlige værdi af samtlige pixels på ”FF” ???

Nedenfor
konverteret til begreber som jeg plejer at bruge:

1: Tag 12 stk. ”flats”

2: Tag 12 stk. ”offset-flats”, samme eksponeringstid
og temperatur som ”flats”

3: Beregn ”master-offset-flats” = sum(”offset-flats”)/12

4: Beregn ”master-flat” = sum(”flats”)-(12*”master-offset-flats”)

5: Efter ”lights-raw” (observationen) er taget af
fænomenet, laves 12 nye ”offset-lights” samme
eksponeringstid og temperatur som
”lights-raw”

6: Beregn ”master-offset-light”
= sum(”offset-lights”)/12

7: Beregn ”light” = ( ”light-raw” – ”master-offset-lights” ) * gennemsnit(samtlige
”master-flat” pixels) / ”master-flat

Tidskalibrering :

Tidssignal fra GPS modul koblet
til computeren er godkendt til tidskalibrering. Først synkroniser
man PC’ens ur
med GPS signalet og verificer tiden umiddelbart før og efter observationen.

Synkronisering gør det program der følger med GPS modulet, men hvordan
hulen verificer
man tiden ?

Fra vejledningen :

The time-scale for the
observations

Since these observations are made in order to improve the dynamical models
of motion of
the objects themselves, all the data must be referred to a well
known time-scale to the
nearest tenth of a second of time in order to be able
to link all the observations together.
In fact, all the observational data
should be referred to UTC (Universal Time). Internal
clocks of computers are
not confident because not linked continuously to UTC. If it is not
possible to
be connected to UTC any time, it is necessary to verify the used clock before

and after the observation and to record the difference between the used clock
and UTC at
that time (never modify the clock during an observation). The
sidereal time must never be
used in the present work. We learned, through the
past experiences that this calibration of
the time-scale should never be made
after the observation since anything can happen such
as a failure of the
hardware. Unfortunately, all the observatories do not have a sure clock
related
to UTC and the best to do is to note the difference of the available time-scale
with
UTC before and after the observation by calling UTC through the phone
network or
thanks to a radio-receiver in order to know if a drift occurs in the
time-scale. The time
accuracy should be better than 0.1 second of time that is
to say that each photometric
measurement of the recorded light-curve must be
dated in UTC with an accuracy better
than 0.1 second of time. Note that the
satellite Io, for example, has a velocity of 17.2
km/s, so that an accuracy of
0.1 second of time corresponds to an accuracy of 1.7 km in
space. Since the
internal accuracy of the theory of motion of the satellites is around one

kilometer, anyone may understand that an accuracy better than 0.1 second of
time is
necessary. Note that the time obtained by GPS is confident.

Hjælp

Nightsky2014-11-11 21:58:33

[Lars MalmgrenDeltager Super Nova]

Det dynamiske område forstår jeg som HELE chippens dynamiske område, altså typisk fra 0 – 65535 ADU.
De siger halvdelen formegentligt for at være 100% sikker på at være i chippens lineære område.

Resten af dit indlæg skal jeg lige læse et par gange mere

[Lars MalmgrenDeltager Super Nova]

Nightsky wrote:

Engelsk : I (x,y) = ( I_raw(x,y) – I_offset(x,y)
)* I_FFaverage/ I_FF(x,y)

Fransk : I (x,y) = ( I_brute(x,y)
– I_offset(x,y) )* I_{PLU moy}/ I_PLU(x,y)

I_FFaverage/ hvordan skal det forstås, den gennemsnit
af samtlige værdi af samtlige pixels på ”FF” ???

JA, sådan forstår jeg det også.
Forskellen fra “normal” billedbehandling er så vidt jeg kan se, at i stedet for blot at gange med I_flat (x,y), så vil de gange med flattens gennemsnitlige intensitet divideret med I_flat (x,y).

Jeg forstår ikke hvorfor du i punkt 2 skriver:

2:
Lav et dusin offset (darks) under de samme forhold, samme temperatur og
eksponeringstid
som flats, i total mørke.

En dark er en dark, og en offset er en dark optaget med kortest mulige eksponeringstid !

RETTELSE: Jeg tænker på BIAS frames, men i denne sammenhæng er offset (vist nok) forskellen på flatten optaget før og flatten optaget efter science-framen.

Lars Malmgren2014-11-11 22:48:40

[nightskyDeltager Neutron star]

Hej Lars

I denne sammenhæng er offset, hvad mange nok vil tænke på som darks hvor bias ikke er
fratrukket. Normalt ville jeg også mene at offset er det samme som bias, men her er det ikke
tilfældet.

Offset map:
The first problem is that all the electrons do not result necessarily from a transformation consecutive
to the catch of an electron. Indeed the simple thermic excitement produces free electrons. It is so
necessary to quantify this production which is variable from a pixel to another one because of the
manufacturing efects. The most effective method consists in acquiring a series of poses realized
in the same conditions of exposure time, temperature as in the recording, but in the total darkness.
One puts here in evidence one of the crucial points of a good observation CCD which is the necessity
of a good thermal regulation of the target.

One can make the average of a dozen such images to decrease the effects of the noise of reading.
The correction of the thermic noise is made then simply by removing this “offset map” from every
acquired image. One will note that in the absence of any thermic electron, the CCD always produces
an output signal different of zero. This variable value from a pixel to the other one is called the
electronic offset.

Finally with this method, the map which one measures represents the sum the maps of thermic
noise and electronic offset. One realizes so these two corrections at one time. Afterward we will
speak only about offset map.

[Lars MalmgrenDeltager Super Nova]

Nightsky wrote:

One can make the average of a dozen such images to decrease the effects of the noise of reading.
The correction of the thermic noise is made then simply by removing this “offset map” from every
acquired image. One will note that in the absence of any thermic electron, the CCD always produces
an output signal different of zero. This variable value from a pixel to the other one is called the
electronic offset.

Finally with this method, the map which one measures represents the sum the maps of thermic noise and electronic offset. One realizes so these two corrections at one time. Afterward we will speak only about offset map.

Hummm…..

Når han taler om “thermic noice”, så mener han DARKS.
Når han taler om “electron offset”, så mener han BIAS.

I ovenstående blander han begge dele sammen…
Kan Franskmænd simpelthen bare ikke gøre sig selv forståelige, lige meget hvad ????????

Når han i sidste afsnit skriver “Finally…”, så tror jeg han mener, at vi med DARKS har både et BIAS signal og et DARK signal, som et eller andet sted også er rigtigt.
Det er jo så bare en helt alm billedbehandling, som når vi laver “pæne” billeder…

[edbbobDeltager Super Nova]

Er det ikke bare en meget indviklet måde at skrive at man skal kalibrere sine lights på den grundige måde, med bias, darks, flats og flatdarks?

En stor del af det er en beskrivelse af skyflats. Normalt dividerer software bare lights med flats, men her skal man også gange med middelværdien for ens flats. Det svarer bare til en gain med ca x0,5, i dette tilfælde, og det ville jeg umiddelbart mene de foreskriver, for at undgå at noget brænder ud.

Skal jeg forstå det sådan at i leder efter måner om exoplaneter?

Vh

MortenEDBBOB2014-11-12 00:07:12

[munkholmDeltager Neutron star]

Undskyld jeg lige blander mig men, hvad pokker skal man med Bias frames hvis man har darks, flats og flatdarks? Jeg går selvfølgelig ud fra at man har taget sine callibrerings frams korrekt mht. temperatur og tid,

og hvis det er tilfældet skulle bias frames jo gerne være overflødige

Takahashi FSQ-85ED APO GSO RC 10" SBig 8300M SW NEQ6 pro

[edbbobDeltager Super Nova]

@Bent

Du har ret. Normalt er bias jo indeholdt i darks.

Vh

Morten

[mhansenDeltager Nova]

Hvis jeg må tilføje. I kurset Astronomical Data Processing lærte vi at:

Et offset er et bias. Det trækkes fra for at sikre at alle pixels har samme “bundniveau”.
Et dark er et dark. Det er for at tage højde for hot pixels i ccd’en.
Et flat er en metode til grundlæggende at reducere effekten af alle “mekaniske” ændringer af signalet der måtte komme i ccd’en. For professionelle teleskoper er det dog langt hen af vejen for at tage højde for ikke-ensartet sensitivitet over ccd’en.

En måde at undersøge hvorvidt man har brug for darks kan være ved at sammenligne standard afvigelsen for støjen på darken med standard afvigelsen for støjen på bias framen. Hvis bias støjen overstiger dark støjen, så er dark frames unødvendige.

Den indledende kalibrering foregår altid helt grundlæggende med at fratrækning af bias fra alle frames (undtagen bias selv), en fratrækning af dark og en division med et normaliseret flat. Dette gøres typisk ved at dividere flat’en med en mean/mode værdi. Det er fordi man ikke er interesseret i at reducere signalet i science billederne, men kun interesseret i at tage højde for gradienter over chippen.

Når man arbejder med spektroskopiske data er der dog ofte behov for at ensarte masterflatten, således at intensiteten er nogenlunde ensartet over hele feltet.

Men ellers skulle jeg mene at principperne er de samme. Jeg kan under alle omstændigheder overhovedet ikke finde hoved og hale i beskrivelsen her.

Så arbejdsgangen i min verden vil være.
1: Fratræk dit bias fra alle frames.
2: Fratræk darks.
3: Divider med normaliseret flats

MHansen2014-11-12 10:51:18

[mhansenDeltager Nova]

Lars Malmgren wrote: Det dynamiske område forstår jeg som HELE chippens dynamiske område, altså typisk fra 0 – 65535 ADU.
De siger halvdelen formegentligt for at være 100% sikker på at være i chippens lineære område.

Resten af dit indlæg skal jeg lige læse et par gange mere

Hvis du vil være helt sikker kan du bruge 0.8*(saturation * gain). Du skal kun gange med gain hvis saturation er i counts/ADU, men det er det vist ofte.

[nightskyDeltager Neutron star]

Tusind tak for alle inputs. I dette tilfælde er jeg nødt til at holde mig til IMCCE anvisningerne,
det er åbenbart standarden for denne type observationer og IMCCE er bestemt eksperter på
dette område. Derfor er der ingen grund til at betvivle deres anvisninger, problemet er at
det er skrevet temmelig snørklet.

Darks indeholder jo bias, men alt efter hvilken type observationer man laver behandles de forskelligt.
I anvisninger til spektroskopi, MIDAS, ISIS o.s.v. fratrækker man altid bias fra dark så vidt jeg
husker (det er automatiseret i dag). Jeg tror grunden er måden bias og dark beregnes på.

Master-bias beregnes som median af bias frames (her og ved spektroskopi)
Darks fratrækkes Master-bias
Master-dark er summen eller gennemsnittet af darks her og ved spektroskopi median

Forskellen er altså meadian og gennemsnit/sum

Nightsky2014-11-12 21:45:01

[mhansenDeltager Nova]

Hej Lars,

Jeg antager at det er fordi 1/flat/mean = mean/flat. Det jeg skriver at du tager din masterflat og dividerer den med mean og derefter dividerer du meanflat med dit science image. Det er essentielt det samme som at gange med mean værdien og så dividere med flat.

Igen, det er fordi du kun er interesseret i gradienten, ikke at reducere pixelværdierne/counts af dine science frames.

Både bias, dark og flat kombineres med median. Flat kan evt. kombineres hvor man skalarerer med mean eller mode.

MHansen2014-11-12 11:48:06

[swr Giant]

Så vidt jeg har forstået det er udfordringen at både udlæsningsstøjen og mørkestøjen afhænger af både temperatur og tid.

Udlæsningsstøj

Temperaturen påvirker parametrene på de komponenter kredsløbet er bygget af. Selv for en simpel modstand er støjen temperaturafhængig. Tiden i form af udlæsningsfrekvensen påvirker også udlæsningsstøjen.

Mørkestøj

Belysningstiden er proportional med mørkestøjen mens temperaturen har en ulineær påvirkning af mørkestøjen.

Flat-frames indeholder både udlæsningsstøj og mørkestøj, men har en yderligere optisk støj i form af støv og andre urenheder. Der kan også være en del ulinearitet når man nærmer sig max niveauet, afhængig af sensor designet.

Problemet er vel at mens Darks normalt optages ved samme temperatur og belysningstid, således at mørkestøj og udlæsningsstøj er sammenlignelige med selve billedet, så er Flats ikke optaget ved samme betingelser.

Man kan reducere udlæsningsstøj og mørkestøj ved at optage et separat antal Darks ved samme betingelser som Flats og trække dem fra Flats, men det fjerner ikke den forskel temperaturen måtte have på pixel-gain og den ulinearitet der måtte optræde på højt belyste pixels.

Udfordringen er vel at det ikke er så nemt at lave flats om natten under samme betingelser, da det kræver et flat panel, men også at det i høj grad ville tage noget af vores sparsomme mørke tid som i stedet kunne bruges til at tage rigtige billeder.

Man kunne relativt enkelt undersøge hvor stort linearitetsproblemet er på sit kamera ved at tage Flats ved f.eks. 50%, 70%, 90% og 95% kapacitet ved at variere belysningstiden. Herefter kunne man vise lineariteten på pixel niveau i et regneark. Hvis problemet ikke er ret stort kan man se bort fra det bidrag.

Så er der kun temperaturens indvirkning på pixel gain tilbage. Hvis det er et problem skal man tage flats ved samme temperatur som selve billedet, men da der også kan være optiske fejl på flats er det svært på forhånd at lave et bibliotek af flats ved forskellige temperaturer, så jeg kan ikke lige se hvordan man kan undgå at reducere belysningstiden under stjernerne med den løsning?

Et temperaturreguleret kamera har selvfølgelig en fordel her, da temperaturen er forholdsvis konstant uanset udetemperaturen, så her burde det ikke være noget problem at tage flats lige før solopgang.

For mig at se er den optimale løsning følgende:

I(x,y)=(Iraw(x,y)-Idark(x,y))*Konstant/(Iflat(x,y)-Iflatdark(x,y))

hvor konstanten fint kunne være avg(Iflat(x,y)-Iflatdark(x,y))

Mvh Søren

[swr Giant]

PS: Det kunne være interessant at se hvor stor fejlkilderne er på Darks og Flats ved forskellige temperaturer med det kamera man bruger. Så kan man bedre vurdere hvilke fejlkilder det kan betale sig at gøre noget ved.

Det ville jo være træls at bruge en masse krudt på noget der ikke rigtigt giver nogen mærkbar forbedring.

[edbbobDeltager Super Nova]

For mange år siden var jeg laborant elev. I sommerferien blev jeg “udlånt” til et andet institut. Der skulle vi lave en ufattelig mængde afpipetteringer, og normalt tæller man til ti og dypper spidsen af pipetten. Derfor udvejede jeg pipetten, og testede hvad der skete, hvis man i stedet for at dyppe spidsen, bare blæste indholdet ud af pipetten, ved at klemme hårdt på peleusbolden. Jeg lavede dobbeltbestemmelser og regnede på statistikken, og alt så fint ud, så pludselig kunne jeg afpipettere meget hurtigere end de andre laboranter.

Det næste der skete var at jeg blev inviteret ind på kemikerens kontor, og fik at vide, at jeg ikke skulle rende rundt og lære hans laboranter unoder.

På laborantskolen havde jeg godt bemærket at vi mere lærte at udføre ting efter en opskrift, end at prøve at forstå hvad vi lavede, men lige dér på kemikerens kontor tog jeg en beslutning om at jeg ikke skulle være laborant.

Jeg forstod egentlig godt, hvad han mente: “Når du er ude efter ferien, går de andre laboranter igang med at udvikle metoder, og hvis de ikke er lige så grundige som dig, går det galt. Så kan det godt være at det tager tid at dyppe spidsen, men så ved jeg at det altid bliver gjort ens”.

Jeg læser vedledningen ovenfor som noget i samme stil, og med årene er jeg blevet mindre skeptisk overfor standardiserede metoder

[Forfatter]

Indlæg