Der am Sextanten abgelesene Winkel ist nicht die beobachtete Höhe. Diese erhält man erst durch die Addition mit Korrekturwerten. Neben dem additiv wirkenden Indexfehler des Sextanten müssen noch weitere Einflussfaktoren beachtet werden:
- Ein zu messender Kimmabstand bezieht sich auf die Mitte der Sonne. Die hat dort aber keine Markierung. Deshalb wird bei der Messung in der Regel der Winkel zwischen Kimm und Sonnenunterrand gemessen. Der fehlende Winkel bis zur Sonnenmitte von im Mittel 16’ muss als Korrekturwert hinzuaddiert werden. Wird die Höhe am Oberrand der Sonne gemessen, weil z. B. der Unterrand gerade von Wolken verdeckt ist, dann muss der Winkel bis zur Sonnenmitte subtrahiert werden.
- Lichtstrahlen werden beim Eintritt in die Erdatmosphäre gebrochen (Refraktion). Der dadurch entstehende Brechungsfehler ist davon abhängig, in welchem Winkel die Lichtstrahlen der Himmelskörper in die Atmosphäre einfallen. Die Dichte der Luft wirkt sich dabei auf das Ausmaß der Refraktion aus. Die Dichte wird vor allem von Luftdruck und Temperatur beeinflusst, die in verschiedenen Höhen, abhängig von Klimazonen und Jahreszeiten unterschiedlich verteilt sind. Ein Problem bei der Korrektur des Brechungsfehlers besteht darin, dass die Refraktion nur näherungsweise berechnet werden kann. Da der Kimmabstand eines Gestirns aufgrund der Refraktion zu hoch gemessen wird, muss ein berechneter Korrekturwert davon subtrahiert werden. Die Gesamtbeschickungstabellen wie z. B. im Anhang unter 8.1 berücksichtigen die Refraktion.
- Beim Messen steht man auf einem Schiff und je höher der gewählte Standort ist, desto weiter kann man über die Rundung der Erdkugel hinweg blicken. Die sichtbare Kimm liegt also mit steigender Standhöhe immer weiter und tiefer. Der mit dem Sextanten feststellbare Kimmabstand der Sonne steigt demnach mit der Höhe, von der aus die Beobachtung vorgenommen wird. Dieser Winkelfehler wird als Kimmtiefe bezeichnet. Diese wird in Gesamtbeschickungstabellen als Augeshöhe berücksichtigt. Auf dem Deck stehend ist sie die Summe von Freibordhöhe des Bootes und Körpergröße. Eigentlich immer, aber besonders bei hoher Dünung, sollte eine Beobachtung deshalb möglichst auf einem Wellenkamm abgeschlossen werden.
- Die Sonnenscheibe erscheint größer, wenn auf der Nordhalbkugel Winter ist. Das liegt an der elliptischen Bahn der Erde um die Sonne. Dieser Effekt wird mit einer sogenannten Zusatzbeschickung korrigiert.
All diese Einflüsse könnten berechnet werden. Dafür existieren auch verschiedene Apps. Einfacher und an die Praxis angepasst dürften aber auch Tabellenwerte sein, die in mehr als 100 Jahren erfolgreicher Seefahrt zur Anwendung gekommen sind. Die Nutzung einer Formel zur Berechnung des Refraktionsfehlers, die eine Temperatureingabe verlangt, kann schon stutzig machen, wenn man weiß, dass das Licht durch verschiedene Klimazonen zum Standort kommt, die alle unterschiedliche Drücke und verschiedene Temperaturen aufweisen.
Die Gesamtbeschickungstabelle, die seit langem im Nautischen Jahrbuch abgedruckt wurde, ist für die Augeshöhe in Zwei-Meter-Schritten bis 40 m gestaffelt und damit für die Großschifffahrt ausgelegt. Sie ist für den Gebrauch auf Segelbooten viel zu grob gehalten. Deshalb wurde nach einer anderen Tabelle gesucht. Im U-Boot-Archiv konnte dann eine solche gefunden werden, die eine Staffelung der Augeshöhe in Ein-Meter-Schritten ausweist, die sich genauer interpolieren lassen. Klar, die Brücke von U-Booten ist ja nicht so hoch. Diese Tabelle aus dem Jahr 1935 stimmt in ihren Zwei-Meter-Werten mit den BSH-Tabellen im letzten Nautischen Jahrbuch exakt überein. Sie dürfte daher schon damals als optimal gegolten haben.
Diese Tabelle liegt der in dieser Seite vorgestellten App sun navigation zugrunde. In der App wird die Augeshöhe jedoch in Dezimetern eingegeben. Einem Computer macht es schließlich nichts aus, zwischen den in Metern angegebenen Tabellenwerten automatisch zu interpolieren.
Refraktion
Lichtstrahlen verlaufen nicht linear, wenn sie durch Medien mit sich stetig verändernden Dichten gehen. So ist die Atmosphäre für die aus dem Weltall kommenden Lichtstrahlen ein Medium mit größerer Dichte, die zur Erdoberfläche hin auch noch zunimmt. Die dadurch entstehende kontinuierlich stärker werdende Brechung bewirkt, dass wir die Sterne und auch die Sonne am Himmel höher stehen sehen, als sie wirklich sind.
Bild 1 soll dies verdeutlichen. Das Licht der wahren Sonne macht beim Eintritt in die Atmosphäre nicht nur einen Knick, wie der Löffel im Wasserglas, sondern neigt sich mit zunehmender Dichte immer stärker in Richtung Erdoberfläche. An unserem Standort Z fallen die Lichtstrahlen daraufhin senkrechter ein als beim Eintritt in die Atmosphäre. Unser Blick geht jedoch tangential zur letzten Einfallskrümmung am Standort nach oben und wir sehen die Sonne in einer höheren Position, aus der in Wirklichkeit überhaupt kein Sonnenlicht kommt. Wir beobachten in diesem Winkel dort also eine Sonne, wo gar keine ist. Die Aufgabe besteht nun darin, auszurechnen, in welchem Maße dieser Effekt Einfluss auf unsere Höhenmessung mit dem Sextanten nimmt. Für die Berechnung der Refraktion findet man verschiedene Formeln, die sich im Wesentlichen nur durch verschiedene Konstanten unterscheiden.

Wenn wir physikalisch exakt bleiben wollen, dann brauchen wir ein Modell, um daran eine Gleichung entwickeln zu können. In diesem Fall ist es ein Kugelschalenmodell, das die Erde mit ihrer Atmosphäre im Schnitt sieht. Darin besteht die Atmosphäre aus unendlich vielen Schichten mit nach oben abnehmender Luftdichte. Ein unendliches Summieren geht nur mithilfe der Integralrechnung. In dem folgenden Refraktionsintegral sind n1 bis n∞ die Brechungsindizes unendlich vieler Luftschichten in den Radien r, die vom Erdmittelpunkt aus zu betrachten sind. Gebraucht wird auch der Erdradius selbst, der hier als a eingebracht wurde. Die Brechungsindizes n beinhalten die nach oben abnehmenden Luftdichten infolge von abnehmendem Luftdruck und Temperaturveränderungen. Der scheinbare Zenitabstand ist s. Doch wie diese Abnahme der Luftdichte verläuft, kann niemand genau sagen. Da gibt es Hoch- und Tiefdruckgebiete, die vom Licht durchquert werden müssen, und zudem noch Klimazonen und Jahreszeiten. Wenn man das alles wüsste, dann könnte man die Refraktion auf der Erdoberfläche tatsächlich mit folgendem Integral ausrechnen:
Natürlich will niemand mit diesem Integral rechnen. Das Integral kann aber auch in eine unendliche Reihe überführt werden. Bei Kimmabständen über 20° brauchen wir aus dieser Reihe nur die ersten beiden Glieder zu betrachten. Bei kleineren Höhen müssten mehr Glieder berechnet werden. Doch bei kleineren Höhen steigt auch wieder die Unsicherheit. Für Temperatur und Luftdruck, woraus die Dichte folgt, wird ein mittlerer Wert verwendet, der sich in einer Konstante abbildet. Die Gleichung ist dann bemerkenswert einfach:
(1)
Den Verlauf der Refraktion nach dieser Formel zeigt Bild 2. Dort ist sie allerdings bis 10° herunter berechnet. Die Genauigkeit der Ergebnisse eines Kimmabstandes von weniger als 20° ist in diesem Diagramm deshalb nicht garantiert. Überhaupt sollten Gestirne – und das gilt allgemein – nur in Höhen >20° beobachtet werden. Darunter durchqueren die Lichtstrahlen allzu viele Zonen mit unterschiedlicher Luftdichte.

Die Zahlen in der Null-Meter-Spalte einer Beschickungstabelle berücksichtigen keine Kimmtiefe, sind also zum Vergleich mit den Rechenergebnissen der Gleichung 1 geeignet. Dabei kann ab einer gemessenen Höhe von 20° eine gute Übereinstimmung festgestellt werden. Bei diesem Vergleich muss lediglich beachtet werden, dass die in dieser Spalte angegebene Zahl die Differenz von 16′ – R ist, wobei 16′ die Hälfte des mittleren Durchmessers der Sonnenscheibe ist.
Dieser mittlere Durchmesser der Sonnenscheibe, der sich im Jahresverlauf ändert, wird in der Tafel mit einer sogenannten Zusatzbeschickung berücksichtigt.
Kimmtiefe
Die vertikale Distanz zwischen der Achse des Teleskops und der Wasseroberfläche ist die sogenannte Augeshöhe. Auch sie nimmt Einfluss auf den mit einem Sextanten gemessenen Kimmabstand. Der dabei zu betrachtende Einflußparameter ist die sogenannte Kimmtiefe.
Ihr Einfluss ist im Bild 3 gut zu erkennen. Je höher ein Beobachter steht, desto weiter und tiefer liegt die von ihm gesehene Kimm. Die in Bezug zum Horizont im gleichen Winkel einfallenden Strahlen der Sonne werden bei größerer Augeshöhe AH in einem größeren Kimmabstand gemessen (h1 < h2).

Zwar ist in dem Bild alles etwas übertrieben groß dargestellt, was aber nur zum besseren Verständnis der Zusammenhänge gemacht wurde.
Kommen wir jetzt zur Berechnung der Kimmtiefe, die wir von einem zu groß gemessenen Kimmabstand abziehen müssen. Bild 4 zeigt dazu einen Querschnitt der Verhältnisse – auch wieder sehr übertrieben, aber nur so lassen sich die Dinge anschaulich erklären. Ein Beobachter im Standort Z sieht die Kimm von seiner Augeshöhe AH aus durch das Teleskop seines Sextanten in einer Entfernung von a und gleichzeitig die Höhe der Sonne in einem Winkel von KA + k, wobei k die Kimmtiefe und KA der wahre Kimmabstand sind. Vom gemessenen Winkel muss deshalb die Kimmtiefe k abgezogen werden.

Um k ausrechnen zu können, betrachten wir das Dreieck mit den Seiten (r + AH), a und r. Die Seite a verläuft tangential zur Erdkugel und steht dort, wo sie die Kreislinie berührt, senkrecht zum Radius. Damit handelt es sich um ein rechtwinkliges Dreieck. Wir sehen weiter, dass die Winkel k und als Stufenwinkel im Erdmittelpunkt wieder auftreten. Der Kosinus von k ist der Quotient von Ankathete r und Hypotenuse, die aus den beiden Strecken r + AH zusammensetzt. Aus dem Kosinus eines Winkels bekommt man den Winkel selbst über die Arkuskosinusfunktion. Folglich gilt:
Das ist aber noch nicht alles. Mit dieser Formel erhalten wir das Ergebnis zunächst im Bogenmaß. Zur Umrechnung ins Gradmaß ist eine Multiplikation mit 180/ nötig. Eine weitere Multiplikation mit 60 wandelt dann Grad in Bogenminuten um.
Da als Folge der terrestrischen Refraktion Lichtstrahlen um 13 % mehr gekrümmt sind als die Erdkrümmung, wird dadurch sogar eine noch weiter entfernt liegende Kimm beobachtet. Die wahre Kimmtiefe beträgt nämlich nur 12/13 des mit der Formel ausgerechneten Wertes. Die endgültige Gleichung lautet aus diesem Grund:
(2)
Manchmal sind auch andere Formeln zu finden. Beispielsweise gibt Joachim Schult in seinem Seglerlexikon k = 1,777-mal Wurzel aus Augeshöhe an. Ob das eine Faustformel ist oder nur aus einer anderen Berechnungsweise stammt, wollen wir jetzt untersuchen. In einem rechtwinkligen Dreieck kann anstelle einer Kreisfunktion auch der Pythagoras zur Anwendung kommen und dann gilt auch:
Der erste binomische Lehrsatz verändert den Klammerausdruck und es folgt:
Angesichts des großen Erdradius von r = 6.367.707 Metern spielt das Quadrat der Augeshöhe, die wir mit maximal 6 m ansetzen wollen, keine Rolle. Da sich die Quadrate der Erdradien aufheben, erhalten wir nun:
Der Betrag 3568 m wird in nautische Meilen umgerechnet, indem er durch 1852 geteilt wird und wir schreiben dann
Unter Berücksichtigung der terrestrischen Refraktion muss noch eine Multiplikation mit 12/13 durchgeführt werden.
Schließlich gilt:
(3)

Der Winkel k im Erdmittelpunkt spannt auf der Erdoberfläche die sphärische Distanz mit einer Bogenlänge von ebenfalls k auf und das ist genau der Bogen vom rechten Winkel des Dreiecks bis zum Standort Z. Diese wird mit der Distanz a gleichgesetzt. Die Formel von Joachim Schult ist also plausibel und korrekt. Den Verlauf der Kimmtiefe in Abhängigkeit von der Augeshöhe zeigt das Diagramm im Bild 3.10.
Es sind also schon recht viele Aspekte, die es zu berücksichtigen gilt. Die Summe aller Einflüsse von einem halben Sonnendurchmesser, Kimmtiefe und Refraktion sind als Gesamtbeschickung in den Nautischen Jahrbüchern des BSH in mehreren Tabellen abgedruckt worden und auch Teil des Anhangs.
Excel Modul
Bild 6 zeigt das Sextantenbeschickungs-Modul, das in den Excel Navigationsprogrammen verwendet wird.

Die Zellen N4 und P4 enthalten die an Gradbogen und Trommel abgelesenen Winkel in Dezimalgrad. Die Formel für die Gesamtbeschickung steht jeweils darunter und ist die Summe auis den Gleichungen 1 und 3.
Für die Zusatzbeschickung wird eine Datenbank-Auszugsfunktion gebraucht, denn die zu verwendenden Werte befinden sich in der Tabelle Zusatzbeschickung.
Aus der Summe dieser drei Tabellenwerten plus der Indexkorrektur ergeben sich dann die beobachteten Höhen aus beiden Beobachtungen, die als Gradmaß und Bogenmaß zur Verfügung gestellt werden.