Priorität hat doch das Wörterbuch, welches in den Systemeinstellungen > Sprache&Text an oberster Stelle steht ?
Nicht wirklich. In allen neueren Versionen von OS X versucht das System, zu erraten, in welcher Sprache Du gerade einen Text schreibst und verwendet dann automatisch ein "passendes" Wörterbuch.
Bei Textprogrammen ist es darüber hinaus üblich, dass man für einzelne Textabschnitte eine gewünschte Sprache vorgeben kann, z.B. für ein fremdsprachiges Zitat. Das wird dann ähnlich wie die Schriftfarbe zu einer Eigenschaft dieses Abschnitts.
Nutzen manche Programme auch eigene Wörterbücher ?
Falls ja, was kann der Grund sein ?
Ja. Der Grund ist, dass manche Programme ihre eigenen, privaten Wörterbücher mitbringen, insbesondere wenn sie aus einer Zeit stammen, als es Mac OS X noch nicht gab. Oder wenn es ein Programm für mehrere Betriebssysteme gibt und das "Rechtschreibverhalten" auf allen Systemen exakt gleich sein soll.
Wenn ich in Safari was in einem Forum poste und mir im Forum ein Wort als falsch geschrieben angezeigt wird - z.B. bei Kettler (Fahrradmarke) - liegt das an OS X oder am Forum ?
Das wird so gut wie immer an OS X liegen.
In der Datei des Programms habe ich als Wörterbuch Deutsch (Neue Regeln) eingestellt.
Bei Wörterbücher des Programms wählen ist "Haupt- und Anwenderwörterbuch verwenden" festgelegt.
Mit Hauptwörterbuch ist doch das OS X Wörterbuch gemeint, oder ?
Wahrscheinlich nicht. Die Begrifflichkeiten "deutsch (neue Regeln)", "Hauptwörterbuch" und "Anwenderwörterbuch" wären für OS X sehr ungewöhnlich. Apple verwendet hierfür normalerweise andere Begriffe. Du arbeitest wahrscheinlich mit einer Sonderlösung innerhalb dieses Programms, ohne dass die Sprachfunktionen von OS X verwendet werden. Da Du nicht verrätst, welches Programm es ist, kann man dazu wenig sagen.