La notion de pôle Nord magnétique a été inventée par le désire des premiers navigateurs européens d'expliquer les propriétés directionnelles de la boussole et du compas. Les Chinois utilisaient déjà la boussole dès le I^er siècle. Il semble qu'elle fut importée en Europe au XII^e siècle, les premiers documents européens qui en font mention remontant à 1190. Alors que les Chinois considéraient que l'aiguille de la boussole pointait vers le sud, les Européens inversèrent cette perception en estimant qu'elle pointait vers le nord. Cette inversion de l'orientation sera importante pour la création de théories sur la nature du pôle magnétique.

En 1269, Pierre Pèlerin de Maricourt rédige sa Lettre sur le magnétisme dans laquelle il décrit en détail la boussole et le compas. Dans ce texte remarquable, Pèlerin de Maricourt fait plus que décrire l'assemblage d'une boussole, il relate ses expériences réalisées sur une sphère aimantée, lesquelles précèdent de plus de trois siècles les célèbres travaux de William Gilbert. Il annonce trois découvertes importantes :

1. la nature dipolaire des aimants
2. le fait qu'aux pôles la force magnétique est verticale
3. le fait que c'est aux pôles qu'elle est la plus intense

Pèlerin considère que la propriété qu'a l'aiguille aimantée de pointer vers le Nord n'est pas une propriété fondamentale de l'aimant ou de la Terre. Il évoque plutôt une des deux théories répandues à l'époque. Puisque l'aiguille de la boussole pointe vers l'étoile polaire — laquelle est située sur l'axe céleste fixant la révolution des dix sphères célestes — elle doit être tributaire, pour ses propriétés, de l'Étoile polaire. La deuxième théorie, qui devait connaître une grande diffusion, posait que l'aiguille était attirée par une montagne magnétique s'élevant au pôle Nord.

Puisque l'on supposait généralement que la montagne magnétique se dressait au pôle géographique, la découverte de la déclinaison magnétique, le fait que la boussole ne pointe pas vers le Nord vrai, posait un problème que l'on a résolu en situant la montagne magnétique à une certaine distance du pôle géographique. Le grand cartographe Gérard Mercator (Gerhard Kremer) a tenté de préciser la position du pôle magnétique en trouvant l'intersection des grands cercles tracés à partir des valeurs de la déclinaison magnétique en différents lieux. Lors de sa première tentative en 1546, il a réalisé que ses grands cercles ne se croisaient pas tous en un seul point. Il a résolu cette difficulté en faisant appel à deux pôles magnétiques. La figure montre la portion arctique de la célèbre carte du monde de Mercator de 1569, où apparaissent clairement deux pôles magnétiques distants de 500 km.

Sans la reconnaître, Mercator avait découvert la composante non dipôle du champ géomagnétique. En d'autres termes : les méridiens magnétiques ne suivent pas les grands cercles entre un point donné et le pôle magnétique.

Nous devons notre définition actuelle des pôles magnétiques à William Gilbert, dont le célèbre ouvrage, De magnete, paraît en 1600. Ses contributions à la science du magnétisme sont considérables même s'il doit beaucoup aux travaux de Pèlerin de Maricourt et de Robert Norman qui, en 1576, découvrit l'inclinaison magnétique. Il fut le premier à supposer que la Terre fût elle-même un grand aimant et que la force exercée sur l'aiguille d'une boussole provenait de l'intérieur de la Terre et non d'une montagne magnétique ou des sphères célestes. Il a défini les pôles magnétiques comme les deux endroits de la surface terrestre où une aiguille aimantée s'orienterait verticalement.

Gilbert croyait à la coïncidence des pôles magnétiques et géographiques, croyance issue de la combinaison de ses a-priori cosmologiques et de ses expériences avec la sphère aimantée : la terratelle (ou petite terre). Il connaissait l'existence de la déclinaison, mais l'expliquait en postulant que la quantité plus grande de matériel magnétique dans les continents, relativement aux océans, causait la déclinaison de la boussole vers les continents. Un scientifique moderne aurait dit que la déclinaison était causée par des anomalies crustales à grande-échelle. Cette explication n'était pas infirmée par les données disponibles à l'époque. Éventuellement, on prouva que cette partie de sa théorie était fausse.

Avec l'accumulation des mesures de la déclinaison magnétique, on a attaqué l'hypothèse d'un pôle magnétique ou d'une paire unique de pôles, parce que les observations ne concordaient pas avec la distribution géométrique de la déclinaison magnétique, prédite par la théorie. Pour résoudre ce problème, le mathématicien Leonhard Euler a tenté de déplacer l'axe magnétique du centre de la Terre, de cette façon les pôles magnétiques n'étaient plus aux antipodes l'un de l'autre, mais ce déplacement ne fut pas suffisant pour expliquer les données. Un plus grand nombre de pôles semblait nécessaire.

Edmund Halley, le grand astronome anglais qui, en 1702, avait publiée la première carte de la déclinaison magnétique dans l'océan Atlantique, propose l'existence de deux pôles Nord magnétiques et deux pôles Sud magnétiques. Deux de ces pôles sont sur la surface de la Terre et les deux autres sur une sphère intérieure à 800 km sous le sol. Cette disposition lui permet d'expliquer la distribution de la déclinaison et, en supposant que les deux sphères tournent à des vitesses légèrement différentes, explique la variation séculaire de la déclinaison.

Au début du XIXe siècle, le norvégien Christopher Hansteen soutient la théorie des quatre pôles. Il dispose de plus d'observations que Halley, ainsi que de données sur l'inclinaison et la force totale. Il note en particulier que l'on ne peut expliquer à l'aide d'un seul axe magnétique, ni le tracé de l'équateur magnétique, ni l'absence de corrélation entre la force totale et l'inclinaison. Hansteen croît que l'on peut expliquer la configuration du champ magnétique en postulant l'existence de deux axes magnétiques, chacun avec ses deux pôles et il propose une définition différente des pôles magnétiques, abandonnée de nos jours. Selon Hansteen, un pôle magnétique n'est ni le point où le champ magnétique est vertical, ni le foyer vers lequel s'aligne l'aiguille de la boussole. Il constitue plutôt le «point de force» où l'intensité magnétique est maximale.

Trois définitions différentes pour le «pôle magnétique» coexistent donc au début du XIXe siècle. Certains l'interprètent comme le point de convergence des méridiens magnétiques, d'autres, dont Hanseen, le définissent comme la région où l'intensité magnétique est maximale et un troisième groupe qui inclut James Ross, le présente comme le point où l'aiguille pointe vers le sol. Si le champ magnétique terrestre était parfaitement dipolaire, ces trois définitions définiraient un seul point. Au début du XIXe siècle, la complexité du champ magnétique était bien connue, notamment la présence de deux régions d'intensité maximum dans l'hémisphère Nord. En termes modernes, nous pouvons résumer l'état des connaissances au début du XIXe siècle de la façon suivante : on savait que le champ géomagnétique était trop complexe pour être expliqué à l'aide d'un seul dipôle et des chercheurs, tel Hansteen, avaient formulé des théories pour expliquer la contribution non dipôle. Ils ont tenté de résoudre ce problème en ajoutant un deuxième dipôle. Bien que le recours à de multiples dipôles pour modéliser le champ géomagnétique soit une procédure parfaitement valide, les analyses effectuées dans les années 1960 ont démontré que plus de 35 dipôles radiaux étaient nécessaires pour modéliser le champ avec une précision acceptable.

En 1839, Carl Friedrich Gauss crée l'analyse sphérique harmonique pour décrire le champ géomagnétique. Les pôles magnétiques ne sont pas nécessaires et ils ne jouent aucune part dans l'analyse. L'existence de deux pôles magnétiques répartis dans deux hémisphères est un sous-produit de l'analyse et leur définition est limitée pour ne désigner que la région sur la surface terrestre où l'intensité horizontale est nulle et l'inclinaison ± 90°. Gauss a clairement démontré que le concept d'un axe magnétique joignant les deux pôles n'était pas fondé en réalité.

Bien qu'à l'époque les idées de Gauss ne furent pas unanimement reçues, sa méthode d'analyse sphérique harmonique est aujourd'hui universellement acceptée tout comme sa définition des pôles magnétiques.