我国是世界上最早发明指南针的国家，指南针的最早出现大约是在战国时期，古人把它叫做司南。司南是由青铜盘和天然磁体制成的磁勺组成，青铜盘上刻有二十四向，置磁勺于盘中心圆面上，它可以自由旋转。当它静止的时候，勺柄就会指向南方。
指南针的制造来源于对磁现象的发现和了解。传说秦始皇修建阿房宫时，有一个宫门就是用磁铁制造的。如果刺客带剑而过，立刻会被吸住。《晋书·马隆传》记载，马隆率兵西进甘、陕一带，在敌人必经的狭窄道路两旁，堆放磁石，穿着铁甲的敌兵路过时，被牢牢吸住，不能动弹，马隆的士兵穿犀甲，磁石对他们没有作用，可自由行动，敌人以为是神兵，不战而退。东汉的《异物志》记载了在南海诸岛周围有一些暗礁浅滩含有磁石，磁石经常把“以铁叶锢之”的船吸住，使其难以脱身。
在春秋时期，人们已经能够将硬度5～7度的软玉和硬玉琢磨成各种形状的器具，因此也能将硬度5.5～6.5度的天然磁石制成司南。东汉时的王充在他的著作《论衡》中对司南的形状和用法有过明确的记录。当时的著作《韩非子》中提到：“先王立司南以端朝夕。”“端朝夕”就是正四方、定方位的意思。《鬼谷子》中记载了司南的应用，郑国人采玉时就带了司南以确保不迷失方向。司南也有许多缺陷，天然磁体不易找到，在加工时容易因打击、受热而失磁。所以司南的磁性比较弱，而且它与地盘接触处要非常光滑，否则会因转动摩擦阻力过大而难于旋转，无法达到预期的指南效果。而且司南有一定的体积和重量，携带很不方便，这可能是司南长期没有得到广泛应用的主要原因。
宋朝时期出现了指南龟和指南鱼。指南龟的发明年代不晚于1325年，是当时流行的一种新装置。将一块天然磁石放置在木刻龟的腹内，在木龟腹下方挖一光滑的小孔，对准并放置在直立于木板上的顶端尖滑的竹钉上，这样木龟就被放置在一个固定的、可以自由旋转的支点上了。由于支点处摩擦力很小，木龟可以自由转动指南。
除了指南龟，还有指南鱼可以指引方向。民间常用薄铁叶剪裁成鱼形，鱼的腹部略向下凹，像一只小船，磁化后浮在水面，就能指南北。当时以此作为一种游戏。
北宋曾公亮在《武经总要》也载有制作和使用指南鱼的方法：“用薄铁叶剪裁，长二寸，阔五分，首尾锐如鱼型，置炭火中烧之，候通赤，以铁钤钤鱼首出火，以尾正对子位，蘸水盆中，没尾数分则止，以密器收之。用时，置水碗于无风处平放，鱼在水面，令浮，其首常向午也。”这是一种人工磁化的方法，它利用地球磁场使铁片磁化。即把烧红的铁片放置在子午线的方向上。烧红的铁片内部分子处于比较活动的状态，使铁分子顺着地球磁场方向排列，达到磁化的目的。蘸入水中，可把这种排列较快地固定下来，而鱼尾略向下倾斜可增大磁化程度。南宋元靓在《事林广记》中介绍了另一类指南鱼的制作方法：用木头刻成鱼形，有手指那么大，木鱼腹中置入一块天然磁铁，磁铁的S极指向鱼头，用蜡封好后，从鱼口插入一根针，就成为指南鱼。将其浮于水面，鱼头指南，这也是水针的一类。
人工磁化方法的发明，对指南针的应用和发展起了巨大的作用。在磁学和地磁学的发展史上也是一件大事。北宋的沈括在《梦溪笔谈》中还提到另一种人工磁化的方法：“方家以磁石摩针锋，则能指南。”按沈括的说法，当时的技术人员用磁石去摩擦缝衣针，就能使针带上磁性。从现在的观点来看，这是一种利用天然磁石的磁场作用，使钢针内部磁畴的排列趋于某一方向，从而使钢针显示出磁性的方法。这种方法比地磁法简单，而且磁化效果比地磁法好，摩擦法的发明不但世界最早，而且为有实用价值的磁指向器的出现创造了条件。
直到19世纪现代电磁铁出现以前，几乎所有的指南针都是采用这一种人工磁化法制成的。这时，指南针在它的发展史上已经跨过了两个发展阶段——司南和指南鱼，发展成一种更加简便、更有实用价值的指向仪器。以后各种名目繁多的磁性指向仪器，就都以这种磁针为主体，只是磁针的形状和装置法有所改变。
指南针一经发明很快就被应用到军事、生产、日常生活、地形测量等方面，特别是航海上。指南针在航海上的应用有一个逐渐发展过程。《萍洲可谈》中记载：“舟师识地理，夜则观星，昼则观日，阴晦则观指南针。”这是世界航海史上最早使用指南针的记载。文中指出，当时只在日月星辰见不到的时候才使用指南针，可见指南针刚开始使用时，人们并不熟练。二十几年后，许兢的《宣和奉使高丽图经》也有类似的记载：“惟视星斗前迈，若晦冥则用指南浮针，以揆南北。”到了元代，指南针便已成为海上指航的最重要的仪器了。不论昼夜晴阴都用指南针导航了，而且还编制出使用罗盘导航，在不同航行地点指南针针位的连线图，叫做“针路”。船行到某处，采用何针位方向，航线都一一标识明白，作为航行的依据。
指南针的发明，对世界各国的航海事业发展起到了很大的作用，也对以后创制定向装置和推进自动化科学技术的发展起了先导作用。
指南针的发明是人类发展进程中的一大贡献，为人类生活带来了方便。而我国是最早发明指南针的国家，也成为四大文明古国之一。
