古代世界上有很多类似高尔夫的球类运动。
中国有种被形象地称为“捶丸”的球戏。捶丸,来源于唐代的“步打球”,与现代曲棍球十分相似。步打球,又称“步打”,是一种徒步以杖击球的球类运动,类似于今天的曲棍球。步打是从马球活动演变发展而来的,除了不骑马之外、跟马球运动大体相似。但到了宋朝,步打球由原来的对抗性竞赛逐渐演变为非对抗性比赛,取消了球门,该用球穴,球进穴得一分。竞赛形式变了,名称也随之改变了,叫“捶丸”。“捶”即击,“丸”即球。相传在明朝,皇室有一种类似高尔夫运动的游戏,叫“捶丸”,明朝时期所绘的“宣宗行乐图”也印证了此观点。它被描述为:在走路的过程中用棍子击球的运动。之所以有这样的说法是因为在我国至今仍保存着关于这种运动的壁画,这也是高尔夫起源于中国的证据。
据说古罗马有一种以木杆击打用羽毛充塞制成的球的游戏。
流传最广的一种是古时的一位苏格兰牧人在放牧时,偶然用一根棍子将一颗圆石击入野兔子洞中,从中得到启发,发明了后来称为高尔夫球的运动。因此,高尔夫这个词最早出现在十四世纪苏格兰议会中的文件中。这是唯一一个有议会文件记录的说法,而且得到了世界大部分高尔夫热爱者的认同。其中圣安德鲁斯球场被认为是高尔夫的圣地。每一个高尔夫球手最大的愿望就是能亲身在圣安德鲁斯球场打一场高尔夫球。它还是高尔夫规则的制定机构,所有的大型比赛规则都必须符合它的基本要求。
荷兰人一直都不认同高尔夫起源于苏格兰的说法,他们认为最早的高尔夫是起源于荷兰的。荷兰人把一个名叫“kolven”的古老运动称为最早的高尔夫,而且他们认为这个运动是通过商品贸易传进苏格兰的。但是,很多人并不认同这种说法。反对者指出:“kolven”是一种室内运动,而高尔夫是一种户外运动,这是两者最基本最本质的区别!而且,“kolven”运动所使用的球要比一般的高尔夫球大,球杆要比高尔夫球杆重,更重要的是这项运动所使用的杆是没有角度的。所以,很多人并不认同高尔夫起源于荷兰的说法。
法国古代有一种运动叫jeu de mail,据说也与高尔夫有类似之处。