宋太祖赵匡胤最先钦封沂山,有宋乾德三年(公元965年)御碑为据。传说赵匡胤曾在沂山与后周大将韩通激战。幸有沂山之神相助,赵匡胤才得战胜韩通。缘于此,赵匡胤在陈桥兵变黄袍加身,夺得天下建立大宋之后,便钦封沂山为东镇。并在沂山东麓之九龙口处建东镇庙以为纪念,还曾携文武百官亲临祭告。由于历代朝廷有望秩之典,加之沂山雄伟秀丽,大家名士、骚人墨客,慕名而至,观光览胜。自此,元、明、清各朝沿袭祭之,东镇沂山名闻天下。
中国古代,历代皇帝有祭祀天地山川的活动。因此就把一些表示疆土或行政区划的名山封为“五岳”或“五镇”。元朝成宗大德二年,皇封今山东省临朐县内的沂山为“东镇”,今陕西省宝鸡县内的吴山为“西镇”,今浙江省绍兴市内的会稽山为“南镇”,今辽宁省北镇市内的医巫闾山为“北镇”,今山西省霍州市内的霍山为“中镇”。