神乐署建于明代永乐十八年，称作神乐观，顾名思义是一所专司祭祀音乐的道观。
神乐观出现的历史背景非常有趣，因为明代初期的两位皇帝明太祖朱元璋和明成祖朱棣对道教非常虔诚，他们信奉道教神明真武大帝，认为真武大帝保佑了他们，因此他们才在一些重要的宫廷祭祀中使用道教音乐。
明成祖朱棣甚至还御制了《大明御制玄教乐章》，专门作为祭祀音乐的标准。
