杜牧中进士时,正遇上牛僧儒赴扬州任淮南节度使,杜牧被征召做幕僚,负责处理公文。实在也是大材小用。来到扬州这个花花世界,杜牧几乎每夜都到青楼去尽情游乐。此时他的身后总有二三十名兵士,换了便衣,暗中保护着他。杜牧觉得这情形对他很好,泰然处之。几年后,皇帝让杜牧任侍御史,牛僧儒为他设宴送行,告诫他说:“以你的气概来担任这样的职务,一定还会取得更高的职位。但我经常担忧,怕你因迷恋风情而不能控制自己。”杜牧随便应付说:“幸亏我还能经常检点自己,不至于让你为我担心。”牛僧儒笑了笑,让侍童取来一个小书箱,当着杜牧的面打开,原来里边都是那些跟在杜牧后边的便衣士兵写的秘密报告,有好几十份。写的是某天晚上杜牧在某家饮宴,某天晚上又在某家饮宴,平安无事,等等。杜牧感到羞愧,流泪向牛僧儒下拜致谢。牛僧儒死后,墓志铭是杜牧所撰,也是对牛僧儒的一点答谢。