南山自古就远近闻名。汉时有一贤者隐居于此，武帝南巡，请他出山，辞不赴诏，自称野老，无意功名。南北朝时山水诗人谢灵运到此诵经礼佛，至今还有他的幡经台。北宋诗人苏轼在《过都昌》诗中写道：“鄱阳湖上都昌县，灯火楼台一万家。水隔南山人不渡，东风吹老碧桃花。”至今在南山的野老岩下，仍留有他手书“野老泉”三字。泉在野老岩下，水从石缝中涌出，清澈甘冽，终年不涸，为南山一大胜迹。现南山修建了集贤亭、博物馆、碑廊、溢香池等亭廊池馆，与人仙石、南山寺、观音阁、野老泉等古迹连成一体，显得更加多姿多采，引人入胜。