甘泉寺始创于何年何月，已无法考证，或曰始建于宋代，但均无确凿证据。相传曾有一名士考中状元，唐皇见其一表人才，便将皇姑许配给与他。状元为了逃婚弃国回家，来到这里依山靠泉，建了座寺庙，出家做了和尚。皇姑追夫心切也来到这里，见郎君已出家，无奈便在寺庙前建了尼姑庵。传说虽无文字记载，不足为证，然寺内现存千年树龄的银杏古树，足以佐证该寺历史之悠久。
甘泉寺亦历史经劫难，屡受战乱雷火的袭击。到一九四九年前后，这里已倾圯殆尽，仅存残坦颓壁。一九九二年，枣庄市市中区渴口镇对甘泉寺施以大规模重修。重建后的大雄宝殿；东西厢房雕廊画栋，古色古香；四周院墙蜿蜒曲折，古朴曲雅。大雄宝殿内，如来佛祖端坐中央，东西两侧十八罗汉神态各异，惟妙惟肖。大雄宝殿前台阶下方是放生池，寺之西北角银杏树下的甘泉潺潺注入，（甘泉寺因此而得名），池内游鱼嬉戏，增添无限生机。
一九九六年四月，甘泉寺被批准为合法的佛教活动场所。为此山东省佛教协会指派千佛山高僧，八十八岁高龄的寂昌法师常住甘泉寺任住持。从此，甘泉寺香火日渐旺盛，枣庄市三百多名居士得到了合法的活动场所。经寂昌法师和寺内五名僧人及众居士共同努力，如今的甘泉寺又在放生池前新建了天王殿，殿两侧同时建起东西走廊，与东西厢房连接，同时还建起斋房，解决了僧人和居士的食宿问题。现在，寂昌法师经常往来于甘泉寺与济南千佛山之间，从事佛教活动。甘泉寺内日常事务，由心昊法师代为主持。
