汉武帝晚年曾经三次巡幸琅琊（包括琅琊郡所属不其县）。元封五年（前106）年末，武帝南巡，次年初由长江口浮海北至琅琊，直到三月才离开。太始三年（前94），武帝再幸琅琊。太始四年（前93）夏四月，汉武帝巡幸不其，在女姑山建太乙仙人祠和明堂。太乙（泰一）是楚人祭祀的至高无上的大神，原只有京城甘泉宫一座太乙祠庙，而不其县太乙仙人祠，则是武帝在京城之外修建的唯一一处太乙祠庙。汉武帝还在琅琊交门宫祭祀蓬莱仙人，登琅琊台观沧海。