据《史记·秦始皇本纪》索隐解释：“盖海畔有山，形如台，在琅邪（琅玡），故曰琅邪台。”琅玡山位于胶南琅玡海滨，三面临海，海拔183米，昂首翘尾于众山之上。据《山海经·海内东经》记载：“琅邪台在渤海间，琅邪之东。”琅玡台因祠古齐地八神主之一的四时主，而成为中国最早的观象台。据《史记·封禅书》记载，八神主为古齐地先民信奉的掌管八方面事宜的神：一曰天主，祠天齐；二曰地主，祠泰山梁父；三曰兵主，祠蚩尤；四曰阴主，祠三山；五曰阳主，祠之罘（芝罘）；六曰月主，祠莱山；七曰日主，祠成山；八曰四时主，祠琅邪。《史记·封禅书》还记载:“八神将自古而有之，或曰太公以来作之。”由此可知，古齐地八神主有着悠久历史，是东夷人的古老信仰。至西周初年姜尚（太公）封齐以后，对东夷古俗采取“因其俗，简其礼”的治国方略，使东夷八神主信仰古俗继续得以传承。据《汉书·地理志》记载，越王勾践迁都琅玡后，也遵循古齐地八神主崇拜之俗，在琅玡山上筑观台，再建四时主祠。

　　四时主是掌管一年中春、夏、秋、冬四季变化的神主，也是掌管农业之神，自古就是东夷先民所崇拜祭祀的主神。选择在琅玡山上建四时主祠，司马迁在《史记·封禅书》中解释说，这是因为“琅邪在齐东方，盖岁之所始”。许慎在《说文解字》中说:“岁，木星也。”古人又称木星为“岁星”。“岁之所始”是指一年四季由琅玡所始。琅玡山位于黄海之滨，是日出之地，在这里观测四时天象最准确，所以要把四时主祠建在琅玡山上。

　　另据考古发现，在琅玡山以西陵阳河大汶口文化遗址所出土的大口陶尊有刻画图案，内容为：中间一斗形，内有7个圆圈纹寓意北斗七星；斗柄上方有12个圆圈纹排列成两排，合一年十二月数；斗魁下方为10个圆圈纹排列成两排，合十日为旬以及十月太阳历一年的月数。大汶口文化陶尊上的图像文字曾被于省吾、唐兰等释为与日出相关的“旦”、“炅”（太阳在云气之上，云气下有山峰、海水）等字。以上文献与考古资料证明：繁衍生息于古齐地的东夷人，是迄今已知最早观察天象的先民。《史记·历书》载：“昔自在古，历建正作于孟春……物迺（乃）岁具，生于东，次顺四时，卒于冬分。”古齐地东夷先民从年复一年的日出而作、日落而息的劳作中感悟到：一年四季（四时）之神，庇佑着风调雨顺、五谷丰登，而潮涨潮落带来的丰富海产品，也给古琅玡一带的先民们提供了生活保障，农渔经济滋养了琅玡一带的原始文化。基于此，古齐地先民才选择在这里建立四时主祠和祭台，以最原始的祭祀方式，感谢四时主给人们带来富足的农渔经济。

　　中国现存的古观象台是始建于元代至元十三年（1276）的河南登封观星台，而四时主祠的历史比它要久远得多。四时主祠自建于琅玡山之后，历代帝王多来巡游，其中秦始皇和汉武帝皆曾三登琅玡台。古代帝王之所以到琅玡巡游，其中一个重要原因便是祭拜四时主神衹，如《史记·孝武本纪》有汉武帝“东巡海上，行礼祠八神”的记载。古代帝王祭拜掌管四季变化的四时主，对于巩固以农为本的历代政权具有重要意义。琅玡山上的四时主祠经过历代修建或重建，直到清代后期仍存在。收藏于胶南博物馆、由清末琅玡当地画家王和沛所绘的《琅玡台图》上，便有“礼日亭”、“四时主祠”等古建筑。

　　2008年8月，中国天文学会年会在胶南召开，与会专家学者共同认定：琅玡台是迄今已知的地面上遗迹尚存的我国最早的观象台遗址。这是一个兼具观象授时与宗教祭祀功能的古观象台，具有观日出、定时节、望云气、祭祀四时主等多方面功能。