現在ゼウス神殿が建つアクロポリスの南東部は古くからゼウスの聖所とされてきた。ここに奉られていたのはゼウス・オリュンピオス神で、その神殿はオリュンピエイオンとも呼ばれている。この神は古代オリンピックの行われ、ゼウス崇拝の中心地でもあったオリュンピアで崇められていた神である。聖所の歴史は神話時代にまでさかのぼり、この聖所を造営したのはあまりの悪事に耐え兼ねて人類を滅ぼそうとゼウスが起こした大洪水に唯一生き延びた、ギリシアのノアともいえるデウカリオンだと伝わっている。その後、すでに前六世紀初頭には大型の神殿が建立されていたことが確認されている。

　前六世紀後半になって僭主ペイシストラトスが実権を握ると、長辺が１００ｍを超える巨大なドーリス式神殿の造営が開始された。これは市民から自由な時間と体力を奪い取ることで謀反を抑制しようという政策であったとアリストテレスは記している。しかし前５１０年に僭主政が倒れるとその造営は中止され、未完成のまま放置された。石材の一部はテミストクレスが築いた城壁に転用されている。アテナイの絶頂期に政権の座にあったペリクレスはパルテノン神殿を始めとする神殿の造営に力を注いだが、ゼウス神殿が再建されることはなかった。

　アテナイの繁栄は過去のものとなり、ヘレニズムの諸王が覇権を争っていた前１７４年、セレウコス朝のアンティオコス四世によって再建が試みられた。その時に建築様式はコリントス式に改められ、規模もやや拡大されたが、同王の死によって建築は再び中断してしまう。前８２年、同地を訪れたローマの将軍スラはその円柱の一部を持ち帰ったが、これはその後のローマ建築に大きな影響を与えたと言われている。

　そんな数奇な運命をたどったこの神殿にも、ついに完成の時がやってきた。ローマ五賢帝の一人で親ギリシア派としても知られたハドリアヌス帝は後１２４年にアテナイを訪れたのを期に再建を命じ、１２９年には再び同地を訪れて完成した神殿の落成式を行っている。さらにその二年後にはオリュンピアのゼウス神殿に安置されていたゼウス祭神像を模した巨大な像を象牙と黄金を使って製作し、奉納している。

　現在ではわずか１５本しか残らないが、本来は正面と背面にそれぞれ三列、側面に二列の合計１０４本の円柱からなる壮大な神殿で、その規模もギリシア本土の神殿としては最大である。細く繊細な円柱の上にはアカンサスの葉と巻き蔓で構成された華麗なコリントス式の柱頭が乗る。現在でも高さ１７ｍにも及ぶその巨大な円柱を下から見上げたときの迫力はなんとも言いがたいものがあるが、すべての円柱がそろい、巨大な祭神像を安置したその当時の姿は筆舌に尽くし難い荘厳さを備えていたことだろう。