泰山大约形成于三千万年前的新生代中期。泰山的地层是由世界上最古老的岩石之一构成的,主要是混合岩、混合花岗岩及各种片麻岩,其中还有许多火成岩体侵入。变质时代距今24.5亿年,侵入于其中的伟晶岩最古老的年龄是25.86亿年,属于地壳发展史上的太古代。这时鲁西地区(包括泰山在内)曾经是一个巨大的沉降带或海槽,上面堆积了上万米厚的泥砂质岩层和一些基性火山岩。继而又发生了强大的造山运动,即泰山运动,使沉降带原先堆积的岩层褶皱隆起为古陆,形成了规模巨大的山系。古泰山露出了海面。同时伴随着岩层的褶皱产生了一系列断裂、岩浆活动和变质作用,使原先沉积的岩石发生变质。在泰山山麓的南缘,出现了一个大致呈东西走向的泰山弧形深断裂,成为泰山发展变化的肇始。随后又遭受多次强烈的混合岩化和花岗岩化作用,逐渐变成了今日在泰山上所看到的各种变质岩和混合岩。
峙立于海平面上的古泰山,经过近二十亿年的长期风化剥蚀,地势渐趋平缓。到距今六亿年前左右的早古生代,华北广袤地区大幅度平稳下降,古泰山又沉沦于大海中。大约又经历了一亿多年,古老变质岩的剥蚀面上逐渐沉积起2000多米厚的沉积岩地层。早古生代末期,整个地区再次抬升为广阔无限的陆地,古泰山隆起为一个低矮的荒丘。距今二三亿年的晚古生代中晚期,华北地台重又下降,并发生了多次海侵,古泰山成了大海中的孤岛。而后又继续上升,进入大陆发展阶段,地势高差不大,基本上形成了丘陵地形。
距今约一亿多年前的中生代晚期,由于太平洋板块向亚欧大陆板块挤压和俯冲,泰山在燕山运动的影响下,地层发生了广泛的褶皱和断裂。在频繁而激烈的地壳运动中,泰山山体沿着百余公里(自今莱芜至泰安市)的泰前大断裂快速抬升。并在隆起的过程中遭受风化剥蚀。这时因断块发生了间歇性的升降差异,南部山区猛烈抬升,造成了南高北低的明显掀斜断块山。最后在山体高处,原来覆盖着的2000多米的沉积岩全部剥蚀掉,古老的泰山杂岩重见天日,开始形成了泰山的雏形。受变质影响的花岗岩,因抗蚀性强,就构成了峰峦高崖。
泰山在距今六七千万年前的新生代初期,由于喜马拉雅山运动的影响,即沿泰前断裂继续大幅度的抬升,至距今约三千万年前的新生代中期,今日泰山的轮廓才基本完成。所以,如今泰山主峰及其周围的山峦,海拔多在千米以上,而且古老杂岩裸露。主峰南麓的泰安市海拔仅153米,自市区至泰山极顶仅9公里,其相对高差竟达1392米。大自然的鬼斧神工,使泰山谷幽壑深,壁立千仞。明太祖朱元璋御制《岱山高》中说:“岱山高兮,不知其几千万仞;根盘齐鲁兮,不知其几千百里;影照东海兮,巍然而柱天。”