旦纪变质岩系所组成，翼部出露寒武、奥陶系石灰岩，高峰海拔多在2500米以上；汾阳─离石以南,山岭轴部为寒武、奥陶系石灰岩，两翼为石炭、二叠系砂岩、页岩，高峰海拔仅2000米左右。山地下部均有黄土分布，分布上限1400～1米。吕梁山地植被除较高陡的山地外，森林已为灌丛草地所代替。其南北各段，纬度与高度不同，气候与植被也有显著差别。芦芽山代表北段，主要是寒温带针叶林（见芦芽山自然保护区）；关帝山代表中