临洮郡处于陇西盆地西缘，青藏高原东边，属黄土丘陵沟壑区区，地势由东南向西北倾斜，黄河上游最大的支流洮水穿境而过，临洮之名便是因为这条河得名。

秦始皇设置郡县制之时，临洮郡属于古之陇西郡，当时的陇西郡包含了甘肃中部、宁夏南部、青海东部的广大区域，由于陇西地盘太大，更因为这里是西进青海、南下益州的战略古道要冲；所以后来逐渐割裂、划分，所以今天的临洮郡，只是古之陇西郡极小的一部分。