临羌城，顾名思义，因为古时候靠近羌族而得名，最早可追溯到汉朝，西汉宣帝诏破羌将军辛武贤、强弩将军许延寿在十二月与赵充国合击先零，后来，将军赵充国进军湟水流域，同年在今湟源县东设临羌县并筑此城。

自两汉、魏晋、南北朝之后，它依然成为西部要塞之一。杨坚立隋之后，在这设西平郡、浇河郡，与吐谷浑比邻，这里屯兵八万，一部分是各地征调来的府兵，在这扎根生活，兵农合一；还有一部分人，是当地的羌