羊秘与羊琮同宗，两人是从兄弟的关系，羊秘之父便是名臣羊续，加上羊续，其先八世二千石，族为泰山冠姓，其人颇有谋略，深得应劭信用。

中平六年，也即大前年，时灵帝在朝，先拜时任南阳太守的羊续为太尉，羊续清廉，无礼钱可出，复改拜为太常，灵帝特恩许其不用出“左驺”，即礼钱，然而羊续尚未赴任，即得病而卒，羊秘兄弟赶去南阳，扶柩归乡，守孝三年，於今年方受应劭之辟，出为郡府主簿。