自一人渡江打探情报然后返回，杨素遂派他率军渡河。但敌人兵力远多于麦铁杖，死战被俘。叛贼元帅李陵派三十人押解麦铁杖回营，半路中麦铁杖做饥渴难耐状哀求不止，叛军便解开他的绳索让他进食，麦铁杖抢了一柄横刀，将三十名叛军尽数诛杀然后返回随军大营。

开皇十六年，麦铁杖为车骑将军随杨素征伐突厥，又是屡立战功。杨广继位后后其又追随杨素平定并州反叛，被封为柱国，封汝南太守，任职期间，麦铁杖学习管理治世办