因为过往的大雁栖宿在塔上，人们称它为雁塔。

这里，曾是古沅州著名的八景之一，又叫“雁塔秋风”。

为了抗战，芷江要在县城东郊修飞机坪，因古台山位于机场东南边缘，属机场的扩建范围，雁塔寺又很高，影响了飞机的起落，芷江人只好忍痛将塔拆掉。

对土生土长的当地人来说，雁塔秋风，那是儿时的一个美丽传说。

但为建机场而拆塔