至此，北匈奴势力退出天山东麓，大汉恢复了西域都护，分驻车师后王部金蒲城和前王部柳中城，恢复通往西域的通道。
不过此时恢复的西域都护不过是前汉都护府最东面的一小部分，仍有大部分在匈奴监护之下。于是，窦固派遣假司马班超出马了，让他联络西域各地的君长，使他们亲汉，而不被匈奴所利用。
班超收复西域之初，没有统军，只带了吏士三十六随从，先到南道鄯善国。鄯善王开始对班超礼敬甚备，后来突然怠慢。班超判断是北匈奴派使者来了，遂连夜用火攻突袭之计消灭了匈奴使者，持其头以示鄯善王，鄯善惧怕，臣服于汉。
班超因降服鄯善有功，升为司马，复受命向西到于阗。此时于阗是南道亲匈奴势力，于阗王对班超礼意甚疏，并且听信妖巫的话，索取班超的马以祀神。班超佯许之，要巫自来取马。及巫至，超即斩其首以送于阗王。于阗王震慑于班超在鄯善的威名，乃杀匈奴使者而降汉。
而后班超又继续沿着南道向西到疏勒。疏勒王兜题是龟兹所立，非本国人，是北匈奴的党羽，在匈奴的支持下，残酷压迫疏勒人。班超掌握了这个情况，派使者出其不意地将兜题抓获，另立疏勒前王之侄忠为王，解除了龟兹对疏勒的奴役，于是疏勒也归附东汉。
至此，中断了六十多年的丝绸之路恢复了南道。
奴失去西域，势所必争。永平十八年三月，北匈奴发动骑兵二万，跨过天山反攻车师，包围金蒲城和柳中城。
同年，汉明帝去世，北道焉耆国乘汉朝大丧的机会，攻杀西域都护陈睦。而龟兹、姑墨等国也屡屡发兵进攻疏勒，班超与疏勒王忠互为犄角，首尾呼应，在盘橐城据守。北匈奴又策反车师国，戊己校尉耿恭也被围困。
次年，也就是建初元年正月，新继位的章帝派耿秉屯兵酒泉，发张掖、酒泉、敦煌三郡兵及西域鄯善等地兵出援，会师柳中，大败车师和北匈奴，车师复降。
但由于当年武陵、益州叛乱频发，地震等天灾连连，次年烧当又生羌乱，西域偏远，大汉无力固守车师，最终决定放弃西域，于是撤销都护和戊、己校尉，撤退伊吾的屯田兵，诏令滞留西域的汉人归国，班超也在其中。
大汉从西域撤退，南道诸国惊恐，惧怕北匈奴卷土重来进行报复。当班超奉命准备返京时，疏勒、于阗恳切慰留，疏勒都尉黎弇竟至引刀自杀。班超行至于阗，于阗王侯以下皆号泣，竟至互抱班超的马足，不让他走。
班超知道南道一些地区，可以信用，乃决心留驻西域，勒马回转，重返丝路西端南北两道交汇的疏勒国。
此时疏勒有两座城在班超走后，重新归降龟兹，并且与尉头国联合，意图造成大乱。班超逮捕反叛首领，又击破尉头国，斩杀了六百于人，再定疏勒。
当时西域北道诸国隶属于匈奴，南道则大多数服从大汉。而北道又以龟兹势大，南道疏勒与于阗之间的莎车投靠了龟兹，从疏勒向东通往大汉内地的道路被切断，因此班超决定首先从疏勒附近排除匈奴势力的威胁。
建初三年，班超联合南道疏勒、于阗、康居、拘弥等国一万多士兵攻破姑墨国，斩杀七百人，将龟兹孤立。
建初五年，班超上书章帝，大汉先后发弛刑、义从一千人，士兵八百人，分别由徐干、和恭率领赴西域支援班超。
元和元年，班超发疏勒、于阗兵进攻匈奴在南道的羽翼莎车。莎车贿买疏勒王忠，忠背叛班超。
班超改立府丞成大为疏勒王，调集兵力进攻忠，康居国派精兵帮助忠，班超以锦帛贿买康居姻亲大月氏，劝说康居王罢兵，康居王罢兵，把忠也带了回去。
元和三年，忠从康居王那里借了一些兵马，与龟兹勾结密谋，派人向班超诈降，班超看穿了他的诡计，将计就计，答应他投降。忠大喜，轻装简从来见班超。班超为他举办酒宴，在宴席中，班超命人斩杀忠，又乘机击败他的部众。
元和四年，班超发于阗诸国兵二万五千人复攻莎车。北道龟兹王发温宿、姑墨、尉头五万人救援。
敌强我弱，班超决定运用调虎离山之计。他召集将校和于阗国王，商议军情，诈作各自撤退，又偷偷嘱托人故意放松对龟兹俘虏的看管，让他们逃回去报信。龟兹王闻讯后大喜，率一万骑兵在西边截杀班超，派温宿王率领八千人在东边阻击于阗。
班超侦知他们已经出兵，迅速命令诸部齐发，在鸡鸣时分，直扑莎车大本营。营中没有防备，军士奔逃，班超追斩五千余人，获马畜财物无数。
莎车降服，龟兹等国只能各自退兵。于是南道遂通。
两年后，也就是永元元年，大汉窦宪率军连破北匈奴于燕然山、金微山，出塞五千里。北匈奴主力被迫向西远徙，西域形势发生了有利于汉的变化。
西面的大月氏想乘两大势力互相纠缠之机从中渔利。永元二年，大月氏贵霜王朝发兵七万，越过葱岭，企图与西域北道诸国连兵消灭班超势力。
班超的军队处于劣势，众人恐慌。班超却以为，月氏兵虽多，但跋涉数千里，翻越葱岭而来，转输不便，粮草无法久支，采取了坚守之策。
果然，大月氏副王谢进攻班超，无法攻克，抢掠粮草，又无所得，疲惫不堪。班超估计他们粮草将尽，必会派人到龟兹求救，预先命几百士兵在东边