不过很遗憾的，光武帝这次又错了，当然，也可以说他是中了卢芳的诡计。
原来，自从卢芳逃回匈奴以后，护都单于认为这个汉奸没有什么利用价值，便弃之不用。这还不算，因为光武帝曾经为卢芳颁布了诏书，说只要谁能将这人送到汉朝，将会奖励巨额的财物。
护都单于贪图汉朝的财物，便有将卢芳送到汉朝的心思。可这事儿却让卢芳提前得知，所以在护都单于将自己送到汉朝之前，卢芳主动给光武帝写了一封信，便是自己愿意投降汉朝。同时还跑到了护都单于那里，希望呼都单于能让自己回到汉朝，那样汉朝将会给他很多礼物。
护都单于没想那么多便答应了卢芳的请求，并派人送卢芳回汉朝。可到最后所有的好处都被卢芳给得了，他呼都单于倒好，又出人又出力忙前忙后啥也没捞到。这他能受得了吗？当然受不了。所以当护都单于听说这件事以后当即出兵寇掠汉朝边境。
洛阳那边，光武帝被呼都单于这一出给打懵了。怎么个意思？我都对你这么尊敬了你还打我？可细想之后，光武帝感觉这事情不是那么简单，卢芳那边刚刚从匈奴出来呼都单于就打自己。这事儿很明显呼都单于是不知道的。所以，光武帝立即下令卢芳停止前进，先驻扎在昌平，等一切弄明白以后再来。
由此可见，光武帝这时候害怕匈奴到了一种什么样的地步。