刘秀击败主要对手之后，目标又开始转向东边的刘永。刘永原来被更始皇帝刘玄立为梁王，后来自称皇帝，以睢阳作为京城，占据着青州、徐州一带28个城，封山东的张步、苏北的董宪、庐江的李宪等人为大将军。 刘秀于公元26年夏，命盖延率军征讨。经过整整一年的残酷战争，刘永大败，后被手下将领所杀。
北方的渔阳太守彭宠，原系刘秀部下，后反叛，自立为燕王。占据着蓟城、右北平的上谷等县，北边联络匈奴，南边联络张步，势力范围不断扩大。汉光武帝决定亲自征讨，后经劝说，方派朱祐、耿龛等率兵北进，于公元29年平息了彭宠的叛乱，北方局势安定下来。 接着，张步、董宪、李宪、匈奴立的皇帝卢芳等大大小小的“土皇帝”们也相继被灭，国内大部分地区开始稳定。 但是，还有三大势力，这就是蜀中皇帝公孙述、五郡大将军窦融、西州大将军隗嚣。他们势力强大，有同光武帝平分天下之势。光武帝决定采取逐个击破，分而治之的策略，铲除这三大势力。
公孙述占据着益州（今四川、贵州、云南等），资源丰富，地势险恶；加上公孙述经营多年，势力比其他两个都大；而且，公孙述在蜀中已自称皇帝。为了孤立公孙述，光武帝决定拉拢窦融、隗嚣。他先派人去联络隗嚣，可隗嚣打算自己做皇帝，隗嚣不仅没有听从刘秀的劝说，而且还派人去联络窦融，劝窦融自立为王，他们同公孙述联合起来，建成三个国家，共同对付洛阳的皇帝刘秀。刘秀得知后，立即派人给窦融送了一封信，信中说：“将军日前的地位举足轻重，有人主张分割天下，像战国时期那样，各自为王，要知道，中国的土地即使可以分的话，中国的老百姓也是不能分的。将军如果能从大局出发，上为国家出力，下为百姓着想，我将非常感激！”刘秀的语言情真意切，使窦融和他手下的将士都认为光武帝英明。不久，窦融率部投降，刘秀随即派兵征伐隗嚣。隗嚣大败，于公元31年春病饿而死。汉军乘机收复了陇右（今甘肃六盘山以西）地区。刘秀收复陇右地区以后，集中优势兵力，全力以赴进攻蜀中皇帝公孙述。刘秀亲自带兵征讨，大将军岑彭指挥军队，连连击败公孙述的军队，夺下不少城池，公孙述很快处于孤立无援的境地。刘秀又命广平侯吴汉进攻成都，结果公孙述惨败，受重伤而死。其手下将领见汉军来势凶猛，便纷纷投降。这样，蜀中皇帝的全部势力被扫除干净。