公元23年9月，刘玄的军队相继攻下了长安和洛阳。刘玄打算以洛阳为皇都，便命刘秀先行前往整饬吏制。刘秀到任，安排僚属，下达文书，从工作秩序到官吏的装束服饰，全恢复汉朝旧制。当时，关中一带的官员赶来迎接皇帝刘玄去长安，他们见到刘玄的将领们头上随便包一块布，没有武冠，有的甚至穿着女人衣裳，滑稽可笑，没有庄重威严的样子，但他们见到刘秀的僚属肃然起敬。一些老官员流着泪说：“没想到今天又看到了汉朝官员的威仪！”他们纷纷对刘秀产生了敬佩向往的心理。
刘玄到了洛阳，需要派一员亲近大将代表朝廷去河北一带，宣示朝廷旨意，要那里的郡国遵守朝廷的命令。朝廷经过一番争议，最终又选定了刘秀。这给刘秀提供了避开矛盾漩涡、自由施展才干的机会。刘秀在河北，每到一处都认真考察官吏，按其能力的高低分配财富的多少；平反冤狱，释放囚徒；废除王莽苛政，恢复汉朝的官衔。官民欢喜，竟相持酒慰劳，刘秀一律婉言相拒。在河北期间，刘秀还粉碎了一起假冒汉成帝之子另立朝廷的反叛事件，王郎就参与其中。刘秀在清理缴获的文书档案时，发现官吏与王郎勾结一起毁谤刘秀的材料有几千份。要是按这些材料提供的线索加以追究，必然会使一大批人惶恐不安。刘秀一律不看，他把王郎的部属召集起来，当着他们的面一把大火将这些材料烧掉。他解释说，这样做是“令心怀不安的人放心”。 更始帝见刘秀的影响越来越大，便派使节赶到河北，封刘秀为萧王，并命令刘秀停止一切军政活动，与有功的将领一起到长安去。这表明刘玄已经对刘秀不放心，要削弱他的力量，夺回他的权力。刘秀自然明白这一意图，他便以“河北未平”为理由，拒绝应诏去长安。刘秀与刘玄的裂痕从此开始清晰起来。
公元24年秋天，刘秀调集各郡兵力，先后在馆陶等地击败并收编了铜马、高湖、重连等地的农民起义军，大大加强了自己的军事实力。
河北一带大致平定。以樊崇、逢安、徐宣等人为首活动在今河南东部的赤眉军，正在迅猛地向长安进兵；赤眉一旦攻下长安，刘玄败逃，就会出现一个夺取关中的良好时机。刘秀感到争夺天下的时机即将到来，争夺天下的架势应当拉开了。他便一边派将军邓禹率精兵两万向关中一带进发，相机行事；一边选定北据太行山、南临黄河、地势险要、财物富实的河内郡作为进