等帝位稳固之后，赵光义开始了宋朝的统一事业，他用政治压力迫使割据福建漳泉两府的陈洪进，割据两浙的吴越钱氏于太平兴国三年，相继向宋廷纳土归降。
陈洪进和吴越钱氏相继归降后的第二年，赵光义挥师北上，命大将潘美率军围攻太远。同年赵光义更是御驾亲征，击退辽国援军，最终将北汉政权毁灭。宋太宗赵光义迫使北汉灭亡，结束了自唐末黄巢之乱以来近九十年藩镇割据混战的局面，再次形式上一统全国。
北汉战争的胜利，让赵光义气势如虹，因此北汉灭亡不久，他便不顾群臣反对，毅然决然的从太原出发展开北伐。初期的确取得了一些成果，收复了河北易州和涿州，但是后来宋军与辽军在高粱河畔展开激战。在此次战斗中，赵光义受伤中箭，乘驴车仓惶撤离，北伐失败。
北伐战争的失败，并没有让赵光义退缩，太平兴国五年赵光义在大臣侯仁宝的建议下，兴兵南征。南下讨伐战争更为艰难，一是地势复杂，士兵水土不服，二是某些将领胆怯怯战，三是南方多少数民族，各个都自立政权，且极为难缠。到了淳化四年的时候，四川更是爆发王小波和李顺发动的农民起义，并最终建立大蜀政权，直到至道二年才彻底失败。
四川起义被镇压后的第二年，也就是至道三年，赵光义病重去世，崩于东京宫中之万岁殿，享年五十九岁。宋太宗去世之后，上尊谥曰神功圣德文武皇帝，庙号太宗，葬永熙陵。