投入段业的怀抱后，段业自然是十分喜爱这个奖领，打仗有一套，又深得士卒的喜爱。隆安二年（398年）五月，北凉主段业遣沮渠蒙逊进攻后凉重镇西郡，大家都认为沮渠蒙逊不能够获胜，沮渠蒙逊攻城十日不见转机，最后以水灌城俘太守吕纯而归，段业又加封沮渠蒙逊为临池侯。段业曾经亲自带兵追击吕弘，不曾想被后凉军队反击，仓皇间幸有沮渠蒙逊救助才免于一死。其后，沮渠蒙逊都在朝政上贡献着自己的智慧，为段业的江山立下了汗马功劳。
沮渠蒙逊是个聪明人，历朝历代的人臣经历时刻都在提醒他，”飞鸟尽，良弓藏。狡兔死，走狗烹。“这个道理他不是不懂，因此在后期他才装作愚钝的样子。隆安五年（401年）四月，段业忌沮渠蒙逊威名，逐渐疏远他。后来，段业重新提拔了一个叫马权的门下侍郎，自此处处抬高马权轻视沮渠蒙逊，蒙逊心有怨念，对段业说：”天下不足虑，惟当忧马权耳“（《晋书·沮渠蒙逊载记》）。段业遂将马权杀死，沮渠蒙逊略施一小小的离间计就能离间段业和马权，由此可见，段业还真不是个明君，不为他效命也罢，自好自立门户。
沮渠蒙逊为寻找起兵的借口，便约沮渠男成一起祭兰门山，并故意遣司马许咸向段业告发：”男成欲谋叛，许以取假日作逆。若求祭兰门山，臣言验矣“（《晋书·沮渠蒙逊载记》）。段业到了约定之日去兰门山一看，沮渠男的确在那里，段业遂将沮渠男成抓捕，让他自杀。沮渠男向段业献计，若谎称自己已被段业杀死，则蒙逊必发兵，段业没有听从仍把他处死了。
沮渠男成为了整个事件的导火索，沮渠男成平素威望甚高，在沮渠蒙逊的号召下，各部众纷纷响应。隆安五年，沮渠蒙逊率军攻入城里，杀段业，天玺三年（401年），建立北凉。沮渠蒙逊主持北凉后，面临着非常严峻的形势，四面受敌。为了渡过难关，沮渠蒙逊采取外部积极的外交政策和内部励精图治的国策。首先，向强大的后秦臣服，以此获取更宽松的外部环境，一方面又积极招贤纳士，发展经济。一时间，北凉这个看似野蛮无礼的部落民族，竟也人才济济。就这样在北凉实力不断增强的情况下，沮渠蒙逊才开始向周围扩张自己的势力范围。在征战西凉的过程中，北凉军队纪律严明，秋毫无犯，尊崇儒学，保护人才，深得各族人民的拥戴。