大学士杨廷和文人老姜，亲自与江彬寒喧，常常没事人一样笑谈，使得江彬不觉有异。明武宗崩后，杨廷和密不发丧，与司礼太监魏彬定计，派内官密禀太后，索得除掉江彬的手敕。于是，他们以坤宁宫殿成，要行安装上梁的仪式，派找江彬与工部尚书李燧一起入宫主持典礼。
江彬不知是计，穿礼服入宫，其侍卫被阻于宫外。祭礼毕，江彬欲出，太监张永又出面，留他吃饭。
远远看见有宦者持诏带几个锦衣卫士兵走来，江彬感觉不对，朝西安门方向狂奔，但宫门紧闭。无奈，他又顺墙疾行，趋北安门。结果，把门的兵将说：“皇上有旨，留提督在宫内！”
江彬可笑又可气：“今日旨从何出？”意思是皇帝病成那样，我又没派人发旨，哪里有什么“圣旨”。说话间，他推搡拦阻他的门将，想乘间逃出宫去。
这时，得到密令的门将再也不怕江彬，命手下士兵一涌而上，把江提督绑成粽子，连打带骂，把他胡须拨个精光。昔日威武绝伦的大将，如今狼狈不堪。
明世宗继位后，下诏凌迟江彬，并杀其成年的五个儿子，其幼子江然与其妻女“俱发功臣家为奴”。对江彬抄家时，查得黄金七十柜，白银两千两百柜，其他珍宝不可数记。
凭实而论，江彬也就是一个恃宠跋扈武夫而已，“自始至终没有剪除异已之心，也没有质劫公卿之志 ，一心一意只想哄明武宗开心，常年导其游猎，骚扰地方。所以，他在武宗身边十年，为恶之事，比起刘瑾的乱政五年，远远不及。
明武宗弥留之际，江彬没有任何拥立宗室的打算，可称是皇帝耿耿忠臣，绝无为已为身远谋的私虑。为此，虽然江彬当时是以“谋逆”的罪名惨遭凌迟，后世史臣并未把他列入什么“逆臣传”或“奸臣传”中，只划入“佞幸”一类而已，实为公允。