董卓死后，王允在如何安排和处理他的旧部时，反复无常，态度极不慎重，而这正是王允最后走向灭亡的最重要和最直接的原因。
他先是想全部赦免董卓的部下，吕布也多次相劝，可继而王允又对群臣解释说：
“本来，他们是没有罪的，只是身不由己，跟随董卓，所以不得已听从董卓差遣，犯了错误。
现在如果给他们突然加上恶逆的罪名，而且特定赦免他们，恐怕反而使他们猜疑恐惧，心理承受不了，所以，赦免他们无罪不是使他们安心的上上之策，还不如让他们承受惩罚。”
吕布又想把董卓的财物赏赐公卿、将校，王允又不准。王允平日却看不起吕布，以剑客对待他。吕布也认为自己有功劳，自吹自擂，既不得意，渐渐与王允不和了。
凉州兵是董卓的嫡系部队，战斗力强，而且对董卓最忠心。董卓死后，如何处置凉州兵，是关系王允本人和东汉政权的大事。王允企图削夺凉州兵将领的兵权，取缔全部凉州兵，并且计划利用关东兵去控制他们。
可是后来有人对王允说：“凉州兵素来害怕袁绍，畏惧关东兵，而今，如果派关东兵去解散他们，凉州兵人人都会担心性命不保，这样，很容易引起兵变和混乱。
还不如任命皇甫嵩为将军，去担任凉州兵的统帅，并让他长期留在那儿，以便安抚军心。”
王允坚决反对：“这样绝对不行，关东兵是反董卓的义兵，与我们是同一条路线，现在董卓已死，如果继续把他们屯驻在险恶之地，虽然安抚了凉州兵，但是关东兵将领会疑心我们不重视他们。”
凉州百姓听到王允想解散凉州兵的风声后，便到处传言，说王允要杀掉所有凉州人，一时之间，整个凉州人心惶惶，一片惊慌。
凉州兵将领本来就成了惊弓之鸟，对自己的前途深感忧虑，当他们得知王允要削夺他们的军权，解散凉州兵的消息后，更是惊慌。绝望的凉州兵寻思：
反正是一死，不如死个痛快。于是他们迅速召集军队，严阵以待，准备见机起事，并且互相传告：
蔡邕只不过受了董卓的一点厚遇而已，王允便不分青红皂白地把他杀了。对于我们，不仅没有丝毫赦免的意思，反而想剥夺我们的兵权，置我们于死地。我们除了联合起来，别无选择。
当时，凉州军中最有影响和实力的将领是李傕和郭汜。他们将所有凉州兵集合起来，誓师进发都城长安。
东汉官兵不堪一击，不久，李傕、郭汜的部队便攻陷长安。吕布慌忙领兵出逃，在青锁门停住，招呼王允一同逃走。
王允断然拒绝，对吕布说：“如果天子祖先在天有灵，能赐福社稷，保佑我们的国家平安无事，我就心满意足了。
如果这一愿不能实现，我愿意献出自己的生命，以死来报效朝廷。皇上年纪幼小，少不更事，只能靠我们来辅助他。
国家遭受如此灾难，如果弃下皇上，只顾自己逃命，我实在是不忍心。况且，我身为宰相，不仅不能使国家平安无事，反而导致逆贼的反叛，我的责任重大啊！请你出城以后，多多鼓励关东豪杰，要常常念及皇上！”说完，便扶着汉献帝逃到宣平城楼。
李傕、郭汜追到宣平门下，叩头便拜。汉献帝壮起胆子询问道：
“你们目无王法，作乱京城，到底打算作什么？”李傕回答说：“董太师对陛下忠心耿耿，却无缘无故遭人杀害，我们只想替太师讨回公道，不敢造反。等到捉拿处决凶手后，我们愿意接受审判。”
王允二话没说，向汉献帝行了最后的君臣大礼，便随士兵走下了城楼。
起先，王允提拔过同郡人宋翼为左冯翊、王宏为右扶风。当时三辅地区兵多粮广，李傕等想杀掉王允，害怕二郡为患。于是先征召宋翼、王宏。
等二人都到长安后，李傕于是逮捕王允及宋翼、王宏，把他们都处以极刑。王允时年五十六岁，他的长子侍中王盖、次子王景、王定及宗族十余人都被杀害，只有兄子王晨、王陵得以逃归乡里。
王允死后，“天子感恸，百姓丧气”。迁都许昌后，汉献帝思念王允的忠贞气节，便改用隆重的殡礼重新安葬王允，还特意派虎贲中郎将“奉策吊祭，赐东园秘器，赐以本官受绶，送还本郡”。后来，又封王允的孙子王黑为安乐亭侯，食邑三百户。
王允的坎坷一生中，另有一件事情也值得提及：即他对汉代图书、档案等文化典籍的收集和保护。
董卓迁都长安时，王允特意把兰台、石室两个藏书馆所藏的图书和档案全部收集整理，用箱子运往长安。“诸藏典策文章，宽共部散，其缣帛图书，大则连为惟盖，小乃制为滕囊。”
后来，王允收集了汉朝其他书籍，一律上奏珍藏，“经籍具存，王允有力焉”。
王允，官居三公，心中是一直存在着报国，当时是董贼霍乱朝纲，大臣们都对此是苦不堪言，心中都恨透了董卓，想了很多的办法要去杀死董卓，无奈的是董卓生性十分的多疑，凡事去面见他的人都统统不准带武器，根本就没有办法除掉董卓。
而当天下的诸侯们来讨伐董卓的时候，开始朝中的大臣们对此都是十分的高兴，希望诸侯们能够快点除掉董卓，哪曾想这些诸侯们实际上都是为了自己的利益，根本就没有使出自己的全力去讨伐董卓，自然董卓也不会失败于他们。
而董卓的死则是好在有了王允的计谋，王允利用了董卓和吕布两人的好色，以自己的义女貂蝉为诱饵，使得吕布和董卓是反目成仇，最终趁着董卓上朝不注意的时候，让吕布给杀死了，失去了头目的西凉大军是如同老鼠一般，是四处逃窜。
而长安之中因为除掉了董卓，众大臣们都是十分的高兴，而王允也是被推崇为了最有功劳的人，此时的吕布是终于和貂蝉团聚了，吕布对于王允能够成全他和貂蝉是十分高兴，因此对于王允也会十分的尊重。