公元231年，诸葛亮出兵祁山，李严则在后方负责督运粮草，当时阴雨连绵，蜀地栈道难以同行，因此粮草的运送有些供应不上，当时李严派出参军狐忠、督军成藩传话给诸葛亮，让他撤军，诸葛亮得到信后担心粮草问题，只能下令撤军。然而李严听闻军队撤离后，他故意上奏后主，称诸葛亮延误战机，以掩饰他督粮不力的情况，然而诸葛亮在返回成都后直接将李严前后的书信手迹交到了刘禅手中，李严大错误和矛盾立即暴露无遗，在这样的情况下，李严词穷理屈，只能口头认罪，就此将李严废为平民，直到诸葛亮去世都没能被启用。
但要知道李严是有一定的军事才能的，当年刘备入川争夺益州之际，李严就被刘璋派出来阻挡过诸葛亮，而且在刘备退守永安时，李严也是跟随刘备一同入驻永安之人，而且在托孤上，李严也是被刘备授予了掌管军事大权的，只不过李严是托孤大臣，诸葛亮不可能像下属一样命令他，那假如李严不是托孤重臣，他有可能像魏延一样统兵吗？
事实上，李严虽然带兵能力不错，但他在其他职位上当表现出来的更多是政治才能，他在年轻的时候就是刘表手下的吏员，而不是将军，后来曹操攻打荆州，李严就跑到刘璋这里了，而且此时的李严也是县令，而不是将军，直到刘备入川时，李严才被第一次任命为护军。在此之后，投降了刘备的李严被派去修蜀科，直到建安二十三年才表现出了他的军事才能，也激素带着郡县的士兵讨伐盗贼。
换句话说，李严这辈子没怎么打过仗，而且即便是他亲自主导的几场战事也不算真正意义山的野战，打刘备的时候还是直接投降的，因此他虽然有一定的军事能力，当年不能说有多强。然而他在当犍为太守的时候表现出了优秀的政治能力，是一个政治能力过硬的文官，而不是一个军事能力出色的武将。在诸葛亮北伐的时候，蜀汉还有魏延、赵云等带兵征战多年的将领，在这的情况下，诸葛亮自然不会让李严独领一军，而是将其放到后方了。
笔者认为，对于诸葛亮来说，李严更强的是政治能力而非军事能力，在这样的情况下，诸葛亮自然不会让李严独领一军了。
