元杂剧的高度繁荣，大概延续了一个世纪。从14世纪初年开始，元杂剧已渐渐显现出一些疲衰之色。至14世纪40年代以后，景象更是不济。入明之后，热闹了一阵，但在根本上已失去维持之力。
元杂剧在走向衰落的过程中，比较像样子的剧作家和剧目还是可以举出一些来的，如郑光祖的《倩女离魂》和《王粲登楼》、宫天挺的《范张鸡黍》、秦简夫的《东堂老》、乔吉的《两世姻缘》等，都可以在中国戏剧史中留下名字。其中像《倩女离魂》这样的剧目即便比之于黄金时代的那批杰作也并不逊色。但总的说来，元杂剧的风华年月已经过去。
衰落的原因何在呢？
一个比较容易看得到的原因是北艺南迁，水土不服。一切艺术现象都不可能全然摆脱地域的限定性，特别是戏曲所依附的音乐，更是明显地渗透着特定地域的风土人情、社会格调。明代戏曲理论家王骥德（？—1623）曾经凭借着他人的论述，说明过南曲和北曲的差别，以及构成这种差别的深刻历史渊源。他认为，杂剧和南戏各有自己的音乐渊源，杂剧中不论雅俗，大致属“北音”系列，而南戏则属于“南音”系列。他汇集了以下这些论述来说明自己的观点：
以辞而论，则宋（应为明人。）胡翰所谓：晋之东，其辞变为南北，南音多艳曲，北俗杂胡戎。以地而论，则吴莱氏所谓：晋、宋、六代以降，南朝之乐，多用吴音；北国之乐，仅袭夷虏。以声而论，则关中康德涵所谓：南词主激越，其变也为流丽；北曲主慷慨，其变也为朴实。惟朴实，故声有矩度而难借；惟流丽，故唱得宛转而易调。吴郡王元美谓：南、北二曲，“譬之同一师承，而顿、渐分教；俱为国臣，而文、武异科。”“北主劲切雄丽，南主清峭柔远。”“北字多而调促，促处见筋；南字少而调缓，缓处见眼。”北辞情少而声情多，南声情少而辞情多。（这段文词引自王世贞（元美）：《曲藻》，这两句的原文应为“北则辞情多而声情少，南则辞情少而声情多”。）“北力在弦，南力在板。北宜和歌，南宜独奏。北气易粗，南气易弱。”（王骥德：《曲律》一卷“总论南北曲第二”。）
这是中国古代最重要的艺术论之一，阐明了南北观众在听觉审美上的重大差别，从而也阐明了他们在整体审美上的不同习惯和不同需要。这种习惯和需要，在很大程度上就是南曲和北曲熏陶成的，但反过来，它们又进而造就着南曲和北曲。王世贞说：“南曲不快北耳而后有北曲，北曲不谐南耳而后有南曲。”（王世贞：《艺苑卮言》。）可见，“北耳”与北曲，“南耳”与南曲，有着密切的对应关系；违背了审美习惯上的地域性特点，就会造成“不谐”。
为什么地域性的习惯在审美活动中竟是如此牢固呢？对此，一些欧洲文艺理论家曾作过比较深入的思考。例如，法国浪漫主义作家史达尔夫人（1766—1817）就曾指出，艺术家的创作总离不开亲身感受，而亲身感受又离不开惯常印象。地域环境，风土人情，正是给艺术家自然而然地留下了一种无法磨去的惯常印象。她把西欧的文艺分为南北两部分，认为“北方人喜爱的形象和南方人乐于追忆的形象间存在着差别”；究其原因，在于“诗人的梦想固然可以产生非凡的事物；然而惯常的印象必然出现在一切作品之中。如果避免对这些印象的回忆，那就失去了作品的最大的优点，也就是描绘作家亲身感受这样一个优点。”（史达尔夫人：《论文学》。）史达尔夫人，以及在她以前的孟德斯鸠）（1689—1755），她以后的丹纳，显然都过于强调了在这个问题上的地理、气候因素，但毋庸置疑，这种因素确实存在。
“桔生淮南则为桔，生于淮北则为枳，叶徒相似，其实味不同。所以然者何？水土异也。”《晏子春秋》中的这段名言，对于艺术有时也是适用的。
元杂剧也就遇到了这么一个“逾淮为枳”的问题。
从13世纪末期开始，随着经济中心的南移，杂剧的活动中心也从北方移向南方的杭州。据钟嗣成《录鬼簿》的统计，从蒙古贵族夺取中原到统一南北的四五十年间，56位剧作家都是北方人；统一南北后的五六十年间，36位剧作家中南方人已占大多数，北方人只剩下了六七人；从14世纪40年代到元代灭亡的二三十年间，剧作家几乎都成了南方人。
王国维在《录曲余谈》中也作过统计：“元初制杂剧者，不出燕、齐、晋、豫四省，而燕人又占十分之八九。中叶以后，则江浙人代兴，而浙人又占十分之七八，即北人如郑德辉、乔梦符、曾瑞卿、秦简夫、钟丑斋辈，皆吾浙（王国维是浙江海宁人，此处是以我们浙江人的口气在说话。）寓公也。”
这一些材料都说明，生根于北方的杂剧艺术确实是背井离乡，到南方来落户了。初一看，它赶着热闹，趁着人流，凭着元朝的军事、政治强势，驰骋千里，是生命强度的新开拓，而它在南方的对手南戏只能黯自衰落。但在实际上，北方杂剧在南进之后，主要还停留在南方的都市，而在乡村，还是南戏南曲的地盘，因此，时时有可能实行“反渗透”。果然，如徐渭所述，“顺帝朝，忽又亲南而疏北”。有的学者认为，当时南方城乡以南戏南曲构成对杂剧北曲的战胜，也可能与部分浙江艺术家仍然把杂剧北曲看成“夷狄之音”有关。
元杂剧衰落的第二个原因是戏剧家的社会观念和精神素质发生了变化。
元代后期的杂剧作家们虽然继承了关汉卿、王实甫他们的事业，却未能继承他们的情怀。
北方的杂剧老将、梨园故人来到杭州后渐渐老去，杂剧领域里南方文人的比重越来越大，而南方文人此时的境遇已有很大的变化。
从大的方面看，元代统治者总结了进入中原以来的统治经验，开始对南方实行比较聪明的政策。他们在北方保存着对游牧时代“哥哥弟弟”们的贵族分封，在南方则给了汉族庶族地主以较宽容的许诺。这样，整个江南的上层社会，就与元代统治集团形成了一种比较温和的关系。与此相应，前期杂剧艺术家胸中所积压的那么浓重的郁愤，在后期杂剧艺术家身上也就消释掉了一大半。
从小的方面看，元代后期的文人，已不像关汉卿他们那样走投无路。1314年开始恢复科举制度，取仕名额也有增加。（叶子奇：《草木子》：“元朝甲寅年开科取士，九成殿芝生。”《新元史·选举志）：“元统二年增进士名额至百人左右，榜各三人，皆赐进士及第，元之取士，莫盛于此。”）元代前期，几乎整整一个时代，把所有的知识分子都遗留于科举网络之外，于是造就了戏剧艺术领域的空前伟业。待到科举一恢复，仕途一开启，年轻的英才复又埋首于黄卷青灯之下，出入于贡院科场之门，致使勾栏书会、舞榭歌台的艺术水准，顿时降低。
只要浏览一下元代后期杂剧就可发现，在这里，过去的怒吼变成了谏劝，过去的决绝变成了期待，过去的审判变成了调解，过去的突破变成了恪守。在这里，似乎一切都变成了“内部谈判”，勃勃英气变成老气横秋，孤注一掷变成老谋深算，铤而走险变成温文尔雅，破口大骂变成抱笏参奏。在这里，“权豪势要”的无赖也会受到批斥，社会矛盾也会有不少揭露，甚至统治集团的政策也会遭到非议，但这一切，都弥漫着一层“妥协”的云雾，很难组合成一种深长的倾吐和热切的追求了。
当然，宁静淡远也能构成一种艺术风格，例如代表着元代另一种文化精神的赵孟頫（1254—1322）就在山水画中表现出一种高雅的协调，但这种风格很不适合戏剧舞台，更无法承接元杂剧的生命主调。
杂剧衰落的第三个原因是它的艺术格局由成熟趋于老化。