A.- Die Chaîne de magasins Villars S.A. war seit 1967 Mieterin eines Ladenlokals in der Liegenschaft der Gesellschaft zum Kämbel in der Haue am Limmatquai 52 in Zürich. Im September 1978 kündigte die Vermieterin den Vertrag auf Ende März 1979, worauf die Mieterin im Oktober 1978 beim Mietgericht Zürich ein Erstreckungsbegehren einreichte. Bevor es zu einer gerichtlichen Verhandlung kam, schlossen die Parteien einen Vergleich. Danach zog die Mieterin die Erstreckungsklage zurück, während ihr die Vermieterin die Auszugsfrist bis Ende April 1979 erstreckte und per Saldo aller Ansprüche bei Auszug Fr. 50'000.- zu bezahlen versprach. Mit Verfügung vom 14. Dezember 1978, zugestellt am 16. Januar 1979, schrieb der Mietgerichtspräsident das Verfahren als durch den Vergleich erledigt ab. Am 17. Januar 1979 schrieb die Mieterin der Vermieterin, sie habe nun aufgrund von Hinweisen der Vermieterin ein neues Lokal mieten können. Die Vermieterin dankte am 5. Februar 1979 für diese Mitteilung und erklärte, bei diesem Sachverhalt sei die Grundlage für die Entschädigung von Fr. 50'000.- dahingefallen. Da die Mieterin am Anspruch festhielt, leistete die Vermieterin schliesslich im Mai 1979 die Zahlung von Fr. 50'000.-, wobei sie brieflich ausdrücklich die Rückforderung vorbehielt, weil die Vereinbarung wegen absichtlicher Täuschung, Grundlagenirrtums oder Rechtsmissbrauchs unverbindlich sei.

B.- Am 7. Januar 1980 reichte die Vermieterin beim Bezirksgericht Zürich Klage auf Rückzahlung der Fr. 50'000.- ein. Auf Einrede der Beklagten trat das Bezirksgericht am 27. Oktober 1982 wegen abgeurteilter Sache auf die Klage nicht ein. Ein Rekurs der Klägerin wurde vom Obergericht des Kantons Zürich am 9. Februar 1983 abgewiesen; zwar liege mangels Identität der neuen und der früheren Klage keine abgeurteilte Sache vor, jedoch könne ein gerichtlicher Vergleich nicht mit selbständiger Klage, sondern nur im kantonalen Rechtsmittelverfahren angefochten werden, was die Klägerin unterlassen habe.

Eine kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht am 19. September 1983 ab, soweit es darauf eintrat.

C.- Auf Berufung der Klägerin bestätigt das Bundesgericht den Rekursentscheid des Obergerichts.

3. Im Unterschied zum Bezirksgericht verwirft das Obergericht die Einrede der abgeurteilten Sache, weil es dafür an der Identität der früheren, auf Erstreckung des Mietverhältnisses gerichteten Klage mit der neuen Forderungsklage fehle. Es anerkennt sodann, dass der von den Parteien abgeschlossene Vergleich wegen des behaupteten Willensmangels angefochten werden könne, doch habe dies für das zürcherische Prozessrecht ausschliesslich auf dem Weg des Rekurses oder der Revision zu geschehen, was von der Klägerin versäumt worden sei. Mit der Berufung macht die Klägerin die Bundesrechtswidrigkeit der angerufenen prozessualen Bestimmungen geltend und besteht angesichts der eingehaltenen einjährigen Anfechtungsfrist des Art. 31 OR auf der materiellen Behandlung ihrer Klage.

4. Ein gerichtlicher Vergleich ist nicht nur ein Institut des Prozessrechts, sondern auch ein Vertrag des Privatrechts und als solcher wegen Willensmangels gemäss Art. 23 ff. OR anfechtbar (BGE 105 II 277 E. 3a, BGE 56 I 224; GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl., S. 394 f.). Davon geht auch das angefochtene Urteil aus. Es legt sodann unangefochten dar, dass nach Zürcher Prozessrecht nicht der Vergleich als solcher, sondern erst der richterliche Erledigungsentscheid den Prozess abschliesst (§ 188 Abs. 2 ZPO) und dass dieser Entscheid gleich einem Urteil in materielle Rechtskraft erwächst (§ 191 Abs. 2 ZPO), jedoch der Revision unterliegt, wenn der Vergleich zivilrechtlich unwirksam ist (§ 293 Abs. 2 ZPO). Die Vorinstanz verweist auf die gleiche Lösung in den Kantonen Schwyz und Obwalden und anerkennt, dass die Überprüfung auf Bundesrechtmässigkeit in andern Kantonen zu einem andern Ergebnis führen kann.

Das Bundesgericht hat sich demgemäss auf eine Überprüfung der zürcherischen Ordnung zu beschränken und nicht zu untersuchen, wie es sich verhält, wenn nach kantonalem Recht der Vergleich selbst unter Ausschluss von Rechtsmitteln den Prozess beendigt oder zwar ein Erledigungsentscheid erforderlich, aber kein Rechtsmittel vorgesehen ist; ebensowenig kann deshalb auf den vorliegenden Fall übertragen werden, was für das bundesgerichtliche Verfahren gilt (BGE 60 II 57).

a) Die I. Zivilabteilung des Bundesgerichts hat aus den genannten Besonderheiten des Zürcher Prozessrechts geschlossen, dass gegenüber einem Prozessvergleich ein Willensmangel grundsätzlich im Rechtsmittelverfahren geltend zu machen sei (BGE 105 II 277 E. 3a). Die Frage der Bundesrechtmässigkeit ist in diesem Entscheid sinngemäss bejaht, wenn auch nur mit einigen Literaturhinweisen begründet worden. Auch die I. öffentlichrechtliche Abteilung nimmt an, diese Auffassung werde in der neueren Literatur überzeugend vertreten (BGE 105 Ia 117). Die ehemalige staatsrechtliche Abteilung liess seinerzeit sogar dahingestellt, ob Bundesrecht verletzt wäre, wenn ein Kanton durch positive Gesetzesnorm die Geltendmachung materiellrechtlicher Nichtigkeits- und Anfechtungsgründe gegenüber Prozessvergleichen überhaupt ausschlösse; sie erklärte dies allerdings für unbefriedigend und eine Anfechtungsmöglichkeit für unerlässlich (BGE 56 I 224 ff.). Später liess auch die II. Zivilabteilung offen, ob ein Kanton diese Anfechtung nicht völlig ausschliessen könne (BGE 60 II 83). Dass das Bundesrecht hinsichtlich der Rechtsgewährleistung des Verkäufers den gerichtlichen Vergleich nicht einem Urteil gleichstellt (BGE 100 II 27 f. zu Art. 193/4 OR), ist entgegen der Ansicht der Klägerin für die vorliegende Frage unerheblich.

b) In der Literatur bestehen widersprüchliche Auffassungen, die teils durch ein konkretes kantonales Prozessmodell bestimmt sein dürften. Während verschiedene Autoren zumindest die zürcherische Regelung als bundesrechtmässig beurteilen (GULDENER, a.a.O., S. 388, 398, 403; STRÄULI/MESSMER, § 188 N. 25; § 293 N. 14; H.U. WALDER, Zivilprozessrecht S. 484 Anm. 65 a; RUST, Die Revision im Zürcher Zivilprozess, Diss. Zürich 1981, S. 130 ff.), hält BECKER, (N. 38 zu Art. 24 OR) es ganz allgemein für eine Frage des Prozessrechts, ob die Anfechtung durch Rechtsmittel oder neue Klage zu erfolgen habe. WURZBURGER (La violation du droit fédéral dans le recours en réforme, ZSR 94/1975 II S. 100) meint ebenfalls, es sei dem kantonalen Prozessrecht überlassen, ob es einem Vergleich materielle Rechtskraft zugestehen wolle, und befürwortet für diesen Fall eine ausschliessliche Anfechtung über den Rechtsmittelweg, weil eine blosse zivilrechtliche Unwirksamkeitserklärung Rechtsunsicherheit schüfe. Aus Überlegungen der Rechtssicherheit sah auch der Entwurf zu einem Bundesgesetz betreffend die Anpassung der kantonalen Zivilprozessverfahren an das Bundeszivilrecht von 1969 (Art. 73 Abs. 3; vgl. ZSR 88/1969 II S. 262) vor, dass Entscheide, die nicht auf gerichtlicher Beurteilung des Sachverhalts, sondern auf einem gerichtlichen Vergleich beruhen, der Revision unterliegen, wobei die privatrechtlichen Anfechtungsgründe der Nichtigkeit oder Unverbindlichkeit gemäss Art. 20 f. und Art. 23 ff. OR als Revisionsgründe vorgesehen waren. Der Entwurf bezweckt damit, die zwiespältige Rechtslage zu beseitigen, dass der Vergleich als Urteilssurrogat ungeachtet der geltend gemachten Mängel vollstreckbar bleibt, gleichzeitig will er mit der Revisionsfrist garantieren, dass die Angelegenheit nicht allzu lange in der Schwebe bleibt (BALMER, Erläuterungen zum genannten Gesetzesentwurf, ZSR 88/1969 II S. 447 f.).

Demgegenüber stellt sich VOYAME (Droit privé fédéral et procédure civile cantonale, ZSR 80/1961 II S. 143) auf den Standpunkt, eine Gleichstellung des Vergleichs mit einem Urteil rechtfertige sich bloss für die Vollstreckbarkeit. Die Parteien dürften nicht daran gehindert werden, die Gültigkeit eines Vergleiches mit den im Zivilrecht und namentlich in Art. 20 ff. OR vorgesehenen Mitteln zu bestreiten. Ebensowenig hält SCHÜPBACH (Les vices de la volonté en procédure civile, in Hommage à Raymond Jeanprêtre, 1982, S. 86 f.) die Kantone für befugt, die Geltendmachung eines Willensmangels gegenüber einem gerichtlichen Vergleich prozessual einer kürzeren Anfechtungsfrist als der in Art. 31 OR vorgesehenen Jahresfrist zu unterstellen, weil der gerichtliche Rahmen den Vergleich insoweit nicht zum Urteil mache. Nach KUMMER (Die privatrechtliche Rechtsprechung des Bundesgerichts im Jahre 1979, ZBJV 117/1981 S. 169 f. zu BGE 105 II 277 E. 3) liegt es von Bundesrecht wegen nahe, dass sich die Anfechtung wegen Willensmängeln ausschliesslich nach Art. 31 OR richte; jedenfalls lasse sich die Auffassung vertreten, die Anfechtung mit Rechtsmitteln widerspreche dem Bundesrecht, weil sie die Fristen des Art. 31 OR, die das Bundesrecht nun einmal einräumen wolle, missachte. Bereits früher hat KUMMER (Das Klagerecht und die materielle Rechtskraft im schweizerischen Recht, S. 78 f., S. 80) betont, auch gegenüber einem die Gültigkeit eines Vertrags bejahenden Urteils sei bei nachträglicher Entdeckung eines Willensmangels die Klage aus Art. 31 OR zuzulassen; hingegen hat er das bei Entdeckung des Mangels während des Prozesses verneint, weil dann Verzicht auf Geltendmachung Genehmigung bedeute. Letzteres vertreten auch VON TUHR/PETER, unbekümmert um die daraus resultierende Verkürzung der Anfechtungsfrist (Allg. Teil OR Bd. I, S. 331, vgl. auch S. 300 N. 11).

c) Wegleitend ist, dass die Kantone im Rahmen ihres Prozessrechts keine Normen erlassen dürfen, welche die Verwirklichung des Bundeszivilrechts verunmöglichen oder seinem Sinn und Geist widersprechen (BGE 104 Ia 108). Es lässt sich durchaus mit Art. 31 OR vereinbaren, die Unverbindlichkeit eines Vertrages im Prozess nur dann zu berücksichtigen, wenn sie in den prozessual vorgeschriebenen Fristen und Formen geltend gemacht wird. Derartige prozessuale Schranken verstossen nicht gegen Bundesrecht, auch wenn im Ergebnis ein bundesrechtlicher Anspruch schutzlos bleibt (GULDENER, a.a.O., S. 70 und 74; DERSELBE in ZSR 80/1961 II S. 55 ff.; KUMMER, Klagerecht S. 24 f.; vgl. auch BGE 104 Ia 108 E. 4 sowie für die Verrechnungseinrede BGE 63 II 138 E. 2). Dem entspricht, dass eine Partei hinsichtlich eines streitigen Vertrags wie auch eines Prozessvergleichs das Anfechtungsrecht gemäss Art. 31 OR verwirkt, wenn sie einen entdeckten Willensmangel nicht prozessual frist- und formgerecht geltend macht; dem Postulat der Rechtsprechung, dass auf jeden Fall eine Anfechtung möglich sein muss (vgl. E. 4a), ist damit Genüge getan.

Wenn aber die Geltendmachung von Willensmängeln durch eine neue Klage ausgeschlossen werden kann, wo sie während des Prozesses, allenfalls im Rechtsmittelverfahren, möglich gewesen wäre, muss das auch gelten, wenn das Prozessrecht für die nachträgliche Entdeckung eines Willensmangels das Revisionsverfahren zur Verfügung stellt. Das trifft vorliegend zu, wie sich aus dem angefochtenen Urteil ergibt, das insofern vom Kassationsgericht überprüft worden ist. Wenn die Klägerin demgegenüber behauptet, es wäre in ihrem Fall nicht die Revision mit einer 90tägigen Frist, sondern der Rekurs mit einer nur 10tägigen Frist gegeben gewesen, rügt sie die Anwendung kantonalen Rechts, die der Überprüfung im Berufungsverfahren entzogen ist (Art. 55 Abs. 1 lit. c OG). Deshalb braucht auch nicht untersucht zu werden, ob es aus der Sicht des Bundesrechts einen Unterschied mache, dass die Rekursfrist erheblich kürzer wäre als die Revisionsfrist.

5. Es verstösst daher nicht gegen Bundesrecht und insbesondere nicht gegen Art. 31 OR, wenn die Vorinstanz aufgrund des zürcherischen Prozessrechts eine nachträgliche Anfechtungsklage nicht zugelassen hat. Die Berufung erweist sich daher als unbegründet.

Bei dieser Sachlage kann offen bleiben, ob die Vorinstanz zu Recht die Einrede der abgeurteilten Sache verworfen hat oder richtigerweise auch aus diesem Grund die neue Klage nicht hätte zulassen dürfen. Das ist vor Bundesgericht unangefochten geblieben, wäre indes von Amtes wegen zu prüfen (Art. 63 Abs. 1 Satz 2 OG). Das angefochtene Urteil begründet die Verneinung der abgeurteilten Sache mit der fehlenden Identität zwischen der Mieterstreckungsklage des ersten und der Rückforderungsklage des zweiten Prozesses, was nach dem Kassationsentscheid als Frage des Bundesrechts der Überprüfung durch das Bundesgericht unterliegt. Das trifft im Grundsatz zu (BGE 105 II 151 E. 1 mit Hinweisen). Freilich geht es vorliegend um die Frage, ob die Vorinstanz zu Recht nur den Rückzug der Erstreckungsklage, nicht auch die vereinbarte Zahlung von Fr. 50'000.- an der materiellen Rechtskraft teilnehmen lässt. Wenn schon das Prozessrecht darüber befindet, ob ein Prozessvergleich zu einem materiell rechtskräftigen Entscheid führt (vgl. BGE 105 II 151 E. 1 zum Klagerückzug), kann es wohl auch festlegen, ob Vergleichsbestimmungen, die über den Streitgegenstand hinausgehen, ebenfalls daran teilhaben, (dazu GULDENER, Zivilprozessrecht, S. 393; STRÄULI/MESSMER, § 188 N. 21). Wird jedoch die Überprüfung der Identität nach Bundesrecht auch darauf erstreckt (in diesem Sinn BGE 101 II 377 f. E. 1), müsste die Einrede der abgeurteilten Sache bejaht werden; es ginge jedenfalls nicht an, zwar zum Nachteil der einen Partei den Rückzug der Erstreckungsklage als res iudicata zu betrachten, die als Gegenleistung vereinbarte Geldzahlung der andern Partei daran aber nicht teilhaben zu lassen. Auch der Grundsatz, dass für die Rechtskraftwirkung zwar das Dispositiv des ersten Urteils massgebend, zum Verständnis aber auch die Begründung beizuziehen ist (BGE 84 II 140 mit Hinweisen), führt zum nämlichen Resultat: indem der Prozess im Dispositiv als durch Vergleich erledigt abgeschrieben und dieser vollumfänglich in die Begründung aufgenommen wurde, ist davon klar auch das Zahlungsversprechen umfasst.

Da das angefochtene Urteil aus andern Gründen standhält, braucht auf diesen Aspekt nicht näher eingegangen zu werden. Er kann indes auch nicht ganz übergangen werden, weil die Klägerin behauptet, die Verneinung der Identität führe ohne weiteres bereits zur Zulassung ihrer Klage und damit zur Gutheissung der Berufung. Dass im zürcherischen Verfahren die neue Klage unzulässig erklärt werden darf, ist nicht zuletzt eine Folge der einer Prozessabschreibung aufgrund Vergleichs beigemessenen materiellen Rechtskraft. Aus dieser folgt, dass nur auf dem Rechtsmittelweg auf den Entscheid zurückgekommen werden darf; das entspricht denn auch der eigenen Argumentation der Vorinstanz und den von ihr zitierten Äusserungen GULDENERS (Zivilprozessrecht, S. 388 und 398, ferner ZSR 80/1961 II S. 69/70 und schon BGE 56 I 224 f.; in diesem Zusammenhang auch H.U. WALDER, a.a.O., S. 484 Anm. 65 a und STRÄULI/MESSMER, § 191 N. 15). Das angefochtene Urteil erweist sich deshalb in sich als widersprüchlich, doch gibt das nicht zu einer Aufhebung und Rückweisung Anlass, weil es im Ergebnis vor Bundesrecht standhält.