A.- A. bemühte sich als Mäkler um die Veräusserung der N. AG in Gossau. Zu diesem Zwecke stand er u.a. in Verbindung mit der E. AG, welche in der Folge die N. AG ohne seine direkte Mitwirkung übernahm. Streitig ist der Provisionsanspruch des Mäklers.

B.- Mit Klage vom 15. Oktober 1987 unterbreitete A. dem Bezirksgericht Münchwilen folgendes Rechtsbegehren:

"Die Beklagte sei zu verpflichten, dem Kläger auf dem von ihr

bekanntzugebenden Kaufpreis der Aktien der Firma N. AG, Gossau,

(effektiv geleistete Zahlungen) die Provision von 2,5% zuzüglich Zins

von 5% seit dem 19. August 1987 als schuldig anzuerkennen und zu bezahlen;

unter Kosten- und Entschädigungsfolgen."

Am 27. Oktober 1988/6. Januar 1989 wies das Bezirksgericht Münchwilen die Klage ab. Es liess die Frage offen, ob das gestellte Rechtsbegehren hinreichend bestimmt laute, hielt aber den Provisionsanspruch für unbewiesen.

Im Berufungsverfahren trat das Obergericht des Kantons Thurgau am 11. Juli 1989 mangels bezifferten Leistungsbegehrens auf die Klage insgesamt nicht ein.

C.- A. führt gegen den Entscheid des Obergerichts staatsrechtliche Beschwerde und eidgenössische Nichtigkeitsbeschwerde in Zivilsachen. Mit dieser beantragt er die Aufhebung des angefochtenen Urteils sowie die Rückweisung der Streitsache an die Vorinstanz zu neuem Entscheid. Er rügt eine Anwendung kantonalen statt eidgenössischen Rechts (Art. 68 Abs. 1 lit. a OG).

Die E. AG und das Obergericht schliessen auf Abweisung der Beschwerde.

Das Bundesgericht nimmt die Nichtigkeitsbeschwerde als Berufung entgegen und heisst sie gut. Es hebt das Urteil des Obergerichts des Kantons Thurgau auf und weist die Streitsache zu neuer Entscheidung an die Vorinstanz zurück.

2. a) Nach § 148 der auf das vorliegende Verfahren anwendbaren thurgauischen Zivilprozessordnung vom 29. April 1928 (aZPO) ist die Einlassung in den Rechtsstreit als vollendet zu betrachten, wenn der Kläger sein Rechtsbegehren eröffnet, der Beklagte darauf seine Erklärung abgegeben und der Friedensrichter den Ausgleichsversuch ohne Erfolg abgeschlossen hat. Eine spätere Änderung des eingangs gestellten Rechtsbegehrens ist nach der kantonalen Rechtsprechung unzulässig (BÖCKLI, N 1d zu § 148 aZPO TG; RBOG 1975 Nr. 15). Das Rechtsbegehren ist in die Weisung des Friedensrichters an das zuständige Gericht aufzunehmen (§ 149 Abs. 2 Ziff. 3 aZPO), wobei es nach der Rechtsprechung so zu formulieren ist, dass es bei gänzlicher Gutheissung der Klage ohne Ergänzung und Verdeutlichung zum Dispositiv des Urteils erhoben werden kann; bei Forderungsklagen wird demzufolge eine genaue Bezifferung des beanspruchten Betrages verlangt (BÖCKLI, N 4 zu § 149 aZPO; RBOG 1983 Nr. 17, 1984 Nr. 20 und 1987 Nr. 15).

b) Der Beschwerdeführer rügt die Anwendung dieser Rechtsprechung auf sein Klagebegehren. Er macht geltend, die Vorinstanz vereitle die Durchsetzung des materiellen Bundesrechts und missachte dessen derogatorische Kraft, indem sie auf seine Klage aus Gründen des kantonalen Rechts nicht eintrete. Kantonales Recht stehe im Widerspruch zum Bundesrecht, wenn es eine unbezifferte Forderungsklage allgemein ausschliesse.

Die Verletzung der derogatorischen Kraft des Bundesrechts in Angelegenheiten des Bundeszivilrechts ist grundsätzlich mit Berufung oder zivilrechtlicher Nichtigkeitsbeschwerde geltend zu machen (BGE 115 II 131 E. a mit Hinweisen, BGE 101 II 42 ff.; SALADIN, N 63 zu Art. 2 ÜbBest.BV mit weiteren Hinweisen in Fn 76). Der Kläger führt entgegen der Rechtsmittelbelehrung des Obergerichts eidgenössische Nichtigkeitsbeschwerde. Er scheint sich dabei an BGE 101 II 42 anzulehnen. In diesem Urteil hat das Bundesgericht die Berufungsfähigkeit des dort angefochtenen Entscheids verneint, weil die Vorinstanz den Anspruch materiell nicht endgültig beurteilt habe. Demgegenüber hat das Bundesgericht in BGE 115 II 237 erkannt, dass ein Endentscheid nach Art. 48 OG auch dann vorliegt, wenn ein definitives, instanzabschliessendes Prozessurteil ergeht, das nicht zum endgültigen Rechtsverlust führt (BGE 115 II 240 /1). Gleich verhält es sich vorliegend. Ein kantonales, letztinstanzliches Urteil, das die Frage, ob ein bundesrechtlicher Anspruch hinreichend substantiiert wurde, verneint, stellt einen Endentscheid dar, da der Anspruch in derselben Form nicht neu gestellt werden kann und der Kläger Anspruch darauf hat, zu wissen, ob das Bundesrecht den Kantonen gestattet, dem Begehren in dieser Form den Rechtsschutz zu versagen. Da die übrigen Berufungsvoraussetzungen ebenfalls erfüllt sind, ist somit die Nichtigkeitsbeschwerde als Berufung entgegenzunehmen (BGE 110 II 56 E. 1).

3. Die Kompetenz der Kantone, ihre Gerichtsorganisation und das Prozessrecht zu ordnen, ergibt sich für das Zivilprozessrecht aus Art. 64 Abs. 3 BV. Auch diese Vorschriften unterstehen dem Grundsatz der derogatorischen Kraft des Bundesrechts. Dabei ist insbesondere ihre dienende Funktion zu beachten. Das kantonale Recht der Gerichtsorganisation und der Prozessordnung ist darauf ausgerichtet, dem materiellen Recht zum Durchbruch zu verhelfen. Die Kantone sind daher verpflichtet, eine Ordnung zu schaffen, welche die Anwendung des materiellen Bundesrechts gewährleistet. Namentlich ist ihnen untersagt, die Freiheit des kantonalen Richters in der Anwendung des Bundeszivilrechts durch das kantonale Prozessrecht einzuschränken. Unter Beachtung dieser Schranken sind die Kantone jedoch in der Ausgestaltung ihres Prozessrechts frei; sie können insbesondere geeignete Normen zur Sicherung eines geordneten Verfahrens erlassen (BGE 113 Ia 312 E. b mit Hinweisen). Dagegen sind sie vom Erlass von Vorschriften ausgeschlossen, welche die Verwirklichung des Bundeszivilrechts verunmöglichen oder seinem Sinn und Geist widersprechen (BGE 115 II 131 E. a mit Hinweisen).

Seine dienende Funktion bestimmt auch die Auslegung des Prozessrechts. Da es die Verwirklichung des materiellen Rechts zum Gegenstand hat, ist im Zweifelsfall nicht anzunehmen, einer prozessualen Gesetzesvorschrift komme eine Bedeutung zu, die geeignet ist, die Verfolgung materieller Ansprüche übermässig zu erschweren (GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 52 f. mit Hinweisen). Soll Bundesprivatrecht angewendet werden, hat sich die Auslegung des kantonalen Zivilprozessrechts diesem anzupassen und seine Durchsetzung zu gewährleisten. Die prozessuale Rechtsverwirklichung ist nicht bloss ein Postulat an die Adresse des kantonalen Gesetzgebers, sondern auch ein Grundsatz der Rechtsanwendung. Das kantonale Prozessrecht ist daher im Zweifel in einem Sinn auszulegen, welcher die Verwirklichung des Bundesprivatrechts auf einfachstem Wege ermöglicht (GULDENER, Bundesprivatrecht und kantonales Zivilprozessrecht, ZSR n.F. 80/1961 II S. 1 ff., 23; VOYAME, Droit privé fédéral et procédure civile cantonale, ZSR n.F. 80/1961 II S. 67 ff., 99). Eine diesen Grundsätzen widersprechende Auslegung ist daher bundesrechtswidrig.

4. a) Eine Prozessvorschrift, wonach die Rechtsbegehren der Parteien klar und deutlich zu formulieren sind und hinreichend bestimmt lauten müssen, ist nicht zu beanstanden. Den Kantonen ist daher im Grundsatz auch nicht verwehrt, in Forderungsstreitigkeiten die Bezifferung des geforderten Betrages zu verlangen (GULDENER, Zivilprozessrecht, S. 193; GULDENER, ZSR n.F. 80/1961 II S. 59 f.). Der Grundsatz gilt indessen nicht schrankenlos. Das kantonale Recht hat unbezifferte Forderungsklagen einmal dort zuzulassen, wo das Bundesrecht sie ausdrücklich vorsieht (z.B. Art. 73 Abs. 2 PatG) oder den Richter auf sein Ermessen verweist (insbesondere Art. 42 Abs. 2 OR, dazu BGE 112 Ib 335 E. 1 mit Hinweisen; PETER LOOSLI, Die unbezifferte Forderungsklage, Diss. Zürich 1977, S. 5 f.; VOGEL, Grundriss des Zivilprozessrechts, 2. Aufl. 1988, S. 135 Rz. 5; a. A. GULDENER, Zivilprozessrecht, S. 193 Fn 8; GULDENER, ZSR n.F. 80/1961 II S. 59 f.). Immerhin begrenzt das Bundesrecht in solchen Fällen des richterlichen Ermessens lediglich die Anforderungen an die materielle Substantiierung der Forderung, nimmt den Kantonen dagegen nicht auch die Möglichkeit, aus formellen Gründen eine rahmenmässige Bezifferung der Klageforderung zu verlangen (BGE 77 II 188; STRÄULI/MESSMER, N 16 zu § 61 ZPO ZH; C. JÜRGEN BRÖNNIMANN, Die Behauptungs- und Substantiierungslast im schweizerischen Zivilprozessrecht, Diss. Bern 1989, S. 31). Das bundesprivatrechtliche Verwirklichungsverbot lässt sodann nicht zu, eine Bezifferung der Klageforderung auch dort zu verlangen, wo der Kläger nicht in der Lage ist, die Höhe seines Anspruchs genau anzugeben, oder diese Angabe unzumutbar erscheint (GULDENER, ZSR n.F. 80/1961 II S. 36; LOOSLI, a. a. O., S. 7 und 66 ff.). Dies hat insbesondere dort zu gelten, wo erst das Beweisverfahren die Grundlage der Bezifferung der Forderung abgibt; hier ist dem Kläger zu gestatten, die Präzisierung erst nach Abschluss des Beweisverfahrens vorzunehmen (GULDENER, Zivilprozessrecht, S. 193 Ziff. 2 und 237 bei Fn 41). Wird schliesslich auf Rechnungslegung geklagt, braucht nicht angegeben zu werden, wie die Rechnung zu lauten habe, soll doch die Rechnungslegung dem Kläger erst Kenntnis von den Abrechnungsverhältnissen verschaffen (GULDENER, Zivilprozessrecht, S. 194 Ziff. 7).

Gleiches gilt für die sogenannte Stufenklage, in welcher ein Begehren um Rechnungslegung mit einer zunächst unbestimmten Forderungsklage auf Leistung des Geschuldeten verbunden wird. (GULDENER, Zivilprozessrecht, S. 167 Ziff. 3; VOGEL, a.a.O., S. 136 Rz. 6). Hauptanspruch ist hier die anbegehrte Leistung, Hilfsanspruch deren Bezifferung durch Rechnungslegung. Da es dem Kläger diesfalls in der Regel nicht möglich ist, seine Forderung ohne Erfüllung des Hilfsanspruchs inhaltsmässig genau zu bestimmen, ist die unbezifferte Forderungsklage zunächst zuzulassen und die Möglichkeit zu gewähren, die Bezifferung nach erfolgter Rechnungslegung oder nach Abschluss des Beweisverfahrens nachzuholen. In solchen Fällen vom Kläger die Bezifferung seiner Forderung bereits zu Beginn des Prozesses zu verlangen, hiesse die Durchsetzung des Bundesprivatrechts vereiteln und verstiesse damit gegen die derogatorische Kraft des Bundesrechts. Vom Kläger aber zu fordern, in einem ersten Prozess bloss auf Rechnungslegung zu klagen, um sich Klarheit über die Bezifferung des Hauptanspruchs zu verschaffen, und danach eine zweite (Leistungs)-Klage anzuheben, widerspräche den Anliegen der Prozessökonomie und dem Grundsatz der Verhältnismässigkeit.

b) Entsprechend verhält es sich vorliegend. Die Beklagte bestritt einen Provisionsanspruch des Klägers bereits dem Grundsatz nach und war demzufolge nicht bereit, die für dessen Bezifferung erforderlichen Angaben zu machen und Unterlagen vorzulegen. Eine annähernde Bezifferung seines Anspruchs hat der Kläger bereits vor dem Friedensrichter und in seiner Klageschrift vorgenommen, indem er seinen Provisionsanspruch auf ungefähr Fr. 200'000.-- veranschlagt hat. Er war daher vorerst mit einer unbezifferten Forderungsklage zuzulassen und zu ermächtigen, die genaue Bezifferung seines Anspruchs nach Abschluss des Beweisverfahrens nachzuholen.