A.- Mit öffentlich beurkundetem Vorvertrag vom 21. September 1971 verpflichtete sich Hans Grawehr, dem Ernst Sahli mehrere sich in der Gemeinde Bottighofen befindliche Parzellen landwirtschaftlich genutzten Landes im Halte von ungefähr 870 Aren samt Scheune und Schopf zu einem Preise von Fr. 720'000.- zu verkaufen. Auf diesen Parzellen liess Sahli im Jahre 1972 verschiedene Neubauten errichten; im November 1972 waren die meisten davon, namentlich das Wohnhaus, fertiggestellt. Am 3. November 1972 wurde der Kaufvertrag öffentlich beurkundet und die Handänderung im Grundbuch eingetragen. Sahli bezahlte den in den öffentlich beurkundeten Verträgen festgehaltenen Kaufpreis von Fr. 720'000.-, weigerte sich aber, dem Grawehr eine weitere, mündlich versprochene Zahlung von Fr. 100'000.- auszurichten.

B.- Im Januar 1974 erhob Grawehr beim Bezirksgericht Kreuzlingen gegen Sahli Klage, mit der er verlangte, dass die Nichtigkeit der beiden öffentlich beurkundeten Verträge festzustellen sei; ferner "sei die gestützt auf den Kaufvertrag vom 3. November 1972 vorgenommene Grundbucheintragung im Grundbuch Bottighofen zu löschen und das Eigentum an den Grundstücken Parz.-:Nrn. und E.Bl. 363, 367 und 439 auf den Kläger zurückzuübertragen".

Ein Zwischenentscheid des Bezirksgerichts wurde vom Obergericht des Kantons Thurgau am 28. September 1976 aufgehoben. Jenes wies hierauf die Klage mit Urteil vom 6. April 1977 ab, was vom Obergericht auf Appellation des Klägers hin am 20. September 1977 bestätigt wurde.

C.- Gegen das obergerichtliche Erkenntnis hat der Kläger die Berufung erklärt, mit der er Gutheissung seiner Klagebegehren verlangt. Der Beklagte trägt auf Abweisung der Berufung an.

2. a) Das Obergericht stellt fest, "dass die Parteien eine Schwarzzahlung von Fr. 100'000.- vereinbarten und dem Grundbuchamt bewusst fälschlich einen um diesen Betrag zu niedrigen Kaufpreis angaben, dass ferner der Beklagte in der Folge die Zahlung dieses Schwarzgeldes verweigerte". In Übereinstimmung mit der Rechtsprechung folgert es daraus die Nichtigkeit der beiden öffentlich beurkundeten Verträge wegen Formmangels (vgl. BGE 98 II 316 E. 2 mit Hinweisen). Die Anrufung dieses Formmangels durch den Kläger erachtet es hingegen als rechtsmissbräuchlich, weshalb es die Klage abweist.

b) Formnichtigkeit ist im Verhältnis unter den Parteien unbeachtlich und die Berufung darauf ist unstatthaft, wenn sie gegen Treu und Glauben verstösst und daher einen offenbaren Rechtsmissbrauch im Sinne von Art. 2 Abs. 2 ZGB darstellt. Wohl trifft es zu, dass es Sache jener Partei ist, die der andern das Recht zur Anrufung der Nichtigkeit bestreitet, besondere, den konkreten Fall kennzeichnende Umstände nachzuweisen, die offensichtlich machen, dass die Berufung auf den Formmangel treuwidrig ist (BGE 90 II 26 E. 2 a, BGE 87 II 31 E. 4). Das ändert aber nichts daran, dass ein Rechtsmissbrauch im Sinne von Art. 2 ZGB in jeder Instanz von Amtes wegen zu beachten ist, wenn die tatsächlichen Voraussetzungen von einer Partei in der vom Prozessrecht vorgeschriebenen Weise vorgetragen wurden und feststehen. Einer besonderen Einrede bedarf es nicht(BGE 98 II 316 E. 2, BGE 95 II 115 E. 4, BGE 94 II 41 E. 6a, BGE 88 II 23 E. 4, BGE 86 II 232 E. 6, 401). Anhand des von der Vorinstanz festgestellten Tatbestandes ist somit zu prüfen, ob vorliegend die Berufung auf Formnichtigkeit rechtsmissbräuchlich sei.

3. Ob ein Rechtsmissbrauch vorliege, der die Berufung auf Formnichtigkeit eines Kaufvertrages verbietet, hat der Richter nicht in Anwendung von starren Regeln zu entscheiden, sondern unter Würdigung aller Umstände des konkreten Falles (BGE 93 II 104, BGE 92 II 325 E. 3, BGE 90 II 156 E. 2, BGE 86 II 232 E. 6 mit Hinweisen). Dabei kommt der erfolgten freiwilligen Erfüllung des Kaufvertrages durch die Parteien besondere Bedeutung zu. Sie schliesst zwar nicht notwendigerweise aus, dass die Nichtigkeit des Vertrages dennoch berücksichtigt werde, lässt die Anrufung des Formmangels aber doch als rechtsmissbräuchlich erscheinen, wenn nicht die Würdigung aller übrigen Umstände, namentlich das Verhalten der Parteien bei und nach Vertragsschluss, eindeutig zum gegenteiligen Schluss führt (BGE 98 II 316 E. 2, BGE 93 II 105 E. 1, BGE 92 II 325 E. 3, BGE 90 II 157 E. 2a, BGE 72 II 43 E. 3). Unter der freiwilligen Vertragserfüllung wird nach jüngerer Begriffsumschreibung in der Judikatur die Herstellung der Vermögenslage verstanden, die dem wirklichen, vom verurkundeten abweichenden Parteiwillen entspricht (BGE 84 II 376 E. 2b, BGE 78 II 228 E. 2). Hievon geht auch das Obergericht aus, um zu erklären, die dem wirklichen Parteiwillen gemässe Vermögenslage sei vorliegend mangels Leistung der Schwarzzahlung nicht gegeben, der Vertrag daher nicht vollständig erfüllt. Soweit die Berufung die nämliche Anschauung verficht, stösst sie offene Türen ein. Indessen erhebt sich die Frage, Ob unter solcher Voraussetzung für eine Wertung anderer, auf Rechtsmissbrauch weisender Umstände überhaupt noch Raum sei.

a) In der Lehre scheint das überwiegend verneint zu werden. DESCHENAUX (in: Schweizerisches Privatrecht, Band II, S. 193), der die Entwicklung der Rechtsprechung verzeichnet, vertritt die Auffassung, dass der Richter kaum zögern werde, sich an die Formstrenge zu halten, solange der mangelhafte Vertrag nicht erfüllt sei. Unter Hinweis auf BGE 68 II 236 E. III hebt er hervor, dass Art. 2 ZGB im Gebiete der Formen nur in einem negativen Sinne herangezogen werden könne, nicht als positives Mittel zur Heilung eines Formmangels, um auf dem Umweg über den Rechtsmissbrauch einen nichtigen in einen gültigen Vertrag zu verwandeln. Daran ist auch nach CAVIN (in: Schweizerisches Privatrecht, Band VII/1, S. 135) festzuhalten, "obwohl neuere Urteile eine Tür für eine positive Wirkung der Zuhilfenahme des Begriffs des Rechtsmissbrauchs öffnen zu wollen scheinen" (zitiert wird BGE 90 II 21). GUHL/MERZ/KUMMER (Schweizerisches Obligationenrecht, 6. A., S. 124 f.) nehmen, indem sie die Erfüllung des formungültigen Geschäfts zum massgebenden Gesichtspunkt machen, den nämlichen Standpunkt ein. MERZ (N. 496 und 499 zu Art. 2 ZGB) schliesslich vertritt, den nicht erfüllten Vertrag betreffend, dieselbe Ansicht. Bezüglich der Vertragserfüllung unterscheidet er aber: Er anerkennt, dass als Ausdruck eines allgemeinen Rechtsgrundsatzes die Anrufung der Formnichtigkeit demjenigen zu verwehren ist, der freiwillig und in Kenntnis des Mangels erfüllt hat (N. 475 zu Art. 2 ZGB). Gegenüber der erwähnten neueren bundesgerichtlichen Umschreibung der Erfüllung greift er aber auf die in BGE 53 II 166 verwendete Formel der Erfüllung "in der Hauptsache" zurück und stimmt den durch dieses Urteil "erschlossenen erweiterten Anwendungsmöglichkeiten" zu (N. 476 und 488 zu Art. 2 ZGB).

b) Zur Rechtsprechung bemerkt CAVIN (a.a.O., S. 135), da sie bewusst kasuistisch sei, wäre es gewagt, sie auf allgemeine Grundsätze zurückzuführen. Immerhin gehe aus ihr hervor, dass die Erfüllung des Vertrages die notwendige, wenn auch nicht genügende Hauptvoraussetzung dafür bilde, den Käufer in seinem Erwerb zu schützen. Sei sie gegeben, so sei Rechtsmissbrauch anzunehmen, wenn die Partei den Formmangel absichtlich veranlasst habe, mit ihm einverstanden gewesen sei Oder mit seiner Geltendmachung einen Zweck verfolge, der nichts zu tun habe mit den Interessen, zu deren Schutz die Form bestimmt sei. Gesamthaft empfindet CAVIN die Rechtsprechung als unbefriedigend, namentlich, weil sie zu Rechtsunsicherheit führe, und er hält es für wünschbar, dass sie sich "aus ihrer Erstarrung" löse und einer neuen Prüfung unterziehe (a.a.O., S. 135-137).

In welcher Weise oder nach welcher Richtung hin solche Überprüfung vorzunehmen wäre, wird freilich nicht näher erläutert. CAVIN selber bringt zu den von ihm angeführten Lehrmeinungen Vorbehalte oder Bedenken an (a.a.O., S. 136 f.). Mit der These SPIROS (Die unrichtige Beurkundung des Preises bei Grundstückskauf, Basel 1964), der sich gegen die Annahme der Nichtigkeit des den Grundstückspreis unrichtig verurkundenden Vertrages wendet, hat sich das Bundesgericht auseinandergesetzt (BGE 90 II 156 E. 1; vgl. dazu die Replik SPIROS, in: BJM 1965, S. 213). Ebenso befasste es sich mit der von MEIER-HAYOZ wieder aufgenommenen Theorie HAABS (HAAB/SIMONIUS, N. 34 ff. zu Art. 657 ZGB; MEIER-HAYOZ, N. 130 ff. zu Art. 657 ZGB; vgl. auch MERZ, N. 510 zu Art. 2 ZGB), wonach der Formmangel eines Rechtsgeschäftes nicht seine Nichtigkeit, sondern eine heilbare Ungültigkeit eigener Art bewirke (BGE 92 II 324 E. 2, BGE 86 II 400 E. 1). Darauf zurückzukommen besteht kein Anlass.

c) Anderseits sind die aufgezeigten Meinungsverschiedenheiten nicht eine "blosse Frage der Betrachtungsweise", wie GUHL/MERZ/KUMMER (a.a.O., S. 125) meinen, sondern vorab im Ansatzpunkt durchaus grundsätzlicher Natur. An der Nichtigkeit des unrichtig beurkundeten Vertrages hat die Rechtsprechung ebenso festgehalten, wie an der Anerkennung ihrer Unbeachtlichkeit, wo es Treu und Glauben verlangen. Für die Beurteilung des Parteiverhaltens unter dem Gesichtspunkt des Rechtsmissbrauchs hat sie ferner stets die Bindung an starre Regeln abgelehnt und die Würdigung aller Umstände unter Berücksichtigung von Rechtsempfinden, Rechtsethik und Rechtssicherheit beansprucht (vgl. BGE 92 II 325 E. 3, 86 II 401). Die freiwillige und irrtumsfreie Vertragserfüllung wertete sie dabei als wichtigen, wenn auch nicht allein ausschlaggebenden Grund. Von dieser Praxis ist nicht abzugehen. Bewusst kasuistisch, wie CAVIN bescheinigt, ist sie auf die Vielfalt möglicher Sachverhalte und deren Erfassung ausgerichtet.

d) Ein Wandel immerhin ist insofern eingetreten, als in den beiden genannten Entscheiden (BGE 84 II 376 E. 2b, BGE 78 II 228 E. 2) das Erfordernis der Erfüllung des Vertrages im wesentlichen oder in der Hauptsache ersetzt wurde durch jenes der vollständigen Erfüllung, d.h. der Herstellung der dem wirklichen Parteiwillen entsprechenden Vermögenslage, also einschliesslich der Zahlung eines allfälligen Schwarzgeldes. Als zwingend erscheint diese Änderung jedoch nicht. Zwar kann im gegenteiligen Fall, wo ein formnichtiger Vertrag gänzlich unerfüllt bleibt, die Berufung auf Rechtsmissbrauch nicht Erfolg haben, weil sonst aus Art. 2 ZGB ein Erfüllungsanspruch vermittelt würde (vgl. MERZ, N. 485 ff. und 496 zu Art. 2 ZGB). Zwischen vollständiger Nichterfüllung und vollständiger Erfüllung entsprechend dem wirklichen Parteiwillen liegt aber eine Spanne, deren graduelle Stufungen einer unterschiedlichen Wertung zugänglich sind und die im Oberen Grenzbereich der annähernden Oder hauptsächlichen Erfüllung in die Gesamtwürdigung füglich einbezogen werden darf. Wohl stellen BGE 84 II 376 E. 2b und BGE 78 II 228 E. 2 für die gegebenen Fälle höhere Erfüllungsanforderungen als BGE 53 II 166. Das geschieht aber ohne Bezugnahme auf diesen, wiewohl er dort in anderem Zusammenhang wiederholt zitiert wird (vgl. BGE 84 II 374, BGE 78 II 224, 229). Ob eine allgemeingültige Praxisverschärfung beabsichtigt war, ist nicht ohne weiteres klar. Im Schrifttum wurde teilweise eine solche vermerkt (DESCHENAUX, a.a.O., S. 191 Anm. 58; MERZ, N. 476 zu Art. 2 ZGB). Das Bundesgericht hat aber nicht nur die Wiederholung oder förmliche Bestätigung jener engeren Fassung des Erfüllungsbegriffes unterlassen, sondern sich auch selber nicht mit letzter Konsequenz daran gehalten, wie BGE 98 II 316 zeigt. In seiner Besprechung dieses Urteils bemerkt MERZ, dass "nach richtiger Betrachtung" schon die Erfüllung in der Hauptsache den Formmangel "heile" (ZBJV 110/1974, S. 69). Das kann freilich als bestimmende Regel nach der geltenden Rechtsprechung auch dann nicht anerkannt werden, wenn die Erfüllung in der Hauptsache als erheblicher Umstand berücksichtigt wird. Letzteres aber ist angebracht, mag es auch die Wiedererwägung einer jüngeren zugunsten einer älteren Praxis bedeuten; liegt doch diese eher als jene auf der unverändert gebliebenen Grundlinie der freien Würdigung aller Umstände, und kann als ein solcher die Erfüllung in der Hauptsache unter den Gesichtspunkten sowohl des widersprüchlichen Verhaltens wie des Formzweckes beachtlich sein.

4. Alsdann ist davon auszugehen, dass vorliegend der verurkundete Kaufvertrag beidseitig erfüllt wurde, der Eigentumsübergang im Grundbuch eingetragen ist und allein die Schwarzzahlung aussteht. Auf den dissimulierten Vertrag bezogen ergibt das die vollständige Erfüllung seitens des Klägers und die Erfüllung in der Hauptsache seitens des Beklagten. Zu prüfen bleibt, welche weiteren Umstände hinzukommen, und ob sie zusammen mit den Erfüllungsgegebenheiten die Geltendmachung des Formmangels als rechtsmissbräuchlich erscheinen lassen.

a) Beweiswürdigend und anhand eigenen Vorbringens des Beklagten hält das Obergericht fest, dass das Schwarzzahlungsversprechen zwar auf Vorschlag des Beklagten, jedoch unter sofortiger Zustimmung des Klägers und in dessen alleinigem Interesse vereinbart wurde. Nach dem Vertrag habe ausschliesslich der Kläger die Handänderungskosten zu tragen gehabt; dank dem geringeren verurkundeten Kaufpreis habe er zudem auch Grundstückgewinnsteuern einsparen können. Beide Parteien hätten um die Unerlaubtheit ihres Vorgehens gewusst. Aber der Kläger habe den Formmangel zum eigenen Vorteil, um Öffentliche Abgaben zu umgehen, herbeigeführt. Anders als in den Fällen der BGE 90 II 157 und BGE 87 II 31, sei er allein gebühren- und steuerpflichtig gewesen. Die Parteibefragung habe keinen Anhalt dafür erbracht, dass der Beklagte deswegen, weil der Kläger mit Steuern und Gebühren besser wegkomme, von ihm noch Kaufpreiskonzessionen erwirkt oder zu erwirken gehofft habe.

Diese Feststellungen sind tatsächlicher Art und binden das Bundesgericht (Art. 63 Abs. 2 OG). Verletzung bundesrechtlicher Beweisvorschriften oder offensichtliches Versehen wendet die Berufung nicht ein. Abweichende Tatsachenbehauptungen sind daher unzulässig (Art. 55 Abs. 1 lit. c OG). Der Hinweis auf die Aushandlung des Grundstückpreises und der Verkaufsmodalitäten durch Offerte und Gegenofferte hilft ohnehin nicht. Sie ist an sich ein durchaus normaler Vorgang und als solcher hier belanglos, da nichts auf unlautere Absichten oder unlauteres Handeln des Beklagten gegenüber dem Kläger im damaligen Zeitpunkt deutet.

b) Als mit Treu und Glauben in Widerspruch stehend, betrachtet das Obergericht die Berufung des Klägers auf Formnichtigkeit sodann deshalb, weil dieser bereits auf Grund des Vorvertrages grössere Investitionen des Beklagten auf der zu verkaufenden Liegenschaft zugelassen hatte. Der Beklagte habe im Dezember 1971 um die Baubewilligung für das neue Wohnhaus nachgesucht und sie im März 1972 erhalten. Das Haus sei im November 1972 fertiggestellt gewesen, und der Kaufvertrag sei am 3. November 1972 abgeschlossen worden. Der Kläger hätte es ohne weiteres in der Hand gehabt, den Baubeginn erst nach Empfang der schwarz zu zahlenden Fr. 100'000.- zu erlauben. Durch wissentliche Zulassung des Neubaus vor dem Eigentumsübergang habe er das Risiko übernommen, dass die Zahlung ausbleibe. Darum sei es missbräuchlich, wenn er hinterher den ganzen Kaufvertrag als nichtig erklären lassen wolle, und so den Beklagten zu einer langwierigen und komplizierten Auseinandersetzung über die Entschädigung für die bewusst hingenommenen Investitionen nötige.

Dem hält die Berufung vorab entgegen, der Kläger sei nach dem Vorvertrag verpflichtet gewesen, den Beklagten sofort mit den Bauarbeiten beginnen zu lassen. Das trifft indes nicht zu. Gemäss Ziffer 11 des Vorvertrages war der Beklagte lediglich ab sofort berechtigt, "auf dem vorgenannten Kaufsobjekt... Visiere zu erstellen und Baugenehmigungen einzuholen für ein Wohnhaus und einen Schopf". Auf Grund des Vorvertrages stand dem Beklagten somit nur das Recht zu, Vorbereitungen für geplante Bauten zu treffen, nicht aber diese auszuführen. Etwas anderes brauchte der Kläger somit nicht zu dulden. Damit ist in diesem Belang auch der weiteren Berufungskritik die Grundlage entzogen. Insbesondere würdigt das Obergericht die entstehenden Schwierigkeiten bei einer nachträglichen Auseinandersetzung zwischen den Parteien über die Entschädigung für Investitionen nicht - in einem gewissen Gegensatz zu BGE 86 II 405 - um ihrer selbst willen, sondern ausdrücklich "unter diesen speziellen Umständen", d.h. namentlich der Tatsache, dass der Kläger im Bewusstsein der Widerrechtlichkeit der Schwarzzahlungsabrede mit entsprechendem Risiko die Bauinvestitionen des Beklagten vor dem Eigentumsübergang zugelassen hat. Solche Betrachtungsweise ist nicht zu beanstanden (vgl. BGE 92 II 326).

c) Missbrauch sieht das Obergericht auch darin, dass es dem Kläger vorab darum gehe, vom Beklagten die nur mündlich vereinbarte Zahlung von zusätzlichen Fr. 100'000.- nachträglich doch noch erhältlich zu machen. Es verweist in diesem Zusammenhang auch darauf, dass der Kläger in der erstinstanzlichen Replik ausführen liess: "Der Kläger will eigentlich nur die versprochene Geldleistung, d.h. die Fr. 100'000.- nebst Ersatz des ihm entstandenen Schadens...".

Solches Bestreben ist in der Tat durch den Zweck der Form nicht gedeckt. Wer mit der Geltendmachung eines Formmangels die Leistung einer unterbliebenen Schwarzzahlung zu betreiben sucht, missbraucht das Recht. Dass der Kläger mit seinen Begehren noch andere Ziele verfolgte, wie er vor Bundesgericht - ohne sie zu nennen - geltend macht, ist belanglos.

d) Letztlich erörtert und verneint das Obergericht die Frage, ob dem Beklagten ein missbräuchliches Verhalten von etwa gleicher Schwere wie jenes des Klägers anzulasten und ihm deshalb die Einrede aus Art. 2 ZGB zu versagen sei. Beizustimmen ist ihm vorweg darin, dass die Verweigerung der Schwarzzahlung allein nicht genügt, um im Rahmen der gesamten Umstände die Haltung des Beklagten als ebenso missbräuchlich zu kennzeichnen, wie die des Klägers. Und sonst liegt gegen ihn nach Feststellung des Obergerichts nichts vor. Die mit der Berufung angebrachten Unterstellungen haben keine fassbare Stütze. Gewiss ist die Nichteinhaltung eines gegebenen Versprechens an sich wenig geeignet, zum Vorwurf des Rechtsmissbrauchs an den betroffenen Partner zu legitimieren. Aber auf teilweise Schwarzzahlung ausgerichtete Grundstückgeschäfte sind von besonderer Art, und dementsprechend im Streit zwischen den Beteiligten zu behandeln. Es ist an die bezüglichen Überlegungen in BGE 92 II 325 E. 3 zu erinnern. Danach muss es vorliegend bei dem von den Parteien durch Vollzug des öffentlich beurkundeten Kaufvertrages geschaffenen Rechtszustand unter den dargelegten Umständen sein Bewenden haben. Dieses Ergebnis deckt sich zudem mit der für die ungerechtfertigte Bereicherung geltenden, aber grundsätzlich allgemeine Beachtung heischenden Regel des Art. 66 OR, dass nicht zurückgefordert werden kann, was in der Absicht, einen rechtswidrigen oder unsittlichen Erfolg herbeizuführen, gegeben worden ist.

Demnach erkennt das Bundesgericht:

Die Berufung wird abgewiesen und das Urteil des Obergerichts des Kantons Thurgau vom 20. September 1977 bestätigt.