A.- Mit öffentlich beurkundetem Vertrag vom 29. Dezember 1952 verkaufte Heinrich Pletscher sein landwirtschaftliches Heimwesen in der Gemeinde Schönholzerswilen (TG) samt lebendem und totem Inventar an Marcel Geisser. Der Kaufpreis betrug Fr. 185'000.--, wovon Fr. 52'000.-- auf das Inventar und Fr. 133'000.-- auf die Liegenschaft entfielen. Der Käufer leistete eine Anzahlung von Fr. 20'000.--. Der Kaufsantritt wurde auf den 1. März 1953 bestimmt.

Im Zeitpunkt des Kaufsabschlusses galt noch der BRB über die Massnahmen gegen die Bodenspekulation vom 19. Januar 1940 (BMB), der am 31. Dezember 1952 ausser Kraft trat und auf den 1. Januar 1953 durch das BG über die Erhaltung des bäuerlichen Grundbesitzes vom 12. Juni 1951 (EGG) abgelöst wurde.

Wie nicht streitig ist, wäre für den von den Parteien für die Liegenschaft vereinbarten Kaufpreis von Fr. 133'000.-- die behördliche Genehmigung gemäss Art. 6 BMB nicht erhältlich gewesen, da der nach Art. 8 Abs. 1 Ziff. 1 BMB zulässige Höchstpreis (Ertragswert zuzüglich höchstens 30% Zuschlag) nur Fr. 95'000.-- ausgemacht hätte. Die Parteien setzten denn auch die Verschreibung auf den 29. Dezember 1952 fest, weil sie glaubten, auf diese Weise den Vertrag sowohl dem mit dem 31. Dezember 1952 dahinfallenden Erfordernisse der behördlichen Genehmigung gemäss BMB, als auch dem Vorkaufsrecht der Nachkommen des Verkäufers gemäss Art. 6 ff. EGG entziehen zu können.

Am 19. Januar 1953 machten jedoch die Tochter des Verkäufers und deren Ehemann unter Anrufung des EGG das Vorkaufsrecht geltend, verzichteten dann aber gegen Bezahlung einer Entschädigung durch den Verkäufer auf dessen Ausübung.

Am 1. März 1953 zog der Käufer auf die Liegenschaft auf. Da er den Restkaufpreis von Fr. 105'000.-- nicht vertragsgemäss leistete, forderte der Verkäufer ihn zur Zahlung auf und teilte ihm gleichzeitig mit, der Kaufvertrag könne allenfalls rückgängig gemacht werden, wenn er "als Schadenersatz und Umtriebskosten eine angemessene Reukaufsumme leiste". Drauf schlossen die Parteien am 12. März 1953 eine Vereinbarung ab, wonach der Kaufvertrag aufgehoben und dem Käufer von der geleisteten Anzahlung Fr. 5000.-- zurückerstattet wurden, die restlichen Fr. 15'000.-- dagegen dem Verkäufer als Entschädigung unter allen Titeln verblieben.

B.- Mit Klage vom 30. April/28. Mai 1953 forderte der Kläger Rückzahlung auch der verbleibenden Fr. 15'000.-- nebst 5% Zins seit 29. Dezember 1952 mit der Begründung, die Vereinbarung vom 12. März 1953 sei für ihn wegen Irrtums unverbindlich, weil er sich, wie auch der Beklagte, an den Kaufvertrag gebunden erachtet habe, während dieser, weil nicht genehmigungsfähig und überdies wegen Übervorteilung, nichtig gewesen sei. Zudem sei er durch Ausübung des Vorkaufsrechtes gemäss EGG durch die Tochter des Verkäufers dahingefallen gewesen.

Der Beklagte beantragte Abweisung der Klage. Er bestritt, dass der Kaufvertrag nach Ausserkrafttreten des BMB der behördlichen Genehmigungspflicht noch unterstanden habe. Auf das Vorkaufsrecht gemäss EGG aber habe seine Tochter nachträglich verzichtet, womit der Kaufvertrag der Parteien vollziehbar gewesen wäre. Die für seine Aufhebung vom Käufer bezahlte Reukaufsumme sei nicht übersetzt, so dass von einer Übervorteilung nicht gesprochen werden könne.

C.- Das Bezirksgericht Münchwilen kam zum Schlusse, auf den Kaufvertrag der Parteien müsse entweder das alte oder das neue Bodenrecht anwendbar sein, da es unmöglich der Wille des Gesetzgebers gewesen sein könne, dass für intertemporale Grenzfälle die alten Schutzvorschriften nicht mehr und die neuen noch nicht anwendbar sein sollten. Das Vorgehen der Parteien, unter Ausnützung einer lückenhaften Regelung der Übergangsbestimmungen das Kaufgeschäft den Schutzvorschriften des alten und des neuen Rechtes zu entziehen, stelle daher einen rechtsgeschäftlichen Schleichweg dar, der keinen Rechtsschutz finden könne. Ob das alte oder das neue Bodenrecht anwendbar sei, liess das Gericht offen, da in beiden Fällen der Kaufvertrag rechtsunwirksam geworden sei; bei Massgeblichkeit des BMB deshalb, weil die Genehmigung nicht erhältlich gewesen wäre, nach dem EGG, weil durch die Ausübung des Vorkaufsrechtes der Kaufvertrag der Parteien hinfällig geworden sei und trotz dem nachträglichen Verzicht des Vorkaufsberechtigten nicht habe wieder aufleben können. Da kein rechtsgültiger Kaufvertrag bestanden habe, sei die Vereinbarung vom 12. März 1953 über dessen Aufhebung gegen Bezahlung eines Reugeldes von Fr. 15'000.-- für den Kläger wegen Grundlagenirrtums unverbindlich. Jedoch könne er nicht die vollen Fr. 15'000 zurückfordern; denn dadurch, dass er nicht einen eigenen Rechtsbeistand beigezogen, sondern auf die Angaben des Beklagten, dessen Anwalts und die Meinung des Grundbuchamtes abstellte, habe er seinen Irrtum in unentschuldbar fahrlässiger Weise selber verschuldet und habe daher nach Art. 26 Abs. 1 OR dem Beklagten den Schaden aus dem Dahinfallen des Kaufvertrages zu ersetzen, der auf Fr. 7000.-- zu veranschlagen sei. Demgemäss schützte das Bezirksgericht die Klage im herabgesetzten Betrage von Fr. 8000.--.

D.- Das Obergericht des Kantons Thurgau, an das beide Parteien die Sache weiterzogen, liess die Frage, ob der BMB oder das EGG anwendbar sei, ebenfalls offen'nahm aber im Gegensatz zur 1. Instanz an, dass der Kaufvertrag der Parteien im einen wie im andern Falle bis zu seiner Aufhebung am 12. März 1953 in Kraft geblieben sei. Es verneinte daher eine Unverbindlichkeit des Aufhebungsvertrages wegen Irrtums und lehnte auch die Berufung des Klägers auf Übervorteilung ab. Die vereinbarte Loskaufsumme von Fr. 15'000.-- betrachtete das Gericht als Konventionalstrafe oder als Reugeld, das aus verschiedenen Gründen in Anwendung von Art. 163 Abs. 3 OR auf Fr. 5000.-- herabzusetzen sei. Aus diesen Erwägungen verpflichtete das Obergericht mit Urteil vom 26. November 1953 den Beklagten zur Rückerstattung von Fr. 10'000.-- an den Kläger.

E.- Gegen dieses Urteil erklärte der Beklagte die Berufung mit dem Antrag auf gänzliche Abweisung der Klage.

Der Kläger beantragt auf dem Wege der Anschlussberufung Schutz der Klage für den vollen Betrag von Fr. 15'000.--.

1. Beim Abschluss der Vereinbarung vom 12. März 1953 gingen beide Parteien von der Auffassung aus, dass der Kaufvertrag vom 29. Dezember 1952 noch in Kraft sei. Das war Grundlage der Vereinbarung, ohne die es dem Kläger so wenig hätte in den Sinn kommen können, eine Entschädigung für die Aufhebung des Vertrages zu leisten als dem Beklagten, eine solche zu fordern. War der Vertrag nicht mehr in Kraft, sei es mangels Genehmigungsfähigkeit gemäss BMB, sei es infolge Ausübung eines Vorkaufsrechtes gemäss EGG, so verpflichtete sich der Kläger unter dem Einfluss eines Irrtums im Sinne von Art. 24 Ziff. 4 OR. Wohl handelte es sich dabei um einen Rechtsirrtum, aber auch ein solcher ist im Sinne dieser Gesetzesbestimmung wesentlich, wenn er einen Sachverhalt betrifft, der nach Treu und Glauben Grundlage der Verpflichtung bildet, was bei gemeinsam vorausgesetzter notwendiger Grundlage unbestreitbar ist.

2. Für die Entscheidung über die Rechtsbeständigkeit des Kaufvertrages im Zeitpunkt der Vereinbarung vom 12. März 1953 fällt die Ausübung des Vorkaufsrechtes durch die Tochter des Verkäufers gemäss den Bestimmungen des EGG ausser Betracht, da nach der Rechtsprechung ( BGE 79 I 270Erw. 4) ein vor dem 1. Januar 1953 abgeschlossener Kaufvertrag dem EGG nicht unterliegt.

Es ist daher lediglich zu prüfen, ob der Kaufvertrag in Ansehung des BMB gültig war oder nicht. Die Vorinstanz hat die Gültigkeit bejaht, weil gemäss BGE 73 II 165 Erw. 4 lit. a die Genehmigung durch die Behörde nach BMB eine Bedingung sei, bis zu deren Nichteintritt, d.h. bis zur Verweigerung der Genehmigung, die Vertragsparteien gegenseitig gebunden bleiben. Infolge Wegfalls des Erfordernisses der Genehmigung durch die Aufhebung des BMB sei der Vertrag daher ohne diese verbindlich geblieben.

In BGE 79 I 272 wurde die Frage vorbehalten, ob das Erfordernis der Genehmigung für Verträge, über deren Genehmigung oder Nichtgenehmigung am 1. Januar 1953 noch nicht entschieden war, mit dem Ausserkrafttreten des BMB an diesem Datum dahingefallen sei, oder ob für sie die Genehmigung noch erforderlich sei, weil der Abschluss unter der Herrschaft des BMB massgebend bleiben müsse. Diese Frage ist unzweifelhaft im letzteren Sinne zu entscheiden. Der BMB ist zwar auf den 1. Januar 1953 dahingefallen kraft der Übergangsbestimmung von Art. 48 EGG, wonach alle diesem Gesetz widersprechenden Bestimmungen aufgehoben sind. Nachdem nun aber gemäss der Rechtsprechung das EGG auf Kaufverträge, die vor seinem Inkrafttreten abgeschlossen wurden, keine Anwendung findet, kann sich die Aufhebung des BMB auf diese nicht beziehen. Es gilt vielmehr der in Art. 1 SchlT ZGB niedergelegte allgemeine Rechtsgrundsatz, dass die vor dem Inkrafttreten des neuen Gesetzes eingetretenen Tatbestände nach dem Recht zu beurteilen sind, das zur Zeit ihres Eintritts gegolten hat. Der von den Parteien unter der Herrschaft des BMB abgeschlossene Vertrag unterliegt somit weiterhin dem Genehmigungserfordernis.

Das eidgen. Justiz- und Polizeidepartement spricht allerdings in einem Kreisschreiben vom 12. Januar 1953 (Zeitschrift für Beurkundungs- und Grundbuchrecht 34 S. 114) die gegenteilige Auffassung aus. Dabei ging es aber wohl von der nunmehr durch die Rechtsprechung abgelehnten Voraussetzung aus, dass auf diese Tatbestände das EGG nach seinem Inkrafttreten rückwirkend anwendbar sei. Andernfalls hätte es sich doch wohl mit der Frage auseinandergesetzt, ob die bei Wegfall des Genehmigungserfordernisses nach BMB ohne Rückwirkung des EGG entstehende Lücke in der Wahrung des sowohl dem alten wie dem neuen Bodenrecht zu Grunde liegenden Schutzzweckes dem Willen des Gesetzgebers entspreche, und es hätte dies unmöglich bejahen können. Denn wie die 1. Instanz zutreffend bemerkt hat, widerspräche es jedem vernünftigen Sinn des Bodenrechts, wenn für intertemporale Fälle der vorliegenden Art weder die Schutzbestimmungen des alten noch jene des neuen Rechts anwendbar wären.

Diese Auffassung wird übrigens bestärkt durch die folgende Überlegung: Die grundlegende Bestimmung des BMB lag nicht in der Genehmigungsvorschrift, sondern in der Preisschranke, deren Beachtung die Behörde lediglich zu sichern hatte. Wenn Art. 42 BMB sich ausdrückt, dass Rechtsgeschäfte, die der Genehmigung bedürfen, ohne diese nichtig sind, so sind damit dieser Genehmigung nicht fähige Rechtsgeschäfte als nichtig bezeichnet. Darum könnte der genehmigungsunfähige Kaufvertrag - vorbehältlich der Rückwirkung des EGG - nicht Gültigkeit erlangen durch den Wegfall des Genehmigungsverfahrens. So betrachtet hätte die Genehmigung lediglich Verfahrenscharakter im Gegensatz zur materiellrechtlichen Preisschranke. Das steht nicht unbedingt in Widerspruch mit den Ausführungen in BGE 73 II 165, wonach die Vertragsparteien gegenseitig an den Vertrag gebunden sind bis zur Verweigerung der Genehmigung, die alsdann auf den Vertragsschluss zurückwirkt. Denn solange die Genehmigung offen stand, war es eine durch Treu und Glauben gebotene gegenseitige Pflicht der Parteien, sie nachzusuchen, so dass die Nichtigkeit sich insoweit als eine bedingte darstellte. Von einer solchen Treuepflicht kann jedoch nicht die Rede sein, wo den Vertragsparteien zum vorneherein klar war, dass die Genehmigung ausgeschlossen sei. So verhielt es sich aber gerade hier. Die Parteien waren einig, dass eine Genehmigung des Vertrages zu dem vereinbarten Kaufpreis nicht erhältlich wäre. Ein Gesuch um Genehmigung wäre somit sinnlos gewesen.

Die Vereinbarung vom 12. März 1953 hob daher einen Vertrag auf, der von Anfang an zur Unwirksamkeit verurteilt war.

3. Die Unverbindlichkeit der Vereinbarung vom 12. März 1953 infolge wesentlichen Irrtums ist daher zu bejahen. Das hat zur Folge, dass dem Kläger für die geleistete Zahlung von Fr. 15'000.-- ein Rückerstattungsanspruch aus ungerechtfertigter Bereicherung zusteht. Dass dieser Anspruch durch eine Schadenersatzpflicht des Klägers aus dem Gesichtspunkte von Art. 26 OR gemindert werde, behauptet der Beklagte in der Berufung mit Recht nicht. Denn entgegen der Ansicht der 1. Instanz kann nicht die Rede davon sein, dass der Kläger seinen Irrtum über die Rechtsbeständigkeit des Kaufvertrages deswegen seiner eigenen Fahrlässigkeit zuzuschreiben habe, weil er sich auf die vom Anwalt des Beklagten und vom Grundbuchamt vertretene Rechtsauffassung verliess, ohne selber einen Anwalt zu Rate zu ziehen.

Die Berufung des Beklagten erweist sich somit als unbegründet, während die Anschlussberufung auf Schutz der Klage im vollen Betrag von Fr. 15'000.-- gutzuheissen ist.

Die Anschlussberufung fordert Zins zu 5% seit dem 29. Dezember 1952. Wie um das Kapital, so ist der Beklagte auch um allfällige Anlagezinsen aus diesem ungerechtfertigt bereichert. Diese betragen aber nicht schlechthin 5% wie der gesetzliche Verzugszins. Da die Anschlussberufung bezüglich der Anlage wie der Zinsfrage überhaupt jeglicher Begründung ermangelt, kann ein Zins unter dem Gesichtspunkt der Bereicherung nicht zugesprochen werden. Hingegen ist ein Verzugszins zu 5% vom Datum der Weisung an ohne weiteres begründet.

Demnach erkennt das Bundesgericht:

1.- Die Berufung wird abgewiesen.

2.- Die Anschlussberufung wird gutgeheissen, das Urteil des Obergerichts des Kantons Thurgau vom 26. November 1953 wird aufgehoben und die Klage in dem Sinne geschützt, dass der Beklagte verurteilt wird, dem Kläger Fr. 15'000.-- nebst 5% Zins seit dem 30. April 1953 zurück zubezahlen.