A.- Die am 22. Mai 1930 verstorbene Witwe Katharina D. hinterliess ihren neun Kindern als Hauptaktivum ein Wohnhaus in Herisau. Ein Sohn, Louis, verzichtete auf seinen Erbanspruch. Die übrigen acht Kinder übernahmen gemäss amtlichem Teilungsakt vom 23. Juli 1930 das Haus zum Anrechnungswert von Fr. 12'000.--, der der Grundpfandbelastung entsprach, gemeinsam und sind seither im Grundbuch als Gesamteigentümer der Liegenschaft eingetragen.

In dem Hause verblieb nach dem Tode der Mutter nur die Tochter Ida. Sie verwaltete es seither selbstständig, ohne Mitwirkung der Miterben, indem sie Wohnungen vermietete, die Hypothekarzinsen bezahlte, Reparaturen ausführen liess usw.

Am 7. Februar 1932 stellte ihr der Bruder Gottlieb D. die folgende, von Paul, in der Folge auch von Hans, Mina und Aline mitunterzeichnete Erklärung aus:

"Unterzeichnete bescheinigen, dass wir mit dem Verkauf unserem gemeinsamen Elternhaus Wilen 906 mit dem Betrag von Fr. 14'000.-- Vierzehntausend Fr. an Ida D. einverstanden sind, unter dem Vorbehalt dass das Haus für Ihren persönlichen Zwek verwendet wird, und nicht als spekulations Obiekt benüzt wird."

Einige Jahre später unterschrieb auch Albert E. dieses Dokument. Gestützt darauf bezahlte Ida D. den sieben Miterben die Differenz zwischen dem früheren und dem neuen Anrechnungswerte, Fr. 2000.-- mit je 1/8 = Fr. 250.--, zusammen Fr. 1750.--, aus.

Im Frühjahr 1954 bezog Paul D., von Zürich nach Herisau zurückgekehrt, in dem von Ida D. verwalteten Haus eine Wohnung; er bezahlte der Schwester monatlich Fr. 70.-, nach seiner Darstellung nicht als Mietzins, sondern als Beitrag an die Hypothekarzinsen und an den Unterhalt des Hauses. Infolge von Streitigkeiten kündigte Ida D. im August 1956 dem Bruder die Wohnung und verlangte seine Ausweisung; er zog dann freiwillig aus.

B.- Nach diesen Vorfällen erhoben die Brüder Gottlieb und Paul D. im Januar 1957 gegen Ida Klage mit den Begehren,

1. die Beklagte habe das Gesamteigentum der acht Geschwister an der Liegenschaft laut Grundbucheintrag anzuerkennen,

2. die Beklagte sei nicht mehr berechtigt, die Liegenschaft zu verwalten, da sie dazu unfähig sei,

3. die Mietzinszahlungen von Ida und Paul D. seien bis zur Abklärung von Ziff. 1 gerichtlich zu deponieren

4. die Beklagte habe über ihre Verwaltung seit der Teilung (23. Juli 1930) Rechnung abzulegen.

Unterm 29. März 1957 beantragte Ida D. Abweisung der Klage und widerklageweise Zusprechung des Alleineigentums an der Liegenschaft und Verpflichtung des Klägers Paul D. zur Zahlung von Mietzins, Heizungskosten und Genugtuung im Gesamtbetrage von rund Fr. 820.--. Für den Fall der Gutheissung der Hauptklage (Gesamteigentum aller Miterben) beanspruchte sie von den Klägern solidarisch Fr. 35 000.-- nebst Zins als Ersatz für ihre Aufwendungen sowie Entlastung von der Haftung für die auf dem Hause liegenden Grundpfandschulden.

C.- Nach Einleitung des Prozesses suchte Ida D. die Sache zu ihren Gunsten zu wenden, indem sie im April 1957 von den Geschwistern Albert, Alice, Hans, Mina und Aline Erklärungen ausstellen liess, wonach sie mit der Auflösung des Gesamteigentums und Übertragung der Anteile auf Ida einverstanden seien und den Anwalt Dr. R. zum Abschluss der bezüglichen Verträge und zur grundbuchlichen Behandlung der Angelegenheit ermächtigen und beauftragen. Da hierbei die Kläger Gottlieb und Paul D. fehlten, griff Ida auf die von diesen beiden Brüdern an erster Stelle und weitern vier Geschwistern unterzeichnete Erklärung vom 7. Februar 1932 betr. "Verkauf" des Hauses an Ida zurück, indem sie und die Schwester Alice S.-D. (USA) auf der Rückseite einer Fotokopie die Zusatzerklärung unterzeichneten, sie seien mit der umstehenden Vereinbarung seit jeher einverstanden gewesen und seien es heute noch (28. Juni/7. Juli 1957). Der Akt vom 7. Februar 1932 trug damit die Unterschriften aller acht Miterben.

D.- Nach "Beiladung" der fünf am Prozess nicht beteiligten Miterben hiess das Bezirksgericht Hinterland das Klagebegehren 1 - Anerkennung des Gesamteigentums der acht Miterben - gut, in der Erwägung, dass die sukzessive unterzeichnete Erklärung vom 7. Februar 1932 keinen Teilungsvertrag darstelle und keinen Anspruch der Ida D. auf das Alleineigentum begründe. Alle weitern Klage- und Widerklagebegehren - mit Ausnahme eines Nebenpunktes betr. Fr. 50.- Heizkosten - beschied das Bezirksgericht mit Nichteintreten oder Abweisung.

E.- Beide Parteien appellierten an das Obergericht. Die Beklagte und Widerklägerin anerkannte jedoch mehrere Dispositivpunkte des bezirrksgerichtlichen Urteils, insbesondere Disp. 1, nämlich die Feststellung, dass heute die Liegenschaft im Gesamteigentum aller acht Miterben steht. Sie beharrte aber auf dem Begehren, dass ihr Anspruch auf Übertragung des Alleineigentums an sie anzuerkennen sei.

Mit Urteil vom 23. November 1959 hat das Obergericht von Appenzell A.Rh. dieses Begehren gutgeheissen (Disp. 3), die Klagebegehren 2 und 4 abgewiesen (Disp. 1, 2), jegliche Ansprüche der Kläger gegen die Beklagte, zumal aus deren Besitz an der Liegenschaft und aus den Erbschaften von Vater und Mutter, verneint (Disp. 4), den Kläger Paul D. zur Zahlung von Fr. 174.20 für Mietzins verurteilt (Disp. 5) und ist auf das Eventual-Widerklagebegehren betr. die Fr. 35'000.-- nicht eingetreten (Disp. 6).

Die Begründung des Obergerichtes geht dahin, die Erklärung vom 7. Februar 1932 sei, wenn auch nur sukzessive von allen Miterben unterzeichnet, ein in Schriftform abgefasster Erbteilungsvertrag und daher auch in Bezug auf Übertragung von Grundeigentum gültig (BGE 47 II 251ff.,BGE 63 I 33). Der darin enthaltene Vorbehalt (Selbstbenutzung, Ausschluss von Spekulation) sei keine Bedingung im Sinne von Art. 151 OR, sondern höchstens eine "Vertragsbedingung", d.h. eine vertragliche Verpflichtung der Übernehmerin Ida D., an die diese sich übrigens gehalten habe. Es sei daher, trotz dem heute feststehenden Gesamteigentum, das Hauptbegehren der Widerklage zu schützen und zwar in der eventualiter beantragten Weise, dass die Widerbeklagten zur Anerkennung des bezüglichen Anspruchs und zur Mitwirkung bei der Grundbucheintragung verpflichtet werden, was richtiger sei als der - in der Lehre umstrittene - Weg der direkten gerichtlichen Anweisung an das Grundbuchamt. Die Einwendung der Kläger, das von ihnen mit der Erklärung vom 7. Februar 1932 ausgesprochene Einverständnis mit der Übertragung des Alleineigentums auf Ida D. sei verjährt, könne, weil offenbar rechtsmissbräuchlich, nicht geschützt werden.

F.- Gegen dieses Urteil legten die Kläger die vorliegende Berufung ein mit dem Antrag auf Gutheissung der Klage (unter Verzicht auf Ziff. 3 betr. Deponierung der Mietzinse) und gänzliche Abweisung der Widerklage.

Die Beklagte trägt auf Abweisung der Berufung an und verlangt anschlussweise,

a) Zusprechung des Alleineigentums mit direkter Anweisung an das Grundbuchamt,

b) event., bei Verneinung dieses Eigentumsanspruches, Rückweisung der Sache an die Vorinstanz zur Prüfung der Begehren auf Verwendungsersatz und Entlastung von der Haftung für die Grundpfandschulden.

1./2. .....

3. Die Vorinstanz hat die Widerklage der Ida D. auf Zuweisung des Alleineigentums an der Liegenschaft gutgeheissen gestützt auf die Erklärung vom 7. Februar 1932, in der sie einen sukzessive unterzeichneten, ungeachtet der Bezeichnung als "Verkauf" und des Vorbehalts der Selbstbenutzung gültig zustande gekommenen, auch für die Zuweisung der Liegenschaft genügenden Erbteilungsvertrag erblickt. Hierin kann der Vorinstanz nicht beigepflichtet werden.

a) Dass im Rahmen eines Erbteilungsvertrages gemäss Art. 634 Abs. 2 ZGB die Übertragung von Grundeigentum in einfacher Schriftform gültig vereinbart werden kann, trifft zu (BGE 47 II 251,BGE 63 I 33, BGE 83 II 367 /8). Voraussetzung ist aber selbstverständlich, dass ein von allen Beteiligten unterzeichneter Vertrag vorliege, aus dem sich der Wille zur Eigentumsübertragung an Erbschaftsliegenschaften - und wäre es auch im Sinne ihrer Ausscheidung aus der Erbmasse vor deren Teilung (Urteil vom 30. Juni 1960 i.S. Hitz c. Johner, nicht publ.) - eindeutig ergibt. Gerade angesichts der formellen Erleichterung nach Art. 634 Abs. 2 ZGB hat man es damit streng zu nehmen. In casu ist das Dokument vom 7. Februar 1932 offensichtlich kein Teilungsvertrag. Es enthielt ursprünglich nur die "Bescheinigung" von Gottlieb und Paul D., dass sie - unter Vorbehalten - mit dem Verkauf des Hauses an Ida D. um Fr. 14'000.-- einverstanden seien. War wirklich ein Verkauf gemeint, was unter Miterben ohne weiteres auch möglich ist, so war der "Vertrag" zum vornherein mangels öffentlicher Beurkundung (Art. 657 Abs. 1 ZGB, 216 Abs. 1 OR) ungültig. Enthielt dagegen die Erklärung der beiden ersten und der vier später hinzugekommenen Unterzeichner den Willen zur Erbteilung im Sinne der Übereignung des Hauses an Ida D., so wäre er erst mit der Unterzeichnung der beiden letzten Miterbinnen, Alice S.-D. und Ida D., also im Juni/Juli 1957 perfekt geworden. Deren Unterzeichnung aber konnte den Konsens aller Beteiligten nicht mehr herbeiführen, weil inzwischen die Erstunterzeichner Gottlieb und Paul D. bereits die vorliegende Klage auf Feststellung erhoben hatten, es habe keine Übertragung des Alleineigentums auf Ida stattgefunden, womit sie unmissverständlich bekundeten, dass sie jetzt - und schon längst - mit der Übertragung an Ida nicht mehr einverstanden waren. Ihre Einrede gegenüber der Widerklage, ihre Zustimmung von 1932 bzw. der von der Widerklägerin darauf gestützte Anspruch auf die Übereignung sei längst verjährt, ist daher nicht rechtsmissbräuchlich, wie die Vorinstanz annimmt. Freilich handelt es sich nicht um Verjährung. Die Willenserklärung der Kläger vom 7. Februar 1932 und der vier späteren Mitunterzeichner blieb, solange der unterschriftliche Konsens der beiden Miterbinnen und -eigentümerinnen noch ausstand, ein blosser Antrag (Offerte) zum Vertragsabschluss im Sinne von Art. 3 ff. OR, an den nach Art. 5 OR unter Abwesenden der Antragsteller eine gewisse Zeit gebunden blieb, aber auf keinen Fall 25 Jahre lang (1932 bis 1957). Es kann also keine Rede davon sein, dass die Beklagte nach dieser Zeitspanne, nach dem inzwischen Vorgefallenen und nach der Klageerhebung von Gottlieb und Paul D., auf das obsolete Papier von 1932 habe zurückgreifen, die Kläger bei ihrem damaligen Einverständnis behaften und den Teilungsvertrag entgegen deren jetzigem Willen noch zum Abschluss bringen können.

b) Selbst wenn aber der Teilungsvertrag formell gültig zustande gekommen wäre, würde er inhaltlich nicht dazu taugen, den Anspruch auf Eigentumsübertragung zu begründen. Grundeigentum kann nur mit denjenigen Vormerkungen von persönlichen Rechten oder Verfügungsbeschränkungen eingetragen werden, die im Gesetz ausdrücklich vorgesehen sind (Art. 959/960 ZGB). Der Vorbehalt, dass die Erwerberin das Haus für ihre persönlichen Zwecke und nicht als Spekulationsobjekt benütze, ist freilich - wie die Vorinstanz zutreffend bemerkt - keine Bedingung im Sinne von Art. 151 OR, wohl aber eine "Vertragsbedingung", eine zum Vertragsinhalt gehörende Klausel (vgl. VON TUHR/SIEGWART OR, § 84 I). Sie würde, wenn rechtsgültig, eine äusserst schwerwiegende, geradezu unsittliche Eigentumsbeschränkung darstellen, indem sie die Erwerberin daran hinderte, ihr Haus je zu vermieten oder zu verkaufen, und zwar schlechthin, nicht etwa mit Rücksicht auf ein Rück- oder Vorkaufsrecht der andern Erben, wovon nirgends die Rede ist. Vielleicht hatten die Kläger die Absicht, mit diesem Vorbehalt sich für den Fall des Vorversterbens der Schwester Ida ihre Erbanwartschaft auf das Haus zu sichern. Aber auch davon sagt die "Bescheinigung" nichts, und es macht eher den Anschein, dass die Kläger mit dieser - in Briefform an Ida D. gerichteten - Erklärung überhaupt noch keine vertragliche Bindung eingehen, sondern lediglich der Schwester im Hinblick auf künftige Verhandlungen unter allen Erben einstweilen mitteilen wollten, unter welchen Vorbehalten sie einer Abtretung des Hauses zustimmen würden (vgl. BGE 84 II 421 ff.).

Mit diesem Vorbehalt könnte die Eigentumsübertragung niemals im Grundbuch eingetragen werden. Ebensowenig könnte man, wie es die Vorinstanz in ihrem Urteilsdispositiv tut, den Vorbehalt einfach ignorieren und der Beklagten das Alleineigentum ohne jede Beschränkung zusprechen; denn es handelt sich nicht um unwesentliche Nebenpunkte, sondern um eine sehr empfindliche Eigentumsbeschränkung. Deren rechtliche Unzulässigkeit müsste die Ungültigkeit des ganzen Vertrags nach sich ziehen, wenn er überhaupt formell zustande gekommen wäre.

Der Berufungsantrag auf Abweisung des Hauptbegehrens der Widerklage ist daher gutzuheissen.

4.-6. - .....

7. Eventualiter - für den nun eintretenden Fall der Abweisung ihres Hauptbegehrens - beantragt die Anschlussberufungsklägerin Rückweisung der Sache an die Vorinstanz zum Entscheid über ihr Begehren auf Schadenersatz in der Höhe von Fr. 35'000.-- und Entlastung von der Haftung für die Grundpfandschulden. Die Forderung wird damit begründet, die Beklagte habe für Erhaltung und Verbesserung der Liegenschaft grosse Aufwendungen gemacht und den sieben Miterben die Wertdifferenz mit je Fr. 250.-- = total Fr. 1750.-- bezahlt, beides im guten Glauben, das Haus gehöre ihr.

Diese Forderung ist zur Zeit offensichtlich unbegründet. Mit dem Entscheid, dass die Widerklägerin heute, mangels eines für die Eigentumsübertragung gültigen Teilungsvertrages, keinen Anspruch auf Zuweisung des Grundstückes zu Alleineigentum hat, ist ihr der Besitz und die Nutzung desselben nicht entzogen und nicht festgestellt, dass ihr das Grundstück nicht bei der Teilung ohne Gegenleistung von ihrer Seite zufallen werde. Sie kann, falls darüber keine Einigung erfolgt, jederzeit die Teilung verlangen (Art. 604 ZGB) und dabei, falls ihre bisherige Sachdarstellung zutrifft, beweisen, dass sie Anspruch auf Zuteilung der Liegenschaft oder auf Ersatzleistung der übrigen Miterben für Zahlungen und Aufwendungen hat. Solange die Teilung nicht erfolgt und nicht entschieden ist, ob ihr das Haus zufalle oder nicht, fehlt jede Grundlage für Ersatzansprüche (vgl.BGE 71 II 23E. 2). Diese Abrechnung gehört in den Rahmen der Teilung und kann nicht vorausgenommen werden. Die Anschlussberufung ist mithin gänzlich abzuweisen.

Demnach erkennt das Bundesgericht:

In teilweiser Gutheissung der Hauptberufung wird Disp. 3 des angefochtenen Urteils des Obergerichts des Kantons Appenzell A.-Rh., 1. Abteilung, vom 23. November 1959 aufgehoben und der Anspruch der Widerklägerin auf Zusprechung des Alleineigentums an der Liegenschaft Schulhausstrasse 25, Kat. 1464 Herisau abgewiesen.

Im übrigen wird die Hauptberufung, ebenso die Anschlussberufung, abgewiesen und das angefochtene Urteil in Disp. 1, 2, 4, 5 und 7 bestätigt.