A.- X. ist Eigentümer des in der Gemeinde Ingenbohl gelegenen sogenannten "Schiller-Areals". Zu diesem zählt auch die westlich der Badeanstalt der Gemeinde Ingenbohl gelegene sogenannte "Schillermatte" (Parzellen GB Nrn. 460 und 546), die südwestlich an den Vierwaldstättersee angrenzt und im Norden durch die Strasse Brunnen Gersau begrenzt wird.

Die ersten planerischen Massnahmen in der Gemeinde Ingenbohl gehen auf das Jahr 1965 zurück. Als erste Planung schuf die Gemeinde damals ein generelles Kanalisationsprojekt (GKP), das im wesentlichen noch heute gilt.

Die nach dem Inkrafttreten des GschG zunächst vorgesehene Aufnahme der Schillermatte in ein provisorisches Schutzgebiet nach dem BMR kam nicht zustande. Auf Einsprache des damaligen Eigentümers hin entliess der Regierungsrat am 29. Juli 1974 die Schillermatte aus der provisorischen Schutzzone. Dagegen setzte der Regierungsrat im Hinblick auf das Inkrafttreten des RPG am 17. Dezember 1979 in einer Verordnung über vorläufige Regelungen der Raumplanung (VzRPG; in der ursprünglichen Fassung vom 17. Dezember 1979) für die Gemeinde Ingenbohl eine vorläufige Bauzone fest. Zu dieser gehörte auch das Gebiet der Schillermatte.

Parallel zu den planerischen Massnahmen des Regierungsrats arbeitete man in der Gemeinde Ingenbohl am erstmaligen Erlass eines Zonenplans. Eine entsprechende Vorlage wurde am 27. April 1975 verworfen, diente indessen immerhin dem Regierungsrat als Grundlage für die erwähnte Abgrenzung der vorläufigen Bauzone. Ein neuer Entwurf für Zonenplan und Baureglement der Gemeinde Ingenbohl wurde 1981 öffentlich aufgelegt. Darin war vorgesehen, südlich der Strasse Brunnen Gersau maximal fünfgeschossige Hotelbauten nach Massgabe eines Quartiergestaltungsplanes zuzulassen.

B.- Bereits Ende der sechziger Jahre hatte der damalige Eigentümer des Schiller-Areals dem Regierungsrat ein Projekt für dessen Gesamtüberbauung zur Genehmigung unterbreitet. Der Regierungsrat hatte damals gegenüber dem auf der Schillermatte vorgesehenen Projektteil Hotelneubau grundsätzlich keine Bedenken geäussert, jedoch entschieden, über die Bewilligungserteilung könne erst aufgrund der Ausführungspläne für das Hotelbauvorhaben entschieden werden.

Während der Arbeiten am neuen Zonenplan bemühte sich X. weiter um die Erteilung einer Baubewilligung. Nachdem der Gemeinderat in einer Stellungnahme vom 6. September 1979 zum Vorprojekt "Hotel Schiller am See" auf die im Baureglementsentwurf vorgesehenen Bestimmungen, die namentlich einen Quartiergestaltungsplan verlangten, hingewiesen hatte, unterbreitete X. im Oktober 1979 einen Entwurf für einen solchen. Der Gemeinderat nahm dazu grundsätzlich positiv Stellung, verlangte allerdings eine Stellungnahme der Fachstelle für Natur- und Heimatschutz des Kantons. Diese gelangte zum Schluss, das Vorhaben sei an den Gesuchsteller zurückzuweisen. Das überarbeitete Quartiergestaltungsplanprojekt vom 11. September 1980 genehmigte der Regierungsrat am 23. Dezember 1980 mit dem Vorbehalt einer Genehmigung des weiteren (Detail-)Projekts und des ordentlichen Baubewilligungsverfahrens.

Gestützt auf den Beschluss des Regierungsrats vom 23. Dezember 1980 schrieb der Gemeinderat am 15. Januar 1982 das Baugesuch von X. für ein "Hotel Schiller am See mit Bootshafen" öffentlich aus. Über das Baugesuch wurde bisher nicht entschieden.

C.- Der 1981 öffentlich aufgelegte Zonenplanentwurf kam an der Gemeindeversammlung vom 18. Juni 1984 zur Beratung. Auf Antrag eines Bürgers wurde der Teil "Zone Schiller" südlich der Strasse Brunnen Gersau dem übrigen Gemeindegebiet zugewiesen. Der neue Zonenplan erwuchs mit dem Entscheid des Verwaltungsgerichts vom 23. April 1985 über eine von X. gegen die Zuweisung der Schillermatte zum übrigen Gemeindegebiet gerichtete Beschwerde in Rechtskraft.

D.- Am 18. Januar 1986 klagte X. beim Verwaltungsgericht des Kantons Schwyz gegen die Gemeinde Ingenbohl im wesentlichen mit dem Hauptantrag, es sei festzustellen, dass die Auszonung der Schillermatte eine materielle Enteignung darstelle. Mit Teilurteil vom 30. Juni 1987 wies das Verwaltungsgericht den Hauptantrag ab. Gegen dieses Teilurteil gelangte X. mit Verwaltungsgerichtsbeschwerde ans Bundesgericht. Das Bundesgericht bejaht das Vorliegen einer materiellen Enteignung und heisst die Verwaltungsgerichtsbeschwerde im Sinne der Erwägungen gut.

2. a) Das Verwaltungsgericht hat die Entschädigungspflicht hauptsächlich mit der Begründung abgelehnt, das konkrete Projekt, für welches der Beschwerdeführer um eine Baubewilligung nachgesucht habe, habe nicht den gesetzlichen Anforderungen genügt und sei daher nicht bewilligungsfähig gewesen. Das Gericht klärte lediglich ab, ob die beabsichtigten Hotelbauten hätten errichtet werden dürfen. Es beschäftigte sich hingegen nicht mit dem vom Beschwerdeführer am 1. Juli 1987 eingereichten Situationsplan, mit welchem dieser dartun wollte, dass die Parzelle unabhängig von der Bewilligungsfähigkeit des konkreten Bauprojekts überbaubar sei.

Dieser Ansatzpunkt ist unrichtig. Ob eine Eigentumsbeschränkung eine materielle Enteignung bewirkt, hängt nicht von der Bewilligungsfähigkeit eines konkreten Bauprojekts ab. Bei der Beantwortung der Frage nach dem Vorliegen einer materiellen Enteignung ist vielmehr zu prüfen, ob und wie weit durch die in Frage stehende Eigentumsbeschränkung das Recht zur baulichen Nutzung generell geschmälert wird. Bei dieser Prüfung kommt dem Umstand, dass ein bestimmtes, nicht bewilligungsfähiges Projekt vorliegt, für sich allein keine entscheidende Bedeutung zu.

Daraus ergibt sich, dass - entgegen der Auffassung des Verwaltungsgerichts - der Situationsplan vom 31. Juli 1987 (und zum Teil auch das Alternativprojekt, das am 17. November 1982 behandelt wurde) für die Beurteilung der Frage nach dem Vorliegen einer materiellen Enteignung durchaus von Belang ist. Daran ändert auch der von der Gemeinde erhobene Einwand nichts, der Beschwerdeführer habe dieses Argument in prozessual unzulässiger Weise vorgebracht. Das Verwaltungsgericht hätte die genannten Unterlagen nämlich ihrer Relevanz für die Bestimmung der Baulandqualität der Schillermatte wegen von Amtes wegen berücksichtigen müssen.

b) Das Verwaltungsgericht hat im angefochtenen Entscheid ausgeführt, gemäss seinem im Streit um den Zonenplan der Gemeinde Ingenbohl ergangenen Urteil vom 23. April 1985 stelle die Zuweisung der Schillermatte zum übrigen Gemeindegebiet eine Nichteinzonung im Sinne der bundesgerichtlichen Rechtsprechung dar. Da dieses Urteil nicht angefochten worden sei, dürfe an diesem Ergebnis nicht mehr gerüttelt werden.

Die Frage nach der Zulässigkeit einer Eigentumsbeschränkung ist von derjenigen nach deren enteignungsähnlicher Wirkung zu unterscheiden. Diese materiellrechtliche Unterscheidung spiegelt sich prozessrechtlich darin wider, dass die beiden Fragen in verschiedenen verwaltungsrechtlichen Streitverfahren beantwortet werden. Auf den zu beurteilenden Fall bezogen bedeutet dies, dass dem Urteil des Verwaltungsgerichts vom 23. April 1985 die Antwort auf die Frage, ob eine materielle Enteignung vorliegt, nicht abschliessend entnommen werden kann. Das Verwaltungsgericht konnte daher im angefochtenen Entscheid nicht einfach auf in diesem Urteil getroffene Feststellungen abstellen, sondern hätte die Frage nach dem Vorliegen einer materiellen Enteignung umfassend untersuchen müssen.

5. (Behandlung der Frage, ob eine Nichteinzonung oder eine Auszonung im Sinn der bundesgerichtlichen Rechtsprechung vorliegt.)

(a, b) (Für das GKP von 1965 und die kantonale Gesetzgebung bis 1979 Funktion der Baulandausscheidung verneint.)

c) Eine planerische Ausscheidung zwischen Bauland und Nichtbauland erfolgte in der Gemeinde Ingenbohl erstmals im Jahre 1979, als der Regierungsrat mit Wirkung auf den 1. Januar 1980 in der VzRPG eine vorläufige Bauzone festlegte, zu welcher auch die Schillermatte gehörte. Es fragt sich, ob damit eine den bundesgesetzlichen Anforderungen genügende raumplanerische Grundordnung geschaffen wurde und die spätere Einweisung der Schillermatte ins übrige Gemeindegebiet demnach als Auszonung zu behandeln ist.

aa) Das Verwaltungsgericht sieht in der vorläufigen Bauzone keine gesetzesgerechte Bauzone, da sie nur vorläufigen Charakter gehabt und das bei ihrem Erlass eingeschlagene Verfahren den Anforderungen des RPG (insbes. Art. 4 Abs. 2 RPG) nicht genügt habe. Die Gemeinde, die diese Auffassung teilt, führt zu deren Begründung in ihrer Vernehmlassung weiter an, der Regierungsrat habe in erster Linie die künftige Nutzungsplanung vor Schaden bewahren wollen; es sei jedoch weder in seiner Absicht noch in seiner Kompetenz gelegen, dadurch "gewissermassen wohlerworbene Überbauungsrechte zu begründen". Der Beschwerdeführer hält diese Auffassung für unrichtig. Er sieht in der vorläufigen Bauzone eine den Anforderungen des RPG genügende Baulandausscheidung.

bb) In der VzRPG sah der Regierungsrat für Gemeinden ohne rechtskräftige Zonenplanungen folgendes Regime vor: In zwei Gemeinden "bestimmt das Justizdepartement das weitgehend überbaute Gebiet" (§ 4 VzRPG). In den andern Gemeinden schied der Regierungsrat "als vorläufige Bauzone die in den Plänen ausgeschiedenen Gebiete" aus (§ 5 Abs. 1 VzRPG). Dabei bestimmte er für die Gemeinde Ingenbohl die vorläufige Bauzone "gemäss Plan vom 17. Dezember 1979, Massstab 1:2000 (Grundlage: Zonenplan Abstimmungsvorlage vom 27. April 1975)", d.h. nach der 1975 vom Volk verworfenen Zonenplanvorlage. Gemäss § 6 VzRPG dürfen in den vorläufigen Bauzonen "keine Bauten und Anlagen bewilligt werden, welche der künftigen Nutzungsordnung offensichtlich widersprechen".

cc) Die "vorläufige Bauzone" ist ein Begriff des Bundesrechts. Gemäss Art. 36 Abs. 3 RPG gilt, solange keine Bauzonen bestehen, das weitgehend überbaute Gebiet als vorläufige Bauzone; dies allerdings nur, wenn das kantonale Recht nichts anderes vorsieht. Das kantonale Recht kann somit selbst eine Regelung für die Ausscheidung vorläufiger Bauzonen aufstellen. Eine solche Ausscheidung hat der Regierungsrat des Kantons Schwyz mit dem Erlass der VzRPG vorgenommen. Dabei hat er die Grundstücke des Beschwerdeführers einer vorläufigen Bauzone zugewiesen.

dd) Bei der Beurteilung der Wirkung dieser vorläufigen Bauzone ist davon auszugehen, dass historisch Baubeschränkungen nach dem Vorbild von Planungszonen, d.h. lediglich negativ wirksame planerische Anordnungen im Vordergrund standen, wie sie der BMR vorsah (Botschaft zum RPG, BBl 1978 I S. 1034; EJPD/BRP, Erläuterungen zum Bundesgesetz über die Raumplanung, Bern 1981, N 11 zu Art. 36; vgl. § 6 VzRPG). Die vorläufigen Bauzonen müssen sich aber nicht in bloss negativ wirksamen Anordnungen erschöpfen (BGE 108 Ib 481 f.; HEINZ AEMISEGGER, Leitfaden zum Raumplanungsgesetz, Bern 1980, S. 126 f., EJPD/BRP, a.a.O., N 12 zu Art. 36), bestünde ihr Zweck nämlich lediglich in der Vermeidung von Präjudizierungen, hätte nicht neben der Planungszone das besondere Institut der vorläufigen Bauzone geschaffen werden müssen. Durch die vorläufige Bauzone soll den Kantonen vielmehr eine - wenn auch nur vorläufige - positive planerische Gestaltung ermöglicht werden (vgl. AEMISEGGER, a.a.O., S. 128). Der Regierungsrat des Kantons Schwyz hat denn auch mit der Ausscheidung zwar vorläufiger, nichtsdestoweniger aber eigentlicher Bauzonen einen positiv wirksamen planerischen Entscheid getroffen.

ee) In eine vorläufige Bauzone darf kein Land aufgenommen werden, das nicht den in Art. 15 RPG genannten materiellen Einzonungsvoraussetzungen genügt (EJPD/BRP, a. a. O., N 28 zu Art. 36): Die vorläufige Bauzone darf kein Land umfassen, das weder weitgehend überbaut ist, noch voraussichtlich innert 15 Jahren benötigt und erschlossen wird.

Diese Grenze hielt die vorläufige Bauzone der Gemeinde Ingenbohl ein. Indem sich der Regierungsrat an den Zonenplanentwurf 1975 hielt, bezeichnete er ungefähr dasselbe Gebiet als Bauland, das der Zonenplan 1984 heute umschliesst, ja er war sogar restriktiver.

ff) Die vorläufige Bauzone für die Gemeinde Ingenbohl, welcher die Grundstücke des Beschwerdeführers zugewiesen waren, scheint somit den Anforderungen von Art. 15 RPG zu genügen. Dennoch spricht gegen die Annahme einer Auszonung, dass über die definitive Zuweisung der in eine vorläufige Bauzone eingewiesenen Liegenschaften zu einer bundesrechtskonformen Bauzone erst mit der Ausarbeitung der definitiven Nutzungspläne und Zonenreglemente entschieden wird. Die Ausarbeitung der definitiven Nutzungspläne und Zonenreglemente fällt jedoch in den Zuständigkeitsbereich der Gemeinden. Diese sind zwar bei der ihnen obliegenden Ausarbeitung von Nutzungsplan und Zonenreglement wie der Regierungsrat an Art. 15 RPG gebunden, doch steht ihnen trotz der bereits erfolgten Ausscheidung vorläufiger Bauzonen ein erheblicher Ermessensspielraum zu (nicht publizierter Entscheid vom 30. Dezember 1983 i.S. K., E. 3).

Wie das Verwaltungsgericht zutreffend feststellt, genügte das bei Erlass der vorläufigen Bauzonen im Kanton Schwyz eingeschlagene Verfahren namentlich den demokratischen Anforderungen nicht, die das RPG an ein ordentliches Nutzungsplanverfahren stellt (Art. 4 RPG). Auch dies spricht wesentlich dagegen, die zu beurteilende Planungsmassnahme als Auszonung zu behandeln.

Obwohl die vorläufige Bauzone, in welcher sich das Grundstück des Beschwerdeführers befand, materiell den Anforderungen zu genügen scheint, die das Bundesrecht an eine vorläufige Bauzone stellt, ist somit wegen des Erlasses dieser vorläufigen Bauzone durch einen anderen als den letztlich für die Nutzungsplanung zuständigen Planungsträger und der demokratischen Defizite des Erlassverfahrens vom Fehlen einer den bundesrechtlichen Anforderungen genügenden Bauzone auszugehen. Der vorliegend zu beurteilende Fall stellt sich daher nach der bundesgerichtlichen Terminologie als Nichteinzonungsfall dar.