A.- In Anwendung von Art. 36 des Nationalstrassengesetzes (NSG) und von § 10 des kantonalen Meliorationsgesetzes vom 27. Oktober 1960 (MelG) hat der Regierungsrat des Kantons Zug am 4. April 1966 die Begründung des Unternehmens "Gesamtmelioration Ennetsee" mit dem Zwecke des für den Bau der Nationalstrassen N 4 und N 14 in den Gemeinden Risch, Hünenberg und Cham erforderlichen Landerwerbs angeordnet. Entsprechend § 10 Abs. 2 MelG wurde die Leitung des Unternehmens einer Ausführungskommission übertragen, deren Befugnisse und Organisation in einem Reglement des Regierungsrates vom 4. April 1966 festgelegt wurden. Das Meliorationsgesetz wurde vom Regierungsrat durch eine Vollziehungsverordnung vom 19. Oktober 1964, die sog. Bodenverbesserungsverordnung, ergänzt.

B.- Landwirt Walter Wyttenbach ist Eigentümer des in Holzhäusern gelegenen Katharinenhofes, der innerhalb des Perimeters der Melioration liegt. Die obgenannte Ausführungskommission führte vom 17. November bis 1. Dezember 1969 das Auflageverfahren durch. Nach dem Neuzuteilungsentwurf hatte Wyttenbach namentlich seine Parzelle Nr. 486 jenseits der Strasse Holzhäusern-Buonas - enthaltend eine alte Scheune, eine Sennhütte (Remise) und eine Quelle - abzutreten gegen neues Land diesseits der Strasse, wo sich das Bauernhaus und der Hauptteil des Hofes befinden. Der Hof veränderte sich letztlich von 279 799 m2 (Fr. 198 332.--) auf 283 480 m2 (Fr. 198 191.--), die Schätzung offenbar ohne Einbezug des Wertes von Gebäuden und Quelle.

Wyttenbach erhob gegen den Neuzuteilungsentwurf Einsprache und verlangte für die Scheune und Remise auf Parzelle Nr. 486 eine Entschädigung, die er 1971 auf Fr. 172 000.-- bezifferte. Gestützt auf einen von der kantonalen Liegenschaftsschätzungskommission ermittelten Ertragswert von Fr. 23 000.-- bot ihm die Ausführungskommission am 11. Januar 1972 eine Entschädigung von Fr. 27 000.-- an, die sie am 16. Mai 1972 auf Fr. 40 000.-- erhöhte. Wyttenbach beantragte darauf vor der kantonalen Bodenverbesserungskommission, es sei zur Festsetzung seiner Entschädigungsansprüche das Enteignungsverfahren einzuleiten; eventuell sei ihm eine Entschädigung von Fr. 202 000.-- (inbegriffen Fr. 30 000.-- für die Quelle) zuzusprechen. Von dieser Kommission abgewiesen, stellte er mit Beschwerde beim Regierungsrat des Kantons Zug dieselben Anträge und verlangte zudem einen Zins von 5% seit Besitzesantritt.

Mit Entscheid vom 24. September 1973 wies der Regierungsrat die Beschwerde ab, wobei er seine Kognition gemäss § 15 Abs. 4 MelG und § 30 der Bodenverbesserungsverordnung auf Rechtsverletzung und Willkür beschränkte. Unter Bezug auf BGE 97 I 717 f. erwog er, dass das kantonale Recht die Ausführungskommission ermächtige, die im vorliegenden Fall verlangten Entschädigungen im Rahmen des Landumlegungsverfahrens zu beurteilen; die Voraussetzungen zur Anwendung von § 10 Abs. 5 MelG seien nicht gegeben. Bezüglich des Betrages der Entschädigung hielt der Regierungsrat fest, die von der Ausführungskommission und der Bodenverbesserungskommission vorgenommenen Schätzungen der beiden fraglichen Gebäude seien nicht willkürlich. Das Begehren um Entschädigung für die Quelle prüfte er wegen Verspätung nicht.

C.- Mit Verwaltungsgerichtsbeschwerde verlangt Wyttenbach unter Bezug auf Art. 23 der Vollziehungsverordnung zum NSG (VV-NSG) sowie § 10 Abs. 5 MelG die Aufhebung des regierungsrätlichen Entscheides und die Einleitung des Enteignungsverfahrens; eventuell sei der Kanton Zug zur Bezahlung der vor dem Regierungsrat verlangten Entschädigung nebst Zins zu 5% seit Besitzeinweisung zu verurteilen. Die Begründung ergibt sich, soweit erforderlich, aus den Erwägungen. - Die Baudirektion des Kantons Zug beantragt die Abweisung der Beschwerde.

1. Die Beschwerde ist form- und fristgerecht eingereicht. Sie ist, da die Verweigerung der Einleitung eines Enteignungsverfahrens durch den Regierungsrat eine letztinstanzliche kantonale, sich auf Bundesrecht stützende Verfügung darstellt (Art. 97 Abs. 1 und Art. 98 lit. g OG) und da keine Ausnahme nach Art. 99 bis 102 OG vorliegt, in ihrem Hauptantrag als Verwaltungsgerichtsbeschwerde zulässig.

Dies ist beim Eventualantrag, der das Bundesgericht um Überprüfung des von den kantonalen Behörden angebotenen Entschädigungsbetrages ersucht, nicht der Fall. Diese Entschädigung ist nämlich nach kantonalem Recht bestimmt worden - wie es geboten ist, wenn kein Anlass besteht, kraft Art. 23 VV-NSG das Enteignungsverfahren einzuleiten. Diesbezüglich hätte also der regierungsrätliche Entscheid nur mit staatsrechtlicher Beschwerde angefochten werden können (BGE 97 I 718 oben). Wenn infolge Abweisung des Hauptbegehrens auf den Eventualantrag eingetreten werden müsste, könnte die vorliegende Beschwerde nur als staatsrechtliche Beschwerde behandelt werden. Dies wäre durch eine Umwandlung möglich, erübrigt sich hier aber, weil der Hauptantrag gutzuheissen ist.

2. Art. 30 Abs. 1 NSG lässt den zur Landbeschaffung verpflichteten Kantonen grundsätzlich die Wahl zwischen dem Landumlegungs- und dem Enteignungsverfahren, sofern ein freihändiger Erwerb ausser Betracht fällt; Art. 30 Abs. 2 NSG räumt der Landumlegung allerdings einen gewissen Vorrang ein. Die Landumlegung untersteht grundsätzlich dem kantonalen Recht - unter Vorbehalt der Vorschriften von Art. 31 Abs. 2 NSG. Das Enteignungsverfahren unterliegt dagegen kraft Art. 39 NSG Bundesrecht. Wenn der Kanton sich für das Landumlegungsverfahren entschliesst, so können doch enteignungsähnliche Tatbestände entstehen, namentlich wo Abzüge von dem im Verfahren erfassten Grundeigentum vorgenommen werden müssen (Art. 31 Abs. 2 lit. b NSG) oder wo ein Gebäude zu entfernen ist. Aus diesem Grunde ermächtigt Art. 21 VV-NSG die Kantone, für die Schätzung des Verkehrswertes die Anwendung des eidg. Enteignungsgesetzes vorzuschreiben und aus dem gleichen Grunde verlangt Art. 23 VV-NSG die Einleitung des Enteignungsverfahrens von Amtes wegen oder auf Antrag des Grundeigentümers, wenn das Landumlegungsverfahren dessen berechtigten Ersatzansprüchen offensichtlich nicht zu genügen vermag.

Bei den aufgeführten Bestimmungen ist die Abgrenzung des Anwendungsgebietes von Bundes- und kantonalem Recht heikel. Im Jahre 1971 hat sich das Bundesgericht dreimal mit diesem Problemkreis befasst und dazu stufenweise eine Praxis entwickelt (vgl. BGE 97 I 181 ff., 717 f., 721 ff). In BGE 97 I 721 f. wurde insbesondere ausgeführt, dass in jenen Fällen, wo es sich nicht um unbebautes Land handelt, sondern wo wegen des Nationalstrassenbaus Gebäude beseitigt werden müssen, das Landumlegungsverfahren dem betroffenen Eigentümer oft nicht den gleichen Schutz biete wie das Enteignungsverfahren; das Landumlegungsverfahren sei aber dennoch anwendbar, sofern die kantonalen Bestimmungen die Beseitigung von Gebäuden ausdrücklich vorsähen und die Bemessung der entsprechenden Entschädigungsansprüche sowie das Verfahren hiezu klar und vollständig regelten.

In einem neueren Entscheid (BGE 99 Ia 498 ff. Erw. 4 c) hat das Bundesgericht die bisherige Praxis zusammengefasst und verdeutlicht. Es erklärt hier, dass die in BGE 97 I 721 ff. bezüglich eines abzureissenden oder zu versetzenden Hauses entwickelten Grundsätze allgemeine Geltung hätten und stellt zwei kumulative Bedingungen dafür auf, dass die Einleitung des Enteignungsverfahrens trotz Art. 23 VV-NSG verweigert werden dürfe (S. 500): Verfahrensrechtlich muss jeder Eigentümer kraft kantonalen Rechts die Möglichkeit haben, im Rahmen der Landumlegung seine Entschädigungsansprüche gegenüber dem als Mitglied des Unternehmens und als Enteigner betrachteten Kanton geltend zu machen; materiell ist erforderlich, dass die mit der Landumlegung betrauten Behörden für die Schätzung zu Art. 19 EntG analoge Regeln anwenden.

3. Im vorliegenden Fall geht ein Mitglied des Landumlegungsunternehmens zweier Gebäude und einer Quelle verlustig; es handelt sich also seiner Natur nach um einen Enteignungsfall. Nun vermag die zugerische Gesetzgebung den in BGE 99 Ia 500 bestätigten Anforderungen für eine Vermeidung des Enteignungsverfahrens in keiner Weise zu genügen, wie das Bundesgericht schon in BGE 97 I 722 f. E. 2 b festgestellt hatte.

a) In seinem Entscheid ruft der Regierungsrat zur Stützung seiner gegenteiligen Auffassung Gesetzesbestimmungen an, die gar nicht massgeblich sind. Er nennt als erstes § 2 Abs. 2 MelG, wonach die Gesamtmelioration alle Massnahmen umfasst, die als Bodenverbesserungen im Sinne des Landwirtschaftsgesetzes in Betracht fallen, einschliesslich die Zusammenlegung von landwirtschaftlich genutztem Boden, Bau- und Waldgebiet. Diese offensichtlich für die ordentliche Landumlegung geschaffene Bestimmung hat indessen nichts mit dem Fall des Eigentümers zu tun, der im Zusammenhang mit dem Nationalstrassenbau ein Gebäude verliert.

Der Regierungsrat hebt weiter hervor, nach § 8 Abs. 1 des Reglementes über die Gesamtmelioration Ennetsee habe die Ausführungskommission alle Kompetenzen, die gemäss Bodenverbesserungsverordnung dem Genossenschaftsvorstand zuständen. Er führt aber keine Vorschrift dieser Verordnung an, die dem genannten Vorstand die Befugnis zum Entscheid über die Enteignung eines Gebäudes gäbe und die in dieser Hinsicht materielle Regeln enthielte, die den Grundsätzen von Art. 19 EntG entsprächen. Eine solche Bestimmung fehlt nicht nur, sondern nach § 24 Abs. 2 der Bodenverbesserungsverordnung hat der Genossenschaftsvorstand bezüglich aller Einsprachen ausdrücklich keine Entscheidungsbefugnis, denn er hat - wenn die Verständigungsversuche seines Präsidenten gescheitert sind - die Einsprachen zum Entscheid an die Bodenverbesserungskommission zu leiten (§ 28).

b) Der Regierungsrat argumentiert ferner damit, dass es nach § 15 Abs. 1 MelG der Bodenverbesserungskommission zustehe, über die Einsprachen gegen die Ausführungsprojekte, die "Bewertungen, die Abschätzungen und die Kostenverteilung" zu befinden. Hierin läge möglicherweise eine Kompetenznorm für die Enteignungsfälle, obschon die Bestimmung eher die blossen Abschätzungen des alten und neuen Besitzstandes zu betreffen scheint. Jedoch enthalten jedenfalls weder das Meliorationsgesetz noch seine Vollziehungsverordnung eine materielle Bestimmung, die Art. 19 EntG entspräche. Daraus ist zu folgern, dass der kantonale Gesetzgeber nicht daran gedacht hat, dass ein Enteignungsfall sich im Rahmen der Landumlegung erledigen liesse. Nach der Rechtsprechung hätte er letzteres ausdrücklich und klar vorsehen müssen, damit die Anwendung von Art. 23 VV-NSG entfallen könnte.

c) Dieser Schluss wird bestätigt durch den § 10 Abs. 5 MelG, den der Beschwerdeführer - in Übereinstimmung mit BGE 97 I 723 - anruft. Nach dieser Bestimmung, welche auf die vom Regierungsrat im Zusammenhang mit dem Bau öffentlicher Werke angeordneten Landumlegungen anwendbar ist, kann der Eigentümer die Einleitung des Enteignungsverfahrens verlangen, wenn das Landumlegungsverfahren seinen berechtigten Ersatzansprüchen offensichtlich nicht zu genügen vermag. Zur Ausschaltung dieser Regel im vorliegenden Fall macht der Regierungsrat geltend, die Neuzuteilung des Landes sei gleichwertig und habe dem Beschwerdeführer letztlich volle Befriedigung verschafft. Er gibt sinngemäss jedoch selber zu, dass dies nur für die Liegenschaft selbst und nicht auch für die Gebäudeentschädigung gelte. Nun ist es gerade die letztere, welche streitig ist und kraft Art. 23 VV-NSG und § 10 Abs. 5 MelG die Einleitung des Enteignungsverfahrens rechtfertigt. Wenn sich § 10 Abs. 5 MelG nicht auf einen Fall wie den vorliegenden anwenden liesse, wäre schwer einzusehen, welchen Sinn die Bestimmung noch haben könnte.

4. Es bleibt die Frage, bis zu welchem Stadium des Umlegungsverfahrens sich der Grundeigentümer noch auf Art. 23 VV-NSG berufen darf. Da indessen hier der Beschwerdeführer damit nicht ungebührlich lange zugewartet hat, kann die grundsätzliche Frage offen gelassen werden. Auch wenn er sich auf ein langes Verfahren vor dem Präsidenten der Ausführungskommission der Gesamtmelioration Ennetsee eingelassen hat, so war dies doch bloss ein Verständigungsverfahren (§ 24 Abs. 1 Bodenverbesserungsverordnung), wo sich allenfalls die zwischen den Parteien hängigen Streitpunkte etwas vereinfachen liessen. Hingegen hat der Beschwerdeführer, als er sich an die entscheidende Instanz - die Bodenverbesserungskommission (§ 15 MelG) - wandte, sogleich die Einleitung des Enteignungsverfahrens verlangt.

5. Somit ist der Beschwerdeführer berechtigt, die Einleitung des Enteignungsverfahrens zu verlangen. Wie in BGE 99 Ia 500 (Erw. 4 am Ende) festgehalten, wird die Eidg. Schätzungskommission allfällige Vergütungen, die er bereits im Landumlegungsverfahren erhalten haben könnte, mitberücksichtigen müssen.

Da das Hauptbegehren des Beschwerdeführers gutzuheissen ist, wird sein Eventualbegehren gegenstandslos und es ist hierauf nicht einzutreten.

Demnach erkennt das Bundesgericht:

Die Beschwerde wird in ihrem Hauptantrag gutgeheissen, was den Eventualantrag gegenstandslos werden lässt, und der Entscheid des Regierungsrats des Kantons Zug vom 24. September 1973 wird aufgehoben. Der Regierungsrat des Kantons Zug wird angewiesen, die Akten der Eidg. Schätzungskommission des 9. Kreises zu übermitteln, die sich mit den Entschädigungsforderungen zu befassen hat.