A.- Die Kantone Basel-Stadt und -Landschaft sind übereingekommen, gemeinsam eine Prüfungsstelle für Kraftfahrzeuge zu errichten. Nachdem mehrere Standorte - unter anderem ein Gelände beim Parkplatz St. Jakob und im "Rankhof" in Basel, ein solches in Birsfelden ("Hagnau") und ein weiteres an der Brüglingerstrasse in Münchenstein - sich als ungeeignet erwiesen hatten, nahmen die Kantone die Parzelle Nr. 2288 in der "unteren Wanne" in Münchenstein für das Werk in Aussicht. Das Grundstück liegt gemäss dem Zonenplan der Gemeinde Münchenstein zur Hauptsache in der Zone 3, in der laut § 16 des Zonenreglementes der Gemeinde (ZRM) lediglich Wohnbauten (mit höchstens drei Geschossen) und nicht störende Gewerbebetriebe zugelassen sind. Die geplante Prüfungsstelle erfüllt nach Ansicht der Baubewilligungsbehörden diese Voraussetzungen nicht. Im Hinblick darauf veranlasste die Baudirektion des Kantons Basel-Landschaft den Gemeinderat von Münchenstein, der Einwohnergemeindeversammlung eine Änderung des Zonenplanes im Sinne der Schaffung einer Zone für öffentliche Werke in der "unteren Wanne" vorzuschlagen. Die Gemeindeversammlung lehnte diesen Antrag jedoch mit grosser Mehrheit ab.

Ungeachtet dessen reichten die Kantone Basel-Stadt und -Landschaft das Baugesuch ein. Max Kolter und Christoph Ühlinger, deren Grundstücke Reinacherstrasse 20 und 24 rund 100 bis 200 m von dem in Aussicht genommenen Bauplatz entfernt sind, erhoben mit weiteren Grundeigentümern und dem Gemeinderat von Münchenstein gegen das Bauvorhaben Einsprache. Die Baudirektion des Kantons Basel-Landschaft fand diese unbegründet. Die Einsprecher zogen den ablehnenden Entscheid an den Regierungsrat weiter, der die Beschwerden abwies. Kolter, Ühlinger und der Gemeinderat von Münchenstein beschwerten sich hierüber beim Verwaltungsgericht. Dieses hat die Beschwerden am 26. August 1964 gleichfalls abgewiesen. Es hat dabei erkannt, das Bauvorhaben sei an sich mit dem Zonenplan und dem Zonenreglement der Gemeinde Münchenstein unvereinbar. Das schliesse indessen die Erteilung der Baubewilligung nicht aus. Die Prüfung der Motorfahrzeuge sei eine Aufgabe, die den Kantonen kraft Bundesrechts obliege. Es sei nicht zu umgehen, dass der Kanton für die Prüfungsanlage das Hoheitsgebiet irgend einer Gemeinde in Anspruch nehmen müsse. Das setze den Bestand zwingenden kantonalen Rechts voraus, das dem Gemeindebaurecht vorgehe. Die sachliche Dringlichkeit des Bauvorhabens sei augenscheinlich; es liege insofern ein qualifiziertes öffentliches Interesse vor. Die Voraussetzungen für eine Enteignung wären jedenfalls vorhanden. Der Standort sei sorgfältig gewählt worden. Wenn das Werk am vorgesehenen Platz errichtet werde, so habe das für die Gemeinde und die Liegenschaften der andern Beschwerdeführer keine nachteiligen Folgen.

B.- Kolter und Uehlinger führen staatsrechtliche Beschwerde mit den Anträgen, es sei der Entscheid des Verwaltungsgerichts aufzuheben und die Einsprache der Beschwerdeführer gegen das Baugesuch der Kantone Basel-Stadt und -Landschaft zu schützen; allenfalls sei die Sache an das Verwaltungsgericht zurückzuweisen, damit es das Baugesuch im Sinne der Erwägungen des Bundesgerichts abweise. Die Beschwerdeführer beklagen sich über eine Verletzung von Art. 4 BV, der Eigentumsgarantie und der Gemeindeautonomie. Die Regierungsräte der Kantone Basel-Stadt und -Landschaft schliessen, auf die Beschwerde sei nicht einzutreten, allenfalls sei sie abzuweisen.

I.1.- Die staatsrechtliche Beschwerde wegen Verletzung verfassungsmässiger Rechte der Bürger ist im Regelfalle rein kassatorischer Natur (BGE 90 I 21 Erw. 1, 116 Erw. 1, 348). Anderes gilt, wenn der Verfassungsstreit nicht schon mit der Aufhebung der angefochtenen Verfügung, sondern erst mit der Setzung einer neuen verfassungsmässigen Anordnung beendet ist, in welchem Falle das Bundesgericht der kantonalen Behörde verbindliche Anweisungen über den zu setzenden Akt geben kann (GIACOMETTI, Die Verfassungsgerichtsbarkeit des Schweizerischen Bundesgerichtes, S. 201 und 245 f.). Das Bundesgericht kann in diesem Sinne eine kantonale Behörde anhalten, eine in verfassungswidriger Weise verweigerte Polizeierlaubnis, insbesondere eine Baubewilligung, zu erteilen (BGE 87 I 280 Erw. 1 mit Verweisungen, BGE 89 I 526 Erw. 5, BGE 90 I 349). Im vorliegenden Fall wenden sich die Beschwerdeführer gegen die Erteilung und nicht gegen die Verweigerung einer Baubewilligung. Die von ihnen behauptete Verfassungswidrigkeit kann durch die Aufhebung der angefochtenen Verfügung behoben werden. Es bleibt somit bei der kassatorischen Funktion der Beschwerde. Soweit die Beschwerdeführer mehr als die blosse Aufhebung des Entscheids des Verwaltungsgerichts verlangen, ist daher auf die Beschwerde nicht einzutreten.

Ob diese Rechtsprechung einer erneuten Überprüfung standhalte, kann hier offen bleiben. Festzuhalten ist indessen, dass die erwähnten Urteile lediglich von der hauptfrageweisen Geltendmachungeiner Verletzung der Gemeindeautonomie handeln. In einer Beschwerde, die wegen Verletzung anderer verfassungsmässiger Rechte geführt wird, kann der einzelne Bürger dagegen auch nach der bisherigen Rechtsprechung ohne die genannten Einschränkungen die Vorfrage der Berücksichtigung der Gemeindeautonomie aufwerfen. So hatte das Bundesgericht sich in BGE 84 I 230 auf Beschwerde wegen Verweigerung des rechtlichen Gehörs hin darüber auszusprechen, ob die Walliser Gemeinde in der Erteilung von Ausschankbewilligungen autonom sei und ob der Regierungsrat den Entscheid der Gemeinde demnach nur unter dem beschränkten Gesichtswinkel der Willkür überprüfen dürfe. Die Vorfrage der Wahrung der Gemeindeautonomie kann sich ferner namentlich auch in Stimmrechtsbeschwerden im Sinne von Art. 85 lit. a OG (vgl. BGE 42 I 192) und in Beschwerden wegen Verletzung der Eigentumsgarantie stellen, so wenn der Beschwerdeführer einwendet, der auf ihn angewendete kantonale Rechtssatz verstosse gegen die Gemeindeautonomie, sei insofern verfassungswidrig und deshalb nicht geeignet, die gesetzliche Grundlage für einen Eingriff in das Grundeigentum abzugeben.

Im vorliegenden Fall machen die Beschwerdeführer geltend, die kantonalen Instanzen hätten eine ihr Eigentum schützende Bestimmung des Gemeinderechts missachtet und damit gegen die Gemeindeautonomie, aber auch gegen die Eigentumsgarantie verstossen. Richtig verstanden, dient die erstgenannte Rüge lediglich der Begründung des Vorwurfs der Missachtung der Eigentumsgarantie. Ob es den Beschwerdeführern zustehe, wegen Verletzung dieses verfassungsmässigen Rechts (und des Art. 4 BV) staatsrechtliche Beschwerde zu erheben, ist im Folgenden zu prüfen.

a) Das Bundesgericht hat in ständiger Rechtsprechung erkannt, die Rechtsstellung des Grundeigentümers sei nicht berührt und er sei demgemäss nicht befugt, staatsrechtliche Beschwerde zu führen, wenn der kantonale Entscheid lediglich feststelle, dass dem Bauvorhaben des Nachbars vom polizeilichen Standpunkt aus kein Hindernis entgegenstehe und es die massgebenden öffentlich-rechtlichen Bauvorschriften nicht verletze. Eine Ausnahme hat es dabei lediglich für den Fall gemacht, dass der Grundeigentümer durch die einem Nachbar erteilte Baubewilligung in der eigenen Baufreiheit eingeschränkt wird, wie das namentlich zutrifft, wenn Bauvorschriften Gebäudeabstände und Gebäudehöhen vorschreiben und die in der Baubewilligung festgelegten Grenzabstände und Gebäudehöhen auch darüber entscheiden, wie nahe der Nachbar an die Grenze heranbauen darf (BGE 88 I 179 /80, BGE 89 I 517 /18, BGE 90 I 185).

Die Beschwerdeführer machen nicht geltend, die Erteilung der Baubewilligung für die Prüfungsstelle greife in ihre eigene Baufreiheit ein. Nach der angeführten Rechtsprechung wären sie mithin nicht befugt, gegen den dahin gehenden Entscheid staatsrechtliche Beschwerde zu erheben. Die Kritik, die an dieser Rechtsprechung geübt worden ist (vgl. BONNARD, ZSR 81 II S. 438 ff.; BURCKHARDT, ZBJV 70 S. 479; HEFTI, De la qualité pour recourir dans la juridiction constitutionnelle et administrative du Tribunal fédéral, S. 91 f.; HUBER, SJZ 57 S. 165 ff.; MARTI, ZSR 81 II S. 83 ff.; NAVILLE, S.J. 56 S. 209 ff.; ZWAHLEN, Mélanges François Guisan, S. 329 ff.) gibt indessen Anlass, die Zulässigkeit der staatsrechtlichen Beschwerde gegen die Erteilung der Baubewilligung an einen Dritten neu zu überprüfen.

b) Die Befugnis der Kantone (und Gemeinden) zum Erlass von Bauvorschriften wird einerseits in Art. 5 und 686, andererseits in Art. 6 und 702 ZGB umschrieben. In dem so abgesteckten Rahmen haben die Kantone und Gemeinden drei Arten von Bauvorschriften aufgestellt (vgl. BGE 90 I 208 Erw. 4): Eine erste Gruppe bezweckt den Schutz bestimmter Rechtsgenossen und gehört dem Privatrecht an; eine zweite Gruppe dient dem Schutze der Allgemeinheit und ist öffentlichrechtlicher Natur; eine dritte Gruppe von Bauvorschriften aber ordnet nachbarliche Beziehungen auf dem Boden der Gegenseitigkeit, und zwar nicht nur im Interesse der Öffentlichkeit, sondern auch (oder sogar vorwiegend) in demjenigen einzelner Rechtsgenossen, der Nachbarn im engeren oder weiteren Sinne (HUBER, a.a.O., S. 168 ff.). Das tritt insbesondere bei der Regelung der Gebäudeabstände zutage. Die öffentliche Gesundheit erfordert bestimmte, auf die Bauhöhe und allenfalls die Bodengestaltung bezogene Mindestabstände. Diese sind für alle Wohnquartiere gleich, lässt es sich doch nicht sagen, dass die Bewohner des einen Viertels mehr Licht und Luft bedürften als die eines andern. Die Vergrösserung des Gebäudeabstandes über das durch die öffentliche Gesundheit geforderte Mindestmass hinaus hat wohl auch öffentliche Interessen für sich; so können namentlich Gründe der städtebaulichen Ästhetik, unter Umständen auch solche des Natur- und Heimatschutzes eine Abstufung der Bauabstände erfordern. In erster Linie erfolgt diese Erweiterung jedoch im Hinblick und zum Schutze bestimmter Rechtsgenossen: der Nachbarn. Entsprechendes gilt für eine Reihe weiterer Bauvorschriften. Ob diese gemischten Charakter haben, das heisst teils privatrechtlicher, teils öffentlichrechtlicher Natur seien, oder ob sie ungeachtet des Schutzes, den sie einzelnen Rechtsgenossen zuteil werden lassen, ganz dem öffentlichen Recht zugehören (sogen. nachbarschützendes öffentliches Recht), kann hier offen bleiben. Entscheidend ist, dass sie auf die dargelegte Weise den Nachbarn eine Sphäre rechtlich geschützter Interessen verleihen.

Der Entscheid über die Erteilung der Baubewilligung ergeht regelmässig auf Grund des gesamten kantonalen und gemeindlichen Baurechts (soweit es sich dabei nicht um rein privatrechtliche Bestimmungen handelt); das Baugesuch wird demgemäss auch auf seine Übereinstimmung mit den Bauvorschriften überprüft, die nicht nur die Interessen der Öffentlichkeit, sondern auch die Belange der Nachbarn wahren. Soweit die Anwendung derartiger Vorschriften in Frage steht, berührt der Entscheid die Rechtsstellung der durch sie geschützten Nachbarn. Sie sind deshalb entgegen der Annahme der bisherigen Rechtsprechung befugt, eine Verletzung dieser ihrer rechtlich geschützten Interessen mit der staatsrechtlichen Beschwerde geltend zu machen. Aus entsprechenden Erwägungen lassen denn auch zahlreiche Kantone (vgl. die Übersicht bei KUTTLER, BJM 1954 S. 14 Anm. 26, und bei ZIMMERLIN, Bauordnung der Stadt Aarau, N. 14 zu § 6) sowie die deutsche Rechtsprechung (ULE, Verwaltungsgerichtsbarkeit, 2. Aufl., S. 124 ff.; EYERMANN-FRÖHLER, Verwaltungsgerichtsordnung, 3. Aufl., N. 98 zu § 42; PETERS, Der Dritte im Baurecht, Die öffentliche Verwaltung, 1965, S. 744 ff.) den Nachbar zur Verwaltungsbeschwerde in Baubewilligungssachen zu.

c) Erhebt ein Dritter gegen die Erteilung einer Baubewilligung staatsrechtliche Beschwerde, so ist demnach in erster Linie zu ermitteln, ob die Anwendung von Bauvorschriften auf dem Spiele stehe, die neben dem Gemeininteresse auch den besonderen Bedürfnissen der Nachbarn zu dienen bestimmt sind. Diese Frage ist für jede Vorschrift gesondert zu prüfen, wobei Inhalt, Zweck und Stellung der Norm in Betracht zu ziehen sind (vgl. BONNARD, ZSR 81 II S. 440 N. 80; HAAB, N. 6 zu Art. 680 ZGB; KUTTLER, a.a.O. S. 10/11; ZR 61 Nr. 120). Wohl nimmt das Bundesgericht nach dem Gesagten die Auslegung, welche die Rechtsprechung der kantonalen Instanzen der betreffenden Vorschrift zuteil werden lässt, zum Ausgangspunkt seiner mit freier Prüfungsbefugnis geführten Untersuchung. Es geht indessen von vornherein nicht an, einen Dritten schon darum zur staatsrechtlichen Beschwerde gegen eine Baubewilligung zuzulassen, weil ihm im kantonalen Verfahren Parteistellung zukam. Die staatsrechtliche Beschwerde bewahrt vielmehr auch in dieser Hinsicht ihre Selbständigkeit gegenüber den kantonalen Rechtsmitteln (vgl. BGE 74 I 379, BGE 79 I 158 Erw. 1, BGE 86 I 102 Erw. 3, BGE 89 I 238 Erw. 2).

Das basellandschaftliche Verwaltungsgericht geht (wie das Zürcher und das Berner Verwaltungsgericht; vgl. IMBODEN, a.a.O., S. 383 Ziff. VI a mit Verweisungen; MBVR 62 S. 202, 63 S. 343; ZBl 1965 S. 243 Erw. 1) in ständiger Rechtsprechung davon aus, dass die Vorschriften des Baugesetzes und des Gemeindebaurechts über "Grenz- und Gebäudeabstände, Gebäudehöhe, Bebauungs- und Ausnützungsziffer, Nutzungsart, Immissionen" primär im öffentlichen Interesse erlassen worden sind, "mindestens indirekt aber auch den Schutz der Nachbarn bezwecken"; es erachtet daher grundsätzlich den Nachbar als berechtigt, wegen behaupteter Verletzung dieser Vorschriften Beschwerde zu führen (BJM 1962 S. 297). Das Verwaltungsgericht rechnet auch § 16 Abs. 1 ZRM, um dessen Anwendung es im angefochtenen Entscheid geht, zu diesen nachbarschützenden Normen. Die genannte Vorschrift umschreibt die Nutzungsart (Wohn- und Gewerbebauten), begrenzt die Gebäudehöhe (auf höchstens drei Geschosse) und enthält Immissionsbeschränkungen (indem sie in der Zone 3 jedes Gewerbe untersagt, das "die Nachbarschaft ... durch Lärm, Rauch, üblen Geruch oder erhöhte Gefahren schädigend beeinträchtigt"). Im vorliegenden Zusammenhang steht allein der letztgenannte Teil des § 16 Abs. 1 ZRM zur Diskussion.

Um die rechtliche Tragweite dieser Immissionsbeschränkungen zu erfassen, ist auf ihr Verhältnis zu den entsprechenden Bestimmungen des Bundesrechts einzugehen. Dieses gewährt in den Art. 641, 679 und 684 ZGB den einzelnen Rechtsgenossen Schutz vor ungerechtfertigten bzw. übermässigen Einwirkungen. Das öffentliche Interesse an der Vermeidung von Lärm, Luftverunreinigungen u. dgl. wahrzunehmen, ist dagegen grundsätzlich nicht Sache des Bundesrechts, sondern der Kantone, die sich mit den Gemeinden in diese Aufgabe teilen können. Die kantonalen und gemeindlichen Immissionsbeschränkungen sind denn auch vornehmlich auf die Aufrechterhaltung der öffentlichen Ruhe, Ordnung und Sicherheit ausgerichtet, also polizeilicher Natur. Sie brauchen sich aber nicht notwendigerweise darin zu erschöpfen. Das ZGB regelt den Schutz des Einzelnen vor Immissionen zwar in umfassender, jedoch nicht in abschliessender Weise; es ist vielmehr ergänzungsfähig (vgl. OFTINGER, Lärmbekämpfung als Aufgabe des Rechts, S. 43). Zahlreiche Kantone und Gemeinden haben von dieser Möglichkeit Gebrauch gemacht und Immissionsbeschränkungen aufgestellt, die nicht nur auf die Interessen der Allgemeinheit, sondern daneben auch auf die besonderen Bedürfnisse der Anwohner abgestimmt sind. Die zweite Zwecksetzung trägt dabei ihre Rechtfertigung in sich selber und ist kein blosser Reflex der ersten. Die betreffenden Vorschriften verleihen so einzelnen Bürgern eine Sphäre rechtlich geschützter Interessen. Wohl hat die doppelte Aufgabe derartiger Bestimmungen zur Folge, dass der Anwohner, der sich auf sie beruft, mit seinem eigenen Nutzen in der Regel zugleich auch das Interesse der Gesamtheit wahrnimmt, an der er Anteil hat. Das ändert indessen nichts daran, dass er dabei eigene rechtlich geschützte Belange vertritt.

d) Zu den Vorschriften, die dergestalt nicht nur dem Gemeinwohl dienen, sondern auch die Interessen einzelner Rechtsgenossen wahren sollen, sind, wie das Verwaltungsgericht mit Fug gefolgert hat, auch die Immissionsbeschränkungen des § 16 Abs. 1 ZRM zu zählen, bilden diese doch Bestandteil einer Gesamtordnung, die wesentlich auf die Interessen der Anwohner ausgerichtet ist. Zu prüfen ist, welches der Kreis der durch diese Immissionsbeschränkungen geschützten Bürger sei und ob die Beschwerdeführer dazu gehören. Das Bundesgericht entscheidet auch diese Zulassungsfrage frei, wobei es die Stellungnahme der kantonalen Instanzen in der angegebenen Weise in Betracht zieht.

Das basellandschaftliche Verwaltungsgericht entnimmt dem Inhalt und Zweck der in Frage stehenden Baurechtsnorm, wer durch sie geschützt werden soll (BJM 1962 S. 297). Es hält dafür, dass die Immissionsbeschränkungen des Baurechts - gleich denjenigen des ZGB (vgl. BGE 55 I 245 Erw. 1, BGE 79 I 204 Erw. 2, BGE 81 II 443) - dem Schutz aller Rechtsgenossen dienen, die durch die untersagten Einwirkungen betroffen würden, also nicht nur der Grundangrenzer, sondern auch der Nachbarn in einem weiteren Sinne (vgl. KUTTLER, a.a.O., S. 13; ZIMMERLIN, a.a.O., N. 4 Abs. 2 zu § 54). Dieser Auffassung ist grundsätzlich zuzustimmen, doch ist ihr gegenüber insofern ein Vorbehalt anzubringen, als es sich fragt, ob der Schutzbereich von Immissionsbeschränkungen gemeindlicher Zonenordnungen nicht auf Grundstücke der betreffenden Zone und anschliessender Zonen mit strengeren Immissionsvorschriften einzugrenzen sei. Diese Frage kann hier jedoch offen bleiben, da die Grundstücke der Beschwerdeführer gleich dem Bauplatz in der Zone 3 liegen.

Die Grundstücke der Beschwerdeführer fallen mithin nur dann in den Schutzbereich des § 16 Abs. 1 ZRM, wenn sie von den Auswirkungen des Betriebes der bewilligten Anlage betroffen werden. Ob die Beschwerdeführer durch den angefochtenen Entscheid in ihrer Rechtsstellung berührt werden, lässt sich demgemäss nicht von der Frage ihrer materiellen Benachteiligung trennen. Bei der Feststellung der Sachurteilsvoraussetzungen muss das Bundesgericht sich nach dem Gesagten in dieser Hinsicht mit der Prüfung begnügen, ob eine solche Benachteiligung möglich sei und ob die Beschwerdeführer sie in hinreichender Weise behauptet hätten (BGE 89 I 520, BGE 91 I 193; vgl. auch KIRCHHOFER, ZSR 49 S. 34 f.; ULE, a.a.O., S. 121 f.). Das trifft hier zu. Die Beschwerdeführer machen geltend, ihre Grundstücke, die rund 100 bis 200 m vom Bauplatz entfernt sind, würden durch den vom Betrieb der Prüfungsstelle ausgehenden Lärm beeinträchtigt. Die Möglichkeit einer solchen Benachteiligung ist nicht auszuschliessen. Sie entfällt jedenfalls nicht schon deshalb, weil die Grundstücke nicht unmittelbar neben dem Bauplatz liegen. Die Erfahrung zeigt, dass die Auswirkungen eines derartigen Betriebes in einem weiteren Umkreis bemerkbar sind.

e) Wie das Bundesgericht wiederholt erkannt hat, müssen die rechtlich erheblichen Interessen des Beschwerdeführers, die der angefochtene Entscheid berührt und die er als verkürzt betrachtet, auf dem Gebiete liegen, "welches die von ihm angerufene Verfassungsbestimmung beschlägt" (BGE 86 I 102 Erw. 3, 284; BGE 89 I 238 Erw. 2, 278 Erw. 2). Der Gleichheitssatz und das Willkürverbot des Art. 4 BV schützen als allgemeine verfassungsmässige Rechte alle rechtlich erheblichen Interessen der Bürger (BONNARD, ZSR 78 S. 315 N. 32). Die Beschwerdeführer sind daher befugt, sich auf Art. 4 BV zu berufen. Es steht ihnen aber auch die Beschwerde wegen Verletzung der Eigentumsgarantie offen (BONNARD, ZSR 81 II S. 440 N. 81). Dieses Grundrecht schützt neben dem Eigentum einen weiteren Kreis vermögenswerter Rechte, die dem Privatrecht zugehören (BGE 3 S. 314 Erw. 4; 16 S. 716; BGE 26 I 77; BGE 28 I 181; BGE 35 I 571; BGE 37 I 515 Erw. 2; BGE 40 I 259; BGE 42 I 204; BGE 50 I 75; BGE 57 I 207; BGE 68 I 153; BGE 70 I 21; BGE 74 I 470 a) oder ihrer Art nach zur Zeit der Entstehung der Eigentumsgarantie dem Privatrecht zugezählt wurden (vgl. BGE 17 S. 187; BGE 31 I 21; BGE 44 I 171 Erw. 3; BGE 48 I 427 Erw. 2, 594; BGE 57 I 209 Erw. 1; BGE 63 I 40; BGE 65 I 302 /3; BGE 67 I 188 Erw. 6; BGE 70 I 21; BGE 74 I 470 b). Was das Eigentum als solches anbelangt, so ergibt sich sein Inhalt nicht nur aus dem Sachenrecht, sondern, wie Art. 641 Abs. 1 ZGB zum Ausdruck bringt, aus der "Rechtsordnung", das heisst aus allen auf das Eigentum bezüglichen Rechtssätzen des Bundes, der Kantone und der Gemeinden (mit Einschluss des Gewohnheitsrechts und der richterlichen Rechtsfindung gemäss Art. 1 Abs. 2 ZGB), unter dem Vorbehalte freilich, dass dieses Recht seinerseits den Wesensgehalt des Eigentums unangetastet lässt (vgl. BGE 88 I 255, BGE 90 I 37; MEIER-HAYOZ, N. 22 zu Art. 641 ZGB in Verbindung mit N. 213 des systematischen Teils). Zu diesen Rechtssätzen gehören auch die einschlägigen Bestimmungen des kantonalen und gemeindlichen Baurechts. Wie dargelegt, können diese dem Grundeigentümer eine Sphäre rechtlich geschützter Interessen einräumen, die über den sachenrechtlichen Inhalt des Eigentums hinausgeht. Diese Sphäre fällt nach dem Gesagten in den Kreis der durch die Eigentumsgarantie erfassten Rechtsgüter.

Das Verwaltungsgericht weist im angefochtenen Entscheid darauf hin, dass den Beschwerdeführern die Unterlassungsklage und die Schadenersatzklage offen stehen. Die letztgenannte Klage ist von vornherein nicht geeignet, die Erstellung der von den Beschwerdeführern beanstandeten Anlage zu verhindern. Die Unterlassungsklagen der Art. 641 Abs. 2, 679 und 684 ZGB sind auf die Beseitigung bestehender oder die Unterlassung künftiger Störungen gerichtet. Sie setzen voraus, dass die Einwirkung "ungerechtfertigt" ist, bzw. aufeiner Überschreitung des Eigentums beruht. Ob die beanstandete Verletzung einer kommunalen Zonenvorschrift als Eigentumsüberschreitung (oder als ungerechtfertigte Störung) zu gelten habe, die mit einer zivilrechtlichen Unterlassungsklage angefochten werden kann, ist in Lehre und Rechtsprechung umstritten (vgl. MEIER-HAYOZ, N. 86 zu Art. 679 ZGB mit Verweisungen).

Es geht aber nicht an, die Beschwerdeführer auf einen Rechtsbehelf zu verweisen, der unter Umständen nicht geeignet ist, eine Behebung des von ihnen gerügten Mangels herbeizuführen. Der Anhandnahme der staatsrechtlichen Beschwerde steht daher vom Standpunkt des Art. 86 Abs. 2 OG aus nichts im Wege.

II.1.- Die Parzelle Nr. 2288, welche die Prüfungsstelle für Kraftfahrzeuge der Kantone Basel-Stadt und -Landschaft aufnehmen soll, liegt zur Hauptsache in der Zone 3 der Gemeinde Münchenstein. § 16 Abs. 1 ZRM lässt in dieser Zone Wohnbauten (mit höchstens drei Geschossen) und Gewerbebetriebe zu, welche die Nachbarschaft nicht "durch Lärm, Rauch, üblen Geruch oder erhöhte Gefahr schädigend beeinträchtigen". Das Verwaltungsgericht hat erkannt, dass das Bauvorhaben dieser Immissionsbeschränkung nicht entspreche. Der Kanton Basel-Stadt macht demgegenüber in seiner Beschwerdeantwort geltend, die Prüfungsstelle werde "nach dem Stand der Technik in einer Weise ausgebaut und betrieben..., dass schädigende Immissionen ausgeschlossen" seien. Dieser Einwand widerlegt die Stellungnahme des Verwaltungsgerichts nicht. Zwar kann damit gerechnet werden, dass die öffentliche Hand als Bauherr im Rahmen des technisch Möglichen und wirtschaftlich Tragbaren alles vorkehren wird, um zu verhindern, dass Motorengegeräusche und Abgase aus der Prüfungsstelle nach aussen dringen. Ob diese Massnahmen die in sie gesetzten Erwartungen erfüllen werden, steht dahin. Selbst wenn das zuträfe, bliebe es dabei, dass die "beträchtliche und regelmässige Zu- und Wegfahrt von Automobilen und anderen Motorfahrzeugen", wozu es nach der Zugabe des Kantons Basel-Landschaft kommen wird, eine Mehrbelastung der Umgebung in sich schliesst. Dass das Quartier bereits heute dem Lärm einer Durchgangsstrasse ausgesetzt ist, vermag daran nichts zu ändern. Erfahrungsgemäss wird ein Geräusch nicht durch ein anderes aufgehoben; es kommt vielmehr zu einer Überlagerung der Geräusche, was die damit verbundene Störung in der Regel verstärkt (vgl BGE 88 II 15 mit Verweisungen). Es ist daher mit dem Verwaltungsgericht anzunehmen, dass die Auswirkungen der Prüfungsstelle das Mass des nach § 16 Abs. 1 ZRM Erlaubten übersteigen. Wenn diese Abweichung sich auch bloss in verhältnismässig engen Grenzen halten dürfte, so sind doch die Zulassungsbedingungen der genannten Vorschrift nicht erfüllt.

Das Verwaltungsgericht hält indessen mit den Vorinstanzen dafür, dass die Baubewilligung trotzdem zu erteilen sei, weil die beteiligten Kantone mit der Anlage einer Prüfungsstelle für Kraftfahrzeuge eine ihnen von Bundesrechts wegen obliegende Pflicht erfüllten, die dem Gemeindebaurecht, das der Kanton bei seinen Bauten sonst nach Möglichkeit berücksichtige, vorgehe. Die Beschwerdeführer rügen diese Auffassung als willkürlich; in der Nichtanwendung einer zum Schutze der Nachbarn bestimmten baurechtlichen Vorschrift erblicken sie ausserdem eine Verletzung der Eigentumsgarantie. Wie in Erw. I 3 c - e dargelegt, räumt § 16 Abs. 1 ZRM den Beschwerdeführern rechtlich erhebliche Interessen ein, die unter dem Schutze der Eigentumsgarantie stehen. Der geltend gemachte Eingriff in ihre Rechtsstellung ist jedoch verhältnismässig nicht besonders schwer. Das Bundesgericht prüft deshalb die Handhabung der in Frage stehenden Vorschriften und Rechtsgrundsätze ungeachtet der Anrufung der Eigentumsgarantie nur auf das Vorliegen von Willkür hin (BGE 89 I 467 Erw. 2 mit Verweisungen, BGE 91 I 125). Soweit das Verwaltungsgericht tatsächliche Feststellungen getroffen und die örtlichen Bedürfnisse gewürdigt hat, prüft das Bundesgericht den angefochtenen Entscheid gleichfalls bloss unter diesem eingeschränkten Gesichtswinkel (BGE 88 I 252, 294; BGE 89 I 196 Erw. 2; BGE 90 I 333). Die Rüge der Verletzung der Eigentumsgarantie fällt demnach insofern mit dem Vorwurf der Missachtung des Art. 4 BV zusammen.

Die Verwaltung ist dabei als Bauherr nicht nur an das Baurecht gebunden, das der Gesetzgeber der selben oder einer höheren Stufe erlassen hat; sie hat vielmehr grundsätzlich auch die Bauvorschriften der unteren Verbände einzuhalten. Stösst der Kanton bei der Ausführung seiner Bauvorhaben auf Baurecht der Gemeinden, so begegnet er in seinem Verwaltungshandeln den Rechtssätzen des unteren Verbandes. Es liegt somit nicht der Fall vor, da Rechtssätze verschiedener Stufen einander gegenübertreten; die Regel, wonach der Rechtssatz des oberen Verbandes dem des untern vorgeht, ist deshalb auf diesen Konflikt nicht anwendbar. Massgebend ist vielmehr wiederum der Gesichtspunkt, dass die Verwaltung sich innerhalb der Schranken des Gesetzes zu halten hat. Hat die Verfassung oder die Gesetzgebung des oberen Verbandes die Regelung eines bestimmten Gegenstandes dem untern Verband übertragen oder überlassen, so ist diese Entscheidung beim Fehlen ausdrücklich oder durch die Sache selbst begründeter Vorbehalte auch für die Verwaltung des oberen Verbandes verbindlich: sie hat sich insoweit an die Ordnung zu halten, die der untere Verband kraft der ihm vom oberen übertragenen oder überlassenen Zuständigkeit getroffen hat.

a) Das Bundesgericht hat in diesem Sinne erkannt, dass der Bund für seine Bauten grundsätzlich dem kantonalen Polizeirecht unterworfen ist (nicht veröffentlichtes Urteil vom 23. Dezember 1952 i.S. Eidgenossenschaft gegen Kanton Luzern; vgl. ferner die kantonalen Entscheide ZBl 1946 S. 535/36, 1950 S. 506, 1958 S. 113). Diese Unterwerfung geht nach der Rechtsprechung allerdings nur so weit, als die Erfüllung der verfassungsmässigen Aufgaben des Bundes dadurch nicht verunmöglicht oder erheblich erschwert wird. Im zweiten Falle hat das kantonale Recht indessen nicht unbesehen vor der Bundesgewalt zurückzutreten, sondern nur dann, wenn die auf dem Spiele stehenden Belange des Bundes höher zu bewerten sind als die Interessen, die das kantonale Recht zu wahren hat. In ähnlicher Weise spricht sich das vom Verwaltungsgericht angeführte Urteil BGE 65 I 101 ff. zu einem Kompetenzkonflikt zwischen dem Bund und einem Kanton auf dem Gebiete der Gebäudeversicherung aus, indem es feststellt, dass beim Fehlen verfassungsrechtlicher oder gesetzlicher Bestimmungen "unter Würdigung aller Umstände" zu entscheiden ist, welche Hoheit vor der andern zurückzutreten hat. Der Bundesgesetzgeber selber hat in Art. 18 Abs. 3 des Eisenbahngesetzes vom 20. Dezember 1957 angeordnet, dass "die auf die kantonale Gesetzgebung, namentlich über die Feuer- und Gesundheitspolizei gestützten Anträge... zu berücksichtigen (sind), soweit sie mit der Bundesgesetzgebung und den Bedürfnissen des Eisenbahnbaues und -betriebes vereinbar sind". In der Lehre vertreten namentlich BURCKHARDT (Komm. 3. Aufl. S. 17, 194/95), NABHOLZ (Das Institut der Bebauungspläne, S. 81) und ZIMMERLIN (a.a.O., S. 22 N. 4) einen Standpunkt, der sich trotz Abweichungen in Einzelheiten im Ganzen mit der Auffassung der Rechtsprechung deckt (desgleichen für die Bundesrepublik Deutschland: HEITZER-ÖSTREICHER, Bundesbaugesetz, 2. Aufl., N. 1 zu § 37), während FLEINER (Schw. Bundesstaatsrecht, S. 490, 659 f.) und EDWIN HAUSER (Die Bindung des Bundes an das kantonale Recht, S. 31, 56 ff., 91 ff.; ZBl 1964 S. 459, 461, 464) zwar die Selbständigkeit des Bundes stärker betonen, in der Nutzanwendung auf den Einzelfall aber oft zu keinen wesentlich andern Ergebnissen gelangen dürften.

b) Wie der Bund grundsätzlich das kantonale (und gemeindliche) Baurecht zu beachten hat, so hat der Kanton als Bauherr im Regelfalle die Bauvorschriften der Gemeinden einzuhalten. Im übrigen können die Rechtsbeziehungen zwischen den Gemeinden und dem Kanton jedoch entgegen der Meinung des Verwaltungsgerichts nicht durchwegs jenen zwischen den Kantonen und dem Bund gleichgestellt werden. Während der Kanton in den Bereichen, die nicht Bundessache sind, nur in einzelnen in der BV vorgesehenen Ausnahmefällen der Oberaufsicht des Bundes unterstellt ist, steht die Gemeinde unter der allgemeinen Aufsicht des Kantons, und zwar auch hinsichtlich ihrer Betätigung in ihrem eigenen Wirkungskreis. Die Ausübung dieser Aufsicht bewirkt, dass das Gemeinderecht und das kantonale Recht in höherem Masse eine Einheit bilden als das kantonale und das eidgenössische Recht (vgl. LIVER, Gemeinderecht, ZBl 1949 S. 43/44). Das führt namentlich auch dazu, dass der Kanton aufvielen Gebieten über andere und weiter gehende Möglichkeiten verfügt, um einer Behinderung seiner Verwaltungstätigkeit durch das Recht der unteren Verbände vorzubeugen oder entgegenzutreten.

Das zeigt gerade das basellandschaftliche Baurecht. Gemäss § 58 Abs. 2 des kantonalen Gesetzes betreffend das Bauwesen vom 15. Mai 1941/30. April 1959 bedürfen die Bauvorschriften der Gemeinden der Genehmigung des Regierungsrates, die ihnen erst die "allgemein verbindliche Wirksamkeit" verleiht. Bei der Prüfung der Gemeindebauvorschriften kann der Regierungsrat darüber befinden, ob sie den Bedürfnissen der kantonalen Verwaltung Rechnung tragen; trifft das nicht zu, so kann er ihnen die Genehmigung versagen. Sieht die kantonale Verwaltung sich vor neue Aufgaben gestellt und zeigt es sich erst nachträglich, dass die Gemeindebauvorschriften den Bedürfnissen des Kantons nicht gerecht werden, so kann der Regierungsrat nachträglich die einmal erteilte Genehmigung widerrufen. Die Verweigerung der Genehmigung wegen entgegenstehender Bedürfnisse der Verwaltung und der Widerruf der Genehmigung dürfen allerdings erst nach allseitiger Würdigung aller Umstände erfolgen; es hat ihnen die gleiche Interessenabwägung vorauszugehen, wie sie bei der Entscheidung eines Konfliktes zwischen der Bundesgewalt und dem kantonalen Recht vorzunehmen ist (vgl. vorne lit. a). Dessen ungeachtet ist die Lösung nicht dieselbe: während es im zweiten Falle zu einer Durchbrechung des kantonalen Rechts kommt, die, soweit Bebauungs- und ähnliche Pläne in Frage stehen, räumlich auf das Baugrundstück beschränkt ist, führt die Verweigerung der Genehmigung durch den Regierungsrat oder der von ihm ausgesprochene Widerruf der Genehmigung dazu, dass die gemeindlichen Bauvorschriften überhaupt nicht in Kraft treten bzw. ihre Rechtskraft verlieren. Die Wirkungen dieses Aktes lassen sich dabei um der planerischen Folgerichtigkeit willen (BGE 87 I 513; ZBl 1964 S. 218; IMBODEN, Der Plan als verwaltungsrechtliches Institut, VVDStRL 18 S. 142 Ziff. IX) in der Regel nicht auf das Baugrundstück eingrenzen, sondern sie rufen einer umfassenderen Anpassung.

a) Die Prüfungsstelle wird von den Kantonen Basel-Stadt und -Landschaft als Gemeinschaftswerk errichtet. Bei der Erstellung der Anlage stehen somit Interessen beider Kantone auf dem Spiele. Es fragt sich grundsätzlich, ob ein Kanton auch im Hinblick auf das Verwaltungsinteresse eines andern Kantons in das Baurecht einer seiner Gemeinden eingreifen dürfe. Unter den gegebenen Umständen kann diese Frage indessen offen bleiben, da die Interessen beider beteiligter Kantone sich decken. Zwar ist anzunehmen, dass der Kanton Basel-Landschaft eine nur für seine Kantonseinwohner bestimmte Prüfungsstelle nicht unbedingt in den näheren Umkreis der Stadt Basel verlegt hätte. Dem Kanton Basel-Stadt musste demgegenüber an einer solchen Lösung gelegen sein. Da der gemeinsame Bau und Betrieb der Anlage für beide Kantone vorteilhaft ist, musste der Kanton Basel-Landschaft, um dieser Vorteile teilhaftig zu werden, auf das erwähnte Anliegen des anderen Kantons eingehen. Die Erstellung des Werkes in Stadtnähe ist so gesehen auch für den Kanton Basel-Landschaft von Nutzen.

Der Kreis der möglichen Standorte durfte dabei allerdings nicht zu eng gezogen werden. Der Motorfahrzeugführer hat weder mit merklichen Mehrkosten noch mit einem fühlbaren Zeitverlust zu rechnen, wenn er ausserhalb der Stadt und ihres Verkehrs ein paar Kilometer mehr zurücklegen muss. Für die Errichtung der Prüfstelle fiel mithin eine grössere Zahl von Vorortsgemeinden in der Gegend von Basel in Betracht. Die kantonalen Instanzen haben neben dem Bauplatz in der "unteren Wanne" weitere in unmittelbarer Stadtnähe gelegene Grundstücke auf ihre Eignung hin untersucht, so die Areale "St. Jakob" und "Rankhof" in Basel, "Hagnau" in Birsfelden und Brüglingerstrasse in Münchenstein; der Vergleich fiel jedoch zu Gunsten des erstgenannten Platzes aus. Aus den Akten ist nicht ersichtlich, dass die Behörden die Suche auf den erwähnten grösseren Umkreis der Stadt ausgedehnt hätten, wiewohl sich eine solche Standortwahl nach dem Gesagten durchaus hätte vertreten lassen und es jedenfalls nicht von vornherein feststand, dass in den Industriezonen der betreffenden Vorortsgemeinden kein geeigneter Bauplatz hätte erworben oder enteignet werden können. Es fragt sich, ob es nicht angezeigt gewesen wäre, weitere Erhebungen in dieser Richtung anzustellen.

Wenn die kantonalen Instanzen davon abgesehen haben, so dürften sie von der Überlegung geleitet worden sein, dass das Bauvorhaben verhältnismässig wenig von den Zonenvorschriften abweicht und dass es in tatsächlicher Hinsicht keine wesentliche Änderung des Quartiercharakters nach sich zieht. Der Bauplatz ist Teil eines Viertels, das am Rande eines Industriegebietes liegt und das durch die viel befahrene Reinacherstrasse ihr Gepräge erhält. Es handelt sich schon heute um eine Übergangszone. Die Prüfungsstelle wird sich deshalb im Quartier kaum als eigentlicher Fremdkörper ausnehmen. Das gilt auch mit Bezug auf die Auswirkungen der Anlage. Wie in Erw. II/1 aufgezeigt, weicht das Bauvorhaben in dieser Hinsicht nicht stark von der Norm ab. Das fiel bei der zu treffenden Entscheidung erheblich ins Gewicht.

Wohl ist es an sich richtig, dass Zonenpläne ihre Aufgabe nur erfüllen können, wenn sie eine gewisse Beständigkeit aufweisen (BGE 90 I 333). Die Ausserkraftsetzung oder Durchbrechung eines Zonenplanes zu Gunsten eines Bauvorhabens der öffentlichen Hand ist auch aus diesem Grunde ein Ausweg, der nur in Ausnahmefällen beschritten werden darf. In Anbetracht der dargelegten Verhältnisse kann indessen nicht gesagt werden, dass die kantonalen Instanzen es in dieser Hinsicht an der erforderlichen Zurückhaltung hätten fehlen lassen. Das Verwaltungsgericht hat sich bei Abwägung der gegensätzlichen Interessen der Verwaltung einerseits und der Gemeinde sowie der Anwohner andererseits von sachlichen Gesichtspunkten leiten lassen; es hat den weiten Rahmen des ihm in dieser Frage zustehenden Beurteilungsspielraumes nicht überschritten. Die Rüge der Willkür ist insoweit unbegründet.

b) Wie sich aus Erw. II/2 ergibt, kann der Regierungsrat nach Bejahung des Vorranges der Interessen der Verwaltung den gemeindlichen Bauvorschriften, die deren Bauvorhaben entgegenstehen, die Genehmigung entziehen und sie dadurch ausser Kraft setzen, so dass die Erteilung der Baubewilligung auf kein Hindernis mehr stösst. Im vorliegenden Fall haben die kantonalen Instanzen nicht diesen Weg eingeschlagen; sie haben die Einsprache gegen das Baugesuch der Kantone Basel-Stadt und -Landschaft abgewiesen, ohne dass der Regierungsrat einen Beschluss auf Widerruf der Genehmigung eines entsprechenden Teils des Zonenplanes von Münchenstein gefasst hätte. Dass es so zu einer Durchbrechung und nicht zu einer teilweisen Ausserkraftsetzung von Gemeinderecht gekommen ist, wirkt sich im praktischen Ergebnis namentlich dahin aus, dass das Baugrundstück der Verwaltung damit eine Sonderbehandlung erfährt, während der Regierungsrat im zweiten Falle aus Gründen der planerischen Folgerichtigkeit nicht um den Entscheid der Frage herumgekommen wäre, ob neben der Bauparzelle auch deren nähere Umgebung von der Zonenordnung auszunehmen sei. Denkbar ist allerdings, dass er diese Frage nach Prüfung aller Umstände verneint hätte: Da das Bauvorhaben nach dem Gesagten nicht in einen wesentlichen Gegensatz zur Umgebung tritt, ist das Bedürfnis nach der Schaffung eines Überganges zwischen der Anlage der Verwaltung und der zonengerechten Überbauung der Nachbarschaft ein geringeres. Angesichts dieser besonderen Verhältnisse lässt sich das Vorgehen der Behörden auch in formeller Beziehung mit sachlichen Gründen vertreten; es ist nicht als willkürlich zu bezeichnen.

Demnach erkennt das Bundesgericht:

Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.