Der Regierungsrat des Kantons Basel-Stadt erliess am 24. März 1998 eine Verordnung über die Zulassungsbeschränkung zum Studium der Medizin an der Universität Basel. Die Verordnung regelt gemäss ihrem § 1 Zulassungsbeschränkungen für das Studium der Human-, Zahn- und Veterinärmedizin an der Universität Basel durch das Verfahren eines Eignungstests. Nach § 2 legt der Regierungsrat jährlich die maximale Aufnahmekapazität für das erste Studienjahr fest. Wenn die Anzahl der Voranmeldungen die Aufnahmekapazität um einen vom Regierungsrat festzulegenden Prozentsatz überschreitet, beschliesst der Regierungsrat, ob ein Eignungstest durchzuführen ist (§ 3). Die §§ 4-8 regeln das Verfahren des Eignungstests. § 5 beauftragt mit der Organisation und Durchführung des Eignungstests das Generalsekretariat der Schweizerischen Hochschulkonferenz (SHK) oder ein anderes in Absprache mit den übrigen Hochschulkantonen bestimmtes Organ. Gemäss § 9 haben sich die Studienanwärter mit Fr. 200.-- an den Kosten der Durchführung des Tests zu beteiligen. Die §§ 10-13 enthalten weitere Vorschriften über den Zulassungsentscheid und das Testverfahren. Gegen Verfügungen des Rektorats kann nach Massgabe des Universitätsgesetzes rekurriert werden (§ 14). Die Verordnung wird sofort wirksam (§ 15).

Die Verordnung wurde im Kantonsblatt Basel-Stadt vom 8. April 1998 publiziert.

H., S., T., R. sowie die Studentische Körperschaft der Universität Basel (skuba) erhoben am 15. Mai 1998 staatsrechtliche Beschwerde mit dem Antrag, die Verordnung, eventuell ihren § 9, aufzuheben. Sie rügen eine Verletzung der derogatorischen Kraft des Bundesrechts, der Handels- und Gewerbefreiheit, der persönlichen Freiheit, der Gewaltenteilung sowie von Art. 4 BV (Rechtsgleichheit, Legalitätsprinzip).

Das Bundesgericht heisst die Beschwerde teilweise gut und hebt § 9 der Verordnung auf. Im Übrigen weist es die Beschwerde ab, soweit es darauf eintritt.

Aus den Erwägungen:

1.- b) Zur staatsrechtlichen Beschwerde gegen einen kantonalen Erlass auf dem Wege der abstrakten Normenkontrolle ist legitimiert (Art. 88 OG), wer durch die angefochtenen Bestimmungen unmittelbar oder zumindest virtuell, das heisst mit einer minimalen Wahrscheinlichkeit früher oder später einmal, in seinen rechtlich geschützten Interessen betroffen ist (BGE 123 I 221 E. 2 S. 224 f.). Das ist zumindest beim Beschwerdeführer 2 zu bejahen, welcher in Liestal das Gymnasium besucht und nach dessen Abschluss das Medizinstudium an der Universität Basel in Angriff zu nehmen beabsichtigt. Die Beschwerdeführer 3 und 4 sind nach ihren Angaben zur Zeit an anderen Fakultäten der Universität Basel immatrikuliert, beabsichtigen jedoch, später ein Zweitstudium in Medizin aufzunehmen. Das liegt nicht jenseits jeglicher Wahrscheinlichkeit, so dass auch ihre Legitimation bejaht werden kann.

Der Beschwerdeführer 1 legt hingegen nicht dar, woraus er seine Legitimation ableitet. Gemäss Art. 90 Abs. 1 lit. b OG muss die staatsrechtliche Beschwerde unter anderem die wesentlichen  Tatsachen enthalten. Das gilt auch für diejenigen Tatsachen, auf welche der Beschwerdeführer seine Legitimation gründet (BGE 113 Ia 247 E. 4b S. 252 f.). Auf die Beschwerde ist insoweit nicht einzutreten.

Die Studentische Körperschaft der Universität Basel (Beschwerdeführerin 5) ist gemäss § 21 des Gesetzes vom 8. November 1995 über die Universität Basel (Universitätsgesetz) eine öffentlich-rechtliche Körperschaft des kantonalen Rechts. Die staatsrechtliche Beschwerde ist ein Rechtsmittel zum Schutze der Träger verfassungsmässiger Rechte gegen Übergriffe der Staatsgewalt. Solche Rechte stehen grundsätzlich nur Privaten zu, nicht dagegen dem Gemeinwesen als Inhaber hoheitlicher Gewalt. Öffentlichrechtliche Körperschaften sind zur staatsrechtlichen Beschwerde legitimiert, wenn sie nicht hoheitlich auftreten, sondern durch einen staatlichen Akt wie eine Privatperson betroffen werden. Gemeinden und andere öffentlichrechtliche Körperschaften können sich zudem mit staatsrechtlicher Beschwerde gegen eine Verletzung ihrer durch das kantonale Recht gewährleisteten Autonomie oder Bestandesgarantie zur Wehr setzen (BGE 121 I 218 E. 2a S. 220; 120 Ia 95 E. 1a S. 97; je mit Hinweisen). Die Beschwerdeführerin 5 ist durch den angefochtenen Erlass weder wie eine Privatperson noch in ihrer Autonomie, sondern höchstens in der Wahrnehmung ihrer öffentlichen Aufgaben betroffen und daher zur staatsrechtlichen Beschwerde nicht legitimiert.

3.- a) Die Beschwerdeführer rügen eine Verletzung der Handels- und Gewerbefreiheit: Der Regierungsrat greife mit der angefochtenen Verordnung regulierend in den Ärztemarkt ein, was mit der Handels- und Gewerbefreiheit unvereinbar sei. Zudem werde dadurch die Berufswahlfreiheit verletzt, die nicht nur durch die Handels- und Gewerbefreiheit, sondern auch durch die persönliche Freiheit geschützt werde.

b) Durch die angefochtene Verordnung wird entgegen der Ansicht der Beschwerdeführer nicht in einen freien Markt eingegriffen, sondern die Zulassung zu einem staatlichen Ausbildungsangebot geregelt. Insoweit kann von einem freien Markt von vornherein nicht die Rede sein.

c) Das Bundesgericht hat sich bisher wiederholt mit der Problematik von Zulassungsbeschränkungen zu staatlichen Bildungseinrichtungen befasst. Es hat dabei weder aus der Handels- und Gewerbefreiheit noch aus der persönlichen Freiheit einen verfassungsrechtlichen Anspruch auf freien Zugang zu einem Universitätsstudium abgeleitet (BGE 121 I 22 E. 2 S. 24 f., mit Hinweisen). Auch aus dem Entwurf für eine neue Bundesverfassung ergibt sich kein derartiger Anspruch: Gewährleistet ist bloss der Anspruch auf ausreichenden und unentgeltlichen Grundschulunterricht (Art. 19 E-BV), während die berufliche Aus- und Weiterbildung nicht als einklagbares verfassungsmässiges Recht, sondern als ein vom Gesetzgeber zu konkretisierendes Sozialziel genannt ist (Art. 41 Abs. 1 lit. f E-BV). Das gilt insbesondere für universitäre Ausbildungen: Die Kantone sind von Bundesrechts wegen nicht verpflichtet, überhaupt Universitäten zu unterhalten; die Mehrheit der Kantone betreibt denn auch selber keine Universität. Umso weniger können die Kantone verpflichtet sein, eine bestimmte Zahl von Studienplätzen anzubieten. Wie alle staatlichen Leistungen sind auch Studienplätze zwangsläufig ein beschränkt vorhandenes Gut. Verfassungsrechtlich besteht ein Anspruch auf eine willkürfreie und rechtsgleiche Regelung bei der Zulassung zu den vorhandenen Studienplätzen (vgl. BGE 117 Ib 387 E. 6d S. 395; 103 Ia 394 E. 2b S. 399), aber kein Anspruch darauf, dass die Kantone jedem Studienwilligen den gewünschten Studienplatz zur Verfügung stellen.

4.- a) Unabhängig davon, ob ein Eingriff in ein spezielles Grundrecht vorliegt, ergibt sich aus dem Grundsatz der Gewaltentrennung, dass wichtige bildungs- und hochschulpolitische Entscheide wie die Einführung von Zulassungsbeschränkungen zumindest in den Grundzügen auf der Stufe des formellen Gesetzes getroffen werden müssen (BGE 121 I 22 E. 4a S. 27; 104 Ia 305 E. 3c S. 311; 103 Ia 369 E. 7d/dd S. 390 f., 394 E. 3b/bb S. 404; ZBl 88/1987 S. 459, E. 3c; PETER SALADIN/MARTIN AUBERT, Zulassungsbeschränkungen an schweizerischen Hochschulen, ZSR Beiheft 17, S. 153 - 214, 186).

b) Die angefochtene Verordnung hat eine gesetzliche Grundlage in § 23 des Universitätsgesetzes. Diese Bestimmung lautet:

Zulassungsbeschränkungen sind somit - anders als im Falle von BGE 121 I 22 - im formellen Gesetz ausdrücklich vorgesehen. Die Beschwerdeführer rügen jedoch, § 23 des Universitätsgesetzes sei keine genügend bestimmte gesetzliche Grundlage für eine Zulassungsbeschränkung, da er weder die Art der Selektion noch deren Folgen erwähne und nichts über die Zuständigkeit hinsichtlich der Durchführung des Numerus clausus aussage. Insbesondere bedürfe die Übertragung der Testdurchführung an die Schweizerische Hochschulkonferenz einer gesetzlichen Grundlage.

c) Das Bundesgericht hat bereits in BGE 103 Ia 369 den § 34a des alten basel-städtischen Universitätsgesetzes, der in den massgebenden Teilen praktisch gleich lautete wie § 23 des neuen Gesetzes, als genügende gesetzliche Grundlage für die Einführung von Zulassungsbeschränkungen bezeichnet. Zur Frage der Zulassungskriterien hat es damals ausgeführt, das Fehlen jeglicher Kriterien auf Gesetzesstufe sei zwar verfassungsrechtlich bedenklich, da mehrere Kriterien möglich seien; doch dürften die Anforderungen, die sich aus dem demokratischen Prinzip ergeben, nicht überspannt werden, zumal das Gesetz jederzeit vom Grossen Rat oder auf dem Weg der Volksinitiative geändert werden könne; die zu treffende Lösung hange von einer Vielzahl tatsächlicher Umstände ab und sei zudem zwischen den verschiedenen Hochschulen, dem Bund und den Nichtuniversitätskantonen zu koordinieren; die Schaffung einer in Bezug auf die Auswahlkriterien unbestimmten Delegationsnorm erscheine im Hinblick auf die Erleichterung der Koordination geradezu als wünschenswert. Die in § 34a des alten Universitätsgesetzes enthaltene Regelung wurde daher als genügend bestimmt beurteilt (BGE 103 Ia 369 E. 7d S. 387 ff.).

d) Diese Überlegungen sind weiterhin gültig. Die Beschwerdeführer bringen nichts vor, was zu einer anderen Beurteilung führen könnte. Im Gegenteil beauftragt heute Art. 13 des Bundesgesetzes vom 22. März 1991 über die Hochschulförderung (HFG; SR 414.20) ausdrücklich die Schweizerische Hochschulkonferenz mit Koordinationsaufgaben, insbesondere in Bezug auf die Zulassungsvoraussetzungen (Abs. 3 lit. a). Das Bedürfnis nach einer Koordination zwischen den kantonalen Hochschulen ist somit auf der Stufe eines formellen Bundesgesetzes verankert. Umso mehr lässt es sich rechtfertigen, auf eine Festlegung der Zulassungskriterien in den kantonalen Gesetzen zu verzichten, würde doch dadurch eine Koordination wesentlich erschwert.

e) Aus den gleichen Überlegungen ist auch nicht zu beanstanden, dass die Verordnung die Durchführung der Tests an die Schweizerische Hochschulkonferenz delegiert. Diese ist nicht eine private Organisation, bei welcher erhöhte Anforderungen an die Übertragung staatlicher Aufgaben zu stellen wären, sondern ein vom formellen Bundesgesetzgeber (Art. 13 HFG) eingesetztes öffentliches Organ.

6.- a) Die Beschwerdeführer rügen eine Verletzung der  Rechtsgleichheit, indem die Zulassungsbeschränkung nur für die medizinische Fakultät, nicht aber für andere Disziplinen und zudem nur an den Deutschschweizer Universitäten, nicht jedoch in der Westschweiz eingeführt worden sei. Zudem sei die Chancengleichheit verletzt, weil Studierende, die es sich finanziell leisten könnten, in der Lage seien, vorbereitende Kurse zu besuchen.

b) Ein Erlass verletzt den Grundsatz der Rechtsgleichheit und damit Art. 4 Abs. 1 BV, wenn er rechtliche Unterscheidungen trifft, für die ein vernünftiger Grund in den zu regelnden Verhältnissen nicht ersichtlich ist, oder Unterscheidungen unterlässt, die sich aufgrund der Verhältnisse aufdrängen. Die Rechtsgleichheit ist verletzt, wenn Gleiches nicht nach Massgabe seiner Gleichheit gleich oder Ungleiches nicht nach Massgabe seiner Ungleichheit ungleich behandelt wird. Vorausgesetzt ist, dass sich der unbegründete Unterschied oder die unbegründete Gleichstellung auf eine wesentliche Tatsache bezieht. Die Frage, ob für eine rechtliche Unterscheidung ein vernünftiger Grund in den zu regelnden Verhältnissen ersichtlich ist, kann zu verschiedenen Zeiten verschieden beantwortet werden je nach den herrschenden Anschauungen und Zeitverhältnissen. Dem Gesetzgeber bleibt im Rahmen dieser Grundsätze und des Willkürverbots ein weiter Spielraum der Gestaltungsfreiheit (BGE 123 I 1 E. 6a S. 7; 121 I 102 E. 4a S. 104; je mit Hinweisen).

c) Das Medizinstudium setzt für eine gründliche Ausbildung der Studierenden eine aufwendige Infrastruktur voraus. Gerichtsnotorisch ist die Ausbildung eines Medizinstudenten wesentlich teurer als diejenige in anderen Studienrichtungen (vgl. auch BGE 120 Ia 1 E. 3f S. 5). Die Ausbildungskapazität kann deshalb weniger gut als in anderen Fächern erhöht werden, wenn - wie das nach den unbestrittenen Angaben des Regierungsrates der Fall ist - die Zahl der Studienwilligen die vorhandenen Kapazitäten übersteigt. Das sind sachlich haltbare Gründe, welche es rechtfertigen, die Zulassungsbeschränkung nur in der Medizin vorzusehen.

d) Unbegründet ist die Rüge, die Rechtsgleichheit sei verletzt, weil in der Westschweiz keine Zulassungsbeschränkungen eingeführt worden seien. Die Rechtsgleichheit bezieht sich nur auf den Zuständigkeitsbereich ein und derselben Behörde bzw.  Gebietskörperschaft (BGE 121 I 49 E. 3c S. 51). Aus der föderalistischen Staatsstruktur der Schweiz ergibt sich, dass die Kantone in ihrem Zuständigkeitsbereich auch unterschiedliche Regelungen treffen können (BGE 122 I 44 E. 3b/cc S. 47; 120 Ia 126 E. 6c S. 145). Wenn einige Kantone Zulassungsbeschränkungen für ihre Universitäten eingeführt haben, während andere darauf verzichten, so kann darin keine Verletzung der Rechtsgleichheit liegen.

e) Dass allenfalls mit dem Besuch kostspieliger Vorbereitungskurse die Wahrscheinlichkeit für ein erfolgreiches Bestehen des Tests erhöht werden mag, kann für sich allein jedenfalls nicht zu einer Verletzung der Rechtsgleichheit führen. Denn dies trifft grundsätzlich für jede Prüfung zu.

9.- Die Beschwerdeführer beantragen eventualiter die Aufhebung von § 9 der angefochtenen Verordnung, weil die dort festgelegte Gebühr von Fr. 200.-- für die Durchführung des Eignungstests keine gesetzliche Grundlage habe.

a) Nach der Rechtsprechung des Bundesgerichts bedürfen öffentliche Abgaben der Grundlage in einem formellen Gesetz. Delegiert das Gesetz die Kompetenz zur rechtssatzmässigen Festlegung einer Abgabe an den Verordnungsgeber, so muss es zumindest den Kreis der Abgabepflichtigen, den Gegenstand und die Bemessungsgrundlagen selber festlegen (BGE 124 I 247 E. 3 S. 249, mit Hinweisen). Diese Anforderungen können, was die Vorgaben über die Abgabenbemessung betrifft, für gewisse Arten von Kausalabgaben gelockert werden, wenn das Mass der Abgabe durch überprüfbare verfassungsrechtliche Prinzipien (Kostendeckungs- und Äquivalenzprinzip) begrenzt wird (BGE 124 I 11 E. 6a S. 19; 123 I 248 E. 2 S. 249, 254 E. 2a S. 255; je mit Hinweisen). Eine solche Lockerung ist jedoch nur möglich, wenn aus dem formellen Gesetz hervorgeht, dass eine kostendeckende Gebührenbemessung dem Zweck und Charakter der Abgabe entspricht (BGE 123 I 254 E. 2b/aa S. 256, mit Hinweisen).

b) Eine Ausnahme vom Erfordernis der formellgesetzlichen Grundlage gilt für Kanzleigebühren. Darunter sind Abgaben für einfache Tätigkeiten der Verwaltung zu verstehen, die ohne besonderen Prüfungs- und Kontrollaufwand erbracht werden und sich in ihrer Höhe in einem bescheidenen Rahmen halten (BGE 112 Ia 39 E. 2a S. 44; 107 Ia 29 E. 2c S. 32; ULRICH HÄFELIN/GEORG MÜLLER, Grundriss des Allgemeinen Verwaltungsrechts, 3. Aufl., Zürich 1998, S. 537 Rz. 2100; MAX IMBODEN/RENÉ A. RHINOW, Schweizerische Verwaltungsrechtsprechung, 5. Aufl., Basel 1976, Nr. 110.B.II S. 778 und Nr. 113.B.I S. 798). Die vorliegend streitige Gebühr kann jedoch nicht als blosse Kanzleigebühr betrachtet werden. Zum Einen erscheint die Höhe von Fr. 200.-- kaum als BbescheidenR, zumal für Studienanfänger, welche typischerweise kein oder nur ein geringes Einkommen haben. Sodann handelt es sich bei der Durchführung des Eignungstests nicht um eine einfache, routinemässige Tätigkeit, sondern um eine eingehendere Prüfung, die nicht mehr unter den Begriff der Kanzleitätigkeit fällt (vgl. BGE 93 I 632 E. 3 S. 635). Die dafür erhobene Gebühr bedarf somit einer Grundlage in einem formellen Gesetz.

c) Der Regierungsrat räumt ein, dass das Universitätsgesetz keine Grundlage für die fragliche Gebühr enthält. Er macht jedoch geltend, die verfassungsrechtlichen Prinzipien der Kostendeckung und der Äquivalenz seien vorliegend eingehalten, so dass die Bemessung der Abgabe an die Exekutive delegiert werden dürfe. Indessen vermögen die genannten Prinzipien nur die Anforderungen an die gesetzliche Festlegung der Abgabenbemessung zu lockern, aber nicht eine formell-gesetzliche Grundlage völlig zu ersetzen (BGE 123 I 254 E. 2b/aa S. 255). Das gilt insbesondere für Universitätsgebühren, weil hier der Staat seit je darauf verzichtet hat, auch nur entfernt kostendeckende Gebühren zu verlangen; eine Abweichung von dieser bisher verfolgten Politik ist ein wesentlicher bildungspolitischer Entscheid, der vom formellen Gesetzgeber zu treffen ist (BGE 123 I 254 E. 2b/bb S. 256; 120 Ia 1 E. 3f S. 6).

d) Subsidiär erblickt der Regierungsrat eine gesetzliche Grundlage im Gesetz vom 9. März 1972 über die Verwaltungsgebühren. Dessen § 1 Abs. 1 und § 4 lauten:

Das Bundesgericht hat in BGE 123 I 248 ein kantonales Gesetz, welches eine ähnlich lautende Formulierung enthielt (BDie Behörden können für ihre Amtshandlungen den Beteiligten Kosten auferlegenR) als zu unbestimmt beurteilt, um als Grundlage für die Erhebung einer Verwaltungsgebühr dienen zu können, da der Begriff der gebührenpflichtigen Handlung zu weit gefasst und auch nicht durch eine untergesetzliche rechtssatzmässige Regelung konkretisiert sei. Im Unterschied zu jenem Fall besteht vorliegend zwar eine klare und eindeutige rechtssatzmässige Konkretisierung auf Verordnungsstufe. Es fragt sich jedoch, ob dafür die formellgesetzliche Grundlage ausreicht.

e) Das Bundesgericht hat in BGE 104 Ia 113 entschieden, dass § 39 des alten basel-städtischen Universitätsgesetzes sowie subsidiär § 1 des genannten Gesetzes über die Verwaltungsgebühren eine genügende gesetzliche Grundlage für die Erhebung von Kollegiengeldern darstelle. Massgebend dafür war, dass die Kollegiengelder seit Jahrhunderten in real annähernd unveränderter Höhe erhoben worden waren und sich der Regierungsrat bei der Festlegung der Gebühr in einem weitgehenden Masse als durch die bisherige Übung gebunden betrachtete (BGE 104 Ia 113 E. 4c S. 118). Das Element einer langandauernden Übung, welche in einem gewissen Sinne eine formellgesetzliche Regelung zu ersetzen vermag, wurde auch in der seitherigen Rechtsprechung des Bundesgerichts namentlich im Zusammenhang mit Universitätsgebühren betont (BGE 123 I 254 E. 2f S. 258; 121 I 273 E. 5a S. 277 f.; 120 Ia 1 E. 3g S. 6 f.). Daran fehlt es vorliegend: Es gab bis vor Kurzem an den schweizerischen Universitäten keine Zulassungsbeschränkungen und demzufolge auch keine Eignungstests, so dass nicht gesagt werden kann, die Erhebung von Gebühren für diese Tests entspreche einer langen Übung. Hinzu kommt, dass das geltende Universitätsgesetz aus dem Jahre 1995 stammt, mithin aus einer Zeit, da - anders als beim Erlass des alten Universitätsgesetzes von 1937, welches BGE 104 Ia 113 zu Grunde lag - die neuere bundesgerichtliche Rechtsprechung zum Legalitätsprinzip im Abgaberecht bekannt war. Es wäre dem Gesetzgeber zumutbar gewesen, zumindest den Grundsatz einer Kostenbeteiligung im Gesetz zu verankern, wenn er dies beabsichtigt hätte.