X. begann im Wintersemester 1985/86 zum zweiten Mal mit dem Besuch des Jahreskurses V am Zahnärztlichen Institut der Universität Zürich. Wegen ungenügender Leistungen wurde X. im Laufe des Semesters in den Jahreskurs IV zurückversetzt. Die dagegen erhobenen Rechtsmittel blieben erfolglos. Das Bundesgericht weist die gegen den Entscheid des Regierungsrates erhobene staatsrechtliche Beschwerde ab.

Aus den Erwägungen:

1.- a) Gegen kantonale Erlasse oder Verfügungen kann wegen Verletzung verfassungsmässiger Rechte der Bürger staatsrechtliche Beschwerde erhoben werden (Art. 84 Abs. 1 lit. a OG). Sie ist allerdings nur zulässig, wenn die behauptete Rechtsverletzung nicht sonstwie durch Klage oder Rechtsmittel beim Bundesgericht oder bei einer anderen Bundesbehörde gerügt werden kann.

Ausser der staatsrechtlichen Beschwerde kommt im vorliegenden Fall die Verwaltungsgerichtsbeschwerde ans Bundesgericht in Betracht. Mit ihr können Verfügungen im Sinne von Art. 5 VwVG angefochten werden, d.h. behördliche Anordnungen im Einzelfall, die sich auf öffentliches Recht des Bundes stützen. Der angefochtene Entscheid des Regierungsrates beruht zwar auf kantonalem Recht; zu den mit Verwaltungsgerichtsbeschwerde anfechtbaren Verfügungen zählen jedoch auch Verfügungen, die sich richtigerweise auf öffentliches Recht des Bundes hätten stützen sollen (BGE 112 Ib 165 E. 1). Dies setzt voraus, dass überhaupt eine eidgenössische Regelung besteht, die hätte angewandt werden können.

Die gestützt auf Art. 6 des Bundesgesetzes vom 19. Dezember 1877 betreffend die Freizügigkeit des Medizinalpersonals erlassene Allgemeine Medizinalprüfungsverordnung vom 19. November 1980 (AMV; SR 811.112.1) regelt die Organisation der Prüfungen, die Zulassung und die Befreiung von den Prüfungen und das Prüfungsverfahren; sie betrifft jedoch nicht die Organisation des Studiums und die Zulassung zu diesem. Die damit zusammenhängenden Fragen müssen vom kantonalen Recht gelöst werden. Öffentliches Recht des Bundes, welches anstelle des kantonalen Rechts anwendbar gewesen wäre, ist demnach nicht vorhanden, weshalb die Verwaltungsgerichtsbeschwerde ans Bundesgericht soweit ausgeschlossen ist. In solchen Fällen steht als subsidiäres Rechtsmittel die staatsrechtliche Beschwerde wegen Verletzung der derogatorischen Kraft des Bundesrechts zur Verfügung (vgl. E. 3).

Gegen den Regierungsratsentscheid gibt es auch kein kantonales Rechtsmittel. Die staatsrechtliche Beschwerde ist somit grundsätzlich zulässig.

3.- a) Die Beschwerdeführerin rügt, das Qualifikationsreglement des Zahnärztlichen Instituts verletze das in Art. 2 der Übergangsbestimmungen zur Bundesverfassung (UebBest. BV) enthaltene Prinzip der derogatorischen Kraft des Bundesrechts. Das Qualifikationsreglement mache den Zugang zu den eidgenössisch geregelten Prüfungen der Zahnärzte von zusätzlichen Auflagen und Bedingungen abhängig, die im Bundesrecht keine Stütze fänden und dessen Ziel und Zweck sogar widersprächen. Die gestützt auf Art. 33 BV erlassenen Bundesvorschriften regelten nicht nur die Prüfung selber, sondern auch den Studiengang, der zu den Prüfungen führe.

Der Grundsatz der derogatorischen Kraft des Bundesrechts regelt an sich das Verhältnis zwischen dem Bund und den Kantonen; er hat aber auch unmittelbare Auswirkungen auf die Rechtsstellung des Einzelnen und ist als verfassungsmässiges Recht des Bürgers anerkannt. Die erhobene Rüge ist somit zulässig.

b) Art. 33 BV stellt den Kantonen anheim, die Ausübung der wissenschaftlichen Berufsarten von einem Fähigkeitsausweis abhängig zu machen (Abs. 1). Die Bundesgesetzgebung hat dafür zu sorgen, dass solche Ausweise für die ganze Schweiz gültig erworben werden können (Abs. 2). Damit soll ein in der ganzen Schweiz anerkanntes Diplom geschaffen werden. Nach Abs. 2 der Verfassungsvorschrift ist allein der Bund zuständig, das Prüfungsverfahren und besonders die Zulassung zu den Prüfungen zu regeln. Beides richtet sich deshalb ausschliesslich nach den bundesrechtlichen Vorschriften, im vorliegenden Fall nach Art. 6 des Bundesgesetzes vom 19. Dezember 1877 betreffend die Freizügigkeit des Medizinalpersonals in der Schweizerischen Eidgenossenschaft (SR 811.11), Art. 20 AMV und Art. 11 der Verordnung vom 19. November 1980 über die Prüfungen der Zahnärzte (Prüfungsverordnung; SR 811.112.3).

Der Bund hat im Medizinalwesen nur die Prüfungen einheitlich geregelt, jedoch keine eigenen Einrichtungen für die Ausbildung geschaffen. Die Kantone bleiben deshalb grundsätzlich zuständig, die Zulassung zum Studium und dessen Ablauf zu ordnen. Die kantonalen Vorschriften müssen dem Bundesrecht entsprechen und dürfen dessen Durchführung nicht vereiteln. Die Kantone dürfen besonders die Zulassung zu den Prüfungen nicht von Bedingungen abhängig machen, die über die bundesrechtlich vorgesehenen Anforderungen hinausgehen. Sie haben dabei aber den Besonderheiten der betreffenden Ausbildung Rechnung zu tragen.

Solche Besonderheiten bestehen beim Studium der Zahnheilkunde. Die Vorbereitung auf die Prüfung ist nicht möglich, ohne dass der Kandidat schon während des Studiums am Patienten gearbeitet hat. Die bereits erwähnte bundesrechtliche Prüfungsverordnung schreibt in Art. 14 ausdrücklich vor, dass im Rahmen der Prüfung Behandlungen am Patienten vorzunehmen sind und dass Vorarbeiten dazu schon im vorangehenden Semester durchgeführt werden können. Da die Arbeit am Patienten eine weite Verantwortung für dessen Gesundheit voraussetzt, müssen völlig ungeeignete Studenten von dieser Arbeit ausgeschlossen werden können. Auf dem Gebiet der zahnärztlichen Ausbildung gibt es dazu keine bundesrechtlichen Vorschriften. Da die Kantone zuständig sind, die Ausbildung der Studenten zu regeln, haben sie diese Lücke im Bundesrecht durch eigene Vorschriften zu schliessen. Das angefochtene Qualifikationsreglement tut dies in sinnvoller Weise, denn es erlaubt, einen Studenten, welcher den Patienten gefährden könnte, von der Arbeit am Patienten auszuschliessen.

Die vom Kanton Zürich getroffene Regelung widerspricht damit nicht dem Sinn und Zweck der bundesrechtlichen Vorschriften, sondern ergänzt diese. Sie verletzt das Prinzip der derogatorischen Kraft des Bundesrechts von Art. 2 UebBest. BV nicht.