A.- Am 24. Oktober 1973 errichtete G. auf dem in seinem Eigentum stehenden Grundstück Kat. Nr. 8173 in Wädenswil einen Inhaberschuldbrief über 1,4 Mio Franken, der nach Kapitalvorgängen von insgesamt 2,2 Mio Franken im dritten Rang stand. Nach Darstellung der B. AG, der Klägerin im vorliegenden Prozess, war zwischen ihr, G. und der H. Bank vereinbart worden, dass das Grundbuchamt vorerst das Interimszeugnis und nach dessen Ausstellung den Schuldbrief an die H. Bank zustelle, die beide Dokumente an die B. AG weiterzuleiten habe. Tatsächlich wurde der H. Bank am 24. Oktober 1973 das Interimszeugnis zugestellt, und diese leitete es am gleichen Tag "auftrags des Grundeigentümers Herrn G." an die B. AG weiter. Als diese in der Folge (gemäss ihrer Darstellung nach wiederholten mündlichen Reklamationen) mit Brief vom 2. Januar 1975 um Aushändigung des Schuldbriefs ersuchte, teilte ihr die H. Bank mit Schreiben vom 7. Januar 1975 mit, sie habe den Schuldbrief am 21. Dezember 1973 an den Grundeigentümer G. ausgehändigt; einen Auftrag der B. AG, diesen Titel treuhänderisch für sie zu verwalten, habe sie nie erhalten.

B.- Mit Klageschrift vom 5. Juli 1976 belangte die B. AG die H. Bank beim Handelsgericht des Kantons Zürich auf Herausgabe des Schuldbriefs, eventuell auf gerichtliche Feststellung, dass die Beklagte zu dieser Herausgabe verpflichtet gewesen und durch die Verletzung dieser Pflicht schadenersatzpflichtig geworden sei, subeventuell auf Verurteilung der Beklagten zur Bezahlung eines gerichtlich zu bestimmenden, mindestens eine Million Franken erreichenden Betrages nebst Zins.

Das Handelsgericht wies die Klage mit Urteil vom 28. Mai 1979 mit der Begründung ab, die von der Klägerin behauptete Darlehensgewährung an G. und die nach ihrer Behauptung vereinbarte Sicherstellung des Darlehens durch den streitigen Inhaberschuldbrief seien als nichtig zu betrachten, weil sie gegen das im Zeitpunkt des Abschlusses dieser Rechtsgeschäfte in Kraft stehende Verbot der Anlage ausländischer Gelder in inländischen Grundstücken (BRB vom 26. Juni 1972, AS 1972 S. 1 062) verstossen hätten.

C.- Mit ihrer Berufung ans Bundesgericht beantragt die Klägerin Aufhebung dieses Urteils und Gutheissung ihrer Klage, eventuell Rückweisung der Sache an die Vorinstanz.

Die Beklagte beantragt, die Berufung abzuweisen.

1. Mit der Berufung wird in erster Linie geltend gemacht, zur Anwendung des BRB vom 26. Juni 1972 betreffend Verbot der Anlage ausländischer Gelder in inländischen Grundstücken (nachfolgend BRB) seien nicht die Zivilgerichte, sondern allein die im öffentlichen Recht vorgesehenen Instanzen zuständig. Das Handelsgericht habe daher seine Kompetenzen überschritten, indem es die Frage geprüft und bejaht habe, ob die im vorliegenden Fall streitigen Rechtsgeschäfte unter das erwähnte Verbot fielen. Diese Rüge kann mit der Berufung erhoben werden. Es ist eine Frage des Bundesprivatrechts, ob ein aus diesem Recht fliessender Anspruch mit der Begründung abgewiesen werden dürfe, das dem Anspruch zugrunde liegende Rechtsgeschäft sei wegen Verstosses gegen öffentlichrechtliche Vorschriften des Bundes nichtig. Ist die Streitsache als solche berufungsfähig, worüber im vorliegenden Fall, insbesondere unter dem Gesichtspunkt des Streitwerts, kein Zweifel bestehen kann, so kann mit der Berufung auch geltend gemacht werden, der angefochtene Entscheid verletze bundesrechtliche Zuständigkeitsvorschriften (BGE 99 II 279 E. 1, BGE 98 II 90, BGE 97 II 407 /408, BGE 86 I 331). Dabei handelt es sich indessen entgegen der Ansicht der Klägerin nicht um eine Berufung im Sinne von Art. 49 OG, weil nicht ein selbständiger Vor- oder Zwischenentscheid, sondern ein Endurteil des Handelsgerichts vorliegt.

Da die zivilrechtliche Nichtigkeitsbeschwerde im Sinne von Art. 68 Abs. 1 lit. b OG und die staatsrechtliche Beschwerde im Sinne von Art. 84 Abs. 1 lit. d OG im Verhältnis zur Berufung lediglich subsidiären Charakter haben (Art. 68 Abs. 1 Ingress und Art. 84 Abs. 2 OG), ist daher auf die Berufung einzutreten.

2. Gemäss Art. 4 BRB sind Rechtsgeschäfte, die gegen das Verbot der Anlage ausländischer Gelder in inländischen Grundstücken verstossen, nichtig (Abs. 1); die Nichtigkeit ist von Amtes wegen zu beachten (Abs. 2), insbesondere auch vom Grundbuchamt (Abs. 3). Daraus ergibt sich klar, dass auch der Zivilrichter die Nichtigkeit eines gegen das Verbot verstossenden Rechtsgeschäfts zu berücksichtigen hat, wenn er in einem Zivilprozess mit dieser Frage konfrontiert wird. Allerdings hat der Zivilrichter darüber nicht einen der materiellen Rechtskraft teilhaftigen Hauptentscheid zu treffen, sondern die Frage der Nichtigkeit lediglich vorfrageweise zu prüfen. Nach schweizerischer Rechtsauffassung sind jedoch Gerichte und Behörden befugt, vorfrageweise auch Rechtsfragen aus einem andern Rechtsgebiet zu prüfen, sofern ihnen diese Prüfung nicht durch eine gesetzliche Bestimmung verboten ist und soweit darüber die hiefür zuständige Behörde im konkreten Fall noch keinen rechtskräftigen Entscheid getroffen hat (BGE 102 Ib 369, BGE 101 III 8, BGE 98 Ia 120 mit Hinweisen).

Dem steht auch das in der Berufungsschrift zitierte Urteil der verwaltungsrechtlichen Kammer des Bundesgerichts vom 3. Mai 1974 i.S. EJPD gegen Reinhard, Ammann und Regierungsrat Uri (publiziert in ZBGR 55/1974 S. 310 ff.) nicht entgegen. Dort ging es lediglich darum, welche Behörde hauptfrageweise darüber zu entscheiden habe, ob ein bestimmtes Rechtsgeschäft unter das erwähnte Verbot falle oder nicht. Ebensowenig verfängt der Hinweis der Klägerin auf den Bundesbeschluss über den Erwerb von Grundstücken durch Personen im Ausland vom 23. März 1961 (BewB, SR 211.412.41). Im Marginale zu Art. 20 (ursprünglich Art. 11 [AS 1961, S. 206], in der Fassung vom 30. September 1965 Art. 12 [AS 1965, S. 1 241]) wird die Nichtigkeit vielmehr ausdrücklich als zivilrechtliche Folge bezeichnet. Die bundesrätlichen Botschaften zur ursprünglichen Fassung und zu den verschiedenen Änderungen des BewB lassen denn auch keinen Zweifel darüber aufkommen, dass stets die unbestrittene Meinung bestand, ein bewilligungspflichtiges Rechtsgeschäft sei als absolut nichtig zu betrachten, wenn die Bewilligung verweigert oder die Bewilligungspflicht umgangen worden sei oder aber wenn sonst unzweifelhaft feststehe, dass eine Bewilligung nicht erteilt werden könne; für die Zeit, während welcher die Bewilligungspflicht zweifelhaft ist oder die Bewilligung noch aussteht, wird Unwirksamkeit angenommen (BBl 1960 II, S. 1 285, 1964 II, S. 1 259/60, 1972 II, S. 1 263/64). Auch das Bundesgericht ist in seiner Rechtsprechung stets davon ausgegangen, die aus dem BewB folgende Nichtigkeit eines Rechtsgeschäfts sei vom Zivilrichter von Amtes wegen zu berücksichtigen (BGE 101 II 240, 100 II 323). Dass, wie die Klägerin geltend macht, das "Nichtigkeitsverfahren" im BRB bzw. im BewB geregelt und dort an die Verwaltungsbehörden übertragen ist, ändert nach dem Gesagten nichts daran, dass auch der Zivilrichter das Vorliegen einer Nichtigkeit zu prüfen und vorfrageweise darüber zu entscheiden hat. Haben die Verwaltungsbehörden über die Bewilligungspflicht und gegebenenfalls über die Erteilung oder Verweigerung der Bewilligung in einem konkreten Fall bereits einen rechtskräftigen Entscheid gefällt, so ist der Zivilrichter an diesen gebunden. Ist das nicht der Fall, so steht der Zivilrichter vor der Wahl, darüber entweder vorfrageweise selbst zu entscheiden oder aber, falls er die ihm zur Verfügung stehenden Unterlagen für nicht ausreichend hält, den Zivilprozess zu sistieren und den Parteien Frist anzusetzen, um einen Entscheid der Verwaltungsbehörden über die Frage nachzusuchen. Im vorliegenden Fall hat das Handelsgericht die ihm zur Verfügung stehenden Grundlagen für ausreichend erachtet, die Vorfrage selbst zu beantworten. Dazu war es nach dem Gesagten zuständig.

Wenn die Klägerin der Meinung war, das Handelsgericht sei nicht in der Lage, diese Vorfrage abschliessend zu beantworten, so hätte es ihr freigestanden, um eine Sistierung des Prozesses nachzusuchen und selbst ein Verfahren bei den zuständigen Verwaltungsbehörden darüber einzuleiten, ob die fraglichen Rechtsgeschäfte gegen das Verbot der Anlage ausländischer Gelder in inländischen Grundstücken verstossen.

3. Es trifft zu, dass ein bewilligungspflichtiges Rechtsgeschäft während der Zeit, da die Bewilligung noch nicht erteilt ist, sich in einem Schwebezustand befindet und für die Vertragsparteien eine bedingte Verbindlichkeit entfaltet; mit der Erteilung der Bewilligung wird es definitiv verbindlich, mit ihrer Verweigerung nichtig. Darum geht es jedoch, wie das Handelsgericht richtig festgestellt hat, im vorliegenden Fall nicht. Das Verbot der Anlage ausländischer Gelder in inländischen Grundstücken galt, abgesehen von hier nicht in Frage stehenden Ausnahmen (Art. 3 BRB), absolut; für ein Bewilligungsverfahren bestand kein Raum. Ein Rechtsgeschäft konnte deshalb nicht bis zum Entscheid über die Erteilung oder Verweigerung einer Bewilligung in der Schwebe bleiben; es war zum vornherein nichtig, wenn es gegen das Verbot verstiess. Wohl konnte in bestimmten Grenzfällen ungewiss sein, ob ein bestimmtes Geschäft unter das Verbot falle oder nicht. Daraus entstand aber kein Schwebezustand, sondern lediglich eine vorläufige Ungewissheit über die Gültigkeit oder Nichtigkeit des Geschäftes. Von einer besonderen, von jener des Art. 20 OR abweichenden Nichtigkeit kann entgegen der Ansicht der Klägerin daher keine Rede sein.

4. Als nichtige Rechtsgeschäfte hat das Handelsgericht das von der Klägerin an G. gewährte Darlehen und die Sicherstellung dieses Darlehens durch einen Inhaberschuldbrief bezeichnet. Welche zivilrechtlichen Folgen die Nichtigkeit dieser Geschäfte im Verhältnis zwischen der Klägerin und G. hat, ist im vorliegenden Verfahren nicht zu entscheiden. Es geht lediglich darum, ob in einem Prozess zwischen der Klägerin und der Beklagten die Nichtigkeit zu berücksichtigen sei. Die Ausführungen in der Berufungsschrift über die zivilrechtlichen Folgen eines nichtigen Rechtsgeschäfts unter den vertragsschliessenden Parteien gehen daher an der Sache vorbei.

Da die Nichtigkeit im vorliegenden Verfahren lediglich vorfrageweise in einem Zivilstreit zwischen der Klägerin und der Beklagten beurteilt wird, kommt dem Entscheid darüber im Verhältnis zwischen der Klägerin und G. auch keine materielle Rechtskraft zu. Der Klägerin bleibt das Recht gewahrt, sich im Verhältnis zu G. neuerdings auf den Standpunkt zu stellen, die Rechtsgeschäfte seien gültig, und darüber gegebenenfalls auch einen Entscheid der Verwaltungsbehörden zu erwirken. Damit ist auch dem weiteren Argument der Klägerin, an die Nichtigerklärung eines Rechtsgeschäfts habe sich zwingend ein Verfahren über die zivilrechtlichen Folgen dieser Nichtigkeit unter den Parteien anzuschliessen, der Boden entzogen.

Es trifft sodann auch nicht zu, dass die Nichtigerklärung eines Rechtsgeschäfts stets ein Verfahren nach Art. 22 BewB (Art. 13 in der Fassung vom 23. März 1961) nach sich ziehen würde. Wie sich aus dem Wortlaut dieser Bestimmung ergibt, hat die kantonale Behörde nur dann auf Wiederherstellung des ursprünglichen Rechtszustands zu klagen, wenn jemand ein Recht aus einem mangels Bewilligung ungültigen Rechtsgeschäft erworben hat, z.B. wenn der Erwerber eines Grundstücks als Eigentümer im Grundbuch eingetragen worden ist und sich nachträglich ergibt, dass er die Voraussetzungen für den Erwerb gemäss BewB nicht erfüllt. Im vorliegenden Fall besteht kein Anlass zu einer solchen Klage, da die Klägerin den streitigen Schuldbrief gar nie erworben hat und unter der Herrschaft des BRB auch nicht erwerben konnte, wie sich im folgenden ergibt.

5. In materieller Hinsicht ist das Handelsgericht bei der vorfrageweisen Prüfung, ob ein Verstoss gegen das Verbot der Anlage ausländischer Gelder in inländischen Grundstücken vorliege, von der von der Klägerin gegebenen Sachdarstellung ausgegangen, wonach die Klägerin G. ein Darlehen von 1,4 Millionen Franken gewährt und G. die Sicherstellung dieses Darlehens durch den streitigen Schuldbrief versprochen habe. Das Gericht hat festgestellt, bei der Klägerin handle es sich um eine ausländisch beherrschte Gesellschaft und das fragliche Rechtsgeschäft habe den Zweck verfolgt, die Bewilligungspflicht gemäss BewB bzw. das Verbot des BRB zu umgehen. Zu diesem Ergebnis ist das Handelsgericht auf Grund einer eingehenden Beweiswürdigung gelangt, die der Überprüfung durch das Bundesgericht entzogen ist. Was in der Berufung gegen diese Betrachtungsweise vorgebracht wird, ist nicht dazu angetan, der Vorinstanz eine Verletzung von Bundesrecht zur Last zu legen:

a) Ob und in welchem Ausmass die Gewährung von Grundpfanddarlehen im Normalfall unter dem Gesichtspunkt des BewB bewilligungspflichtig ist bzw. nach dem BRB vorübergehend verboten war, ist im vorliegenden Fall nicht entscheidend. Das Handelsgericht ist aufgrund einer einlässlichen Beweiswürdigung zum Ergebnis gelangt, die im vorliegenden Fall streitigen Rechtsgeschäfte stellten einzelne Glieder in einer ganzen Kette von Immobiliengeschäften dar, die Dr. M. über die von ihm beherrschte Klägerin getätigt habe, um die Bewilligungspflicht bzw. das Anlageverbot zu umgehen. Geht man von dieser ohne Zweifel richtigen Betrachtungsweise aus, die übrigens ebenfalls weitgehend eine tatsächliche Feststellung darstellt, so ist nicht mehr zu prüfen, ob sich der Grundpfandgläubiger im einzelnen Fall mit der Pfanderrichtung einen beherrschenden Einfluss auf das Grundstück sichern konnte. Ebensowenig kommt etwas auf die Frage an, wie weit das Grundstück für den Inhaberschuldbrief Deckung bot. Das durfte das Handelsgericht um so eher offen lassen, als es von der für das Bundesgericht ebenfalls verbindlichen tatsächlichen Annahme ausging, G. und seine Gesellschaften seien lediglich als Strohmänner für Dr. M. und die Klägerin aufgetreten.

b) Ob der streitige Inhaberschuldbrief in der Folge als Faustpfand in Umlauf gesetzt wurde, ist unerheblich. Das Handelsgericht hat die streitige Pfandbestellung lediglich im Hinblick darauf als nichtig erklärt, dass die Klägerin geltend gemacht hatte, es sei vereinbart worden, dass ihr dieser Inhaberschuldbrief als grundpfändliche Sicherheit übergeben werde. Ob der Schuldbrief als solcher absolut nichtig ist und bleibt, obwohl die von der Klägerin behauptete ursprüngliche Absicht der Parteien nicht verwirklicht werden konnte, hat das Handelsgericht nicht entschieden und brauchte es auch nicht zu entscheiden. Es hat lediglich gefunden, das von der Klägerin behauptete Vertragswerk zwischen ihr, G. und der Beklagten müsste als nichtig betrachtet werden, falls es tatsächlich so vereinbart worden sein sollte, wie die Klägerin behaupte. In dieser Betrachtungsweise aber liegt offensichtlich keine Verletzung von Bundesrecht.

c) Von einer blossen Teilnichtigkeit kann selbstverständlich keine Rede sein, wenn man von dem von der Vorinstanz festgestellten Sachverhalt ausgeht.

d) Ebensowenig verfängt das Argument, die Beklagte könne sich nicht auf Nichtigkeit berufen, weil diese sich gegebenenfalls nur unter den Parteien auswirken könnte. Das Handelsgericht hat nicht bloss das zwischen der Klägerin und G. abgeschlossene Darlehensgeschäft, sondern die beabsichtigte Sicherstellung dieses Darlehens nichtig erklärt, die dadurch hätte zustande kommen sollen, dass das Grundbuchamt den Schuldbrief an die Beklagte hätte zustellen sollen, die ihrerseits verpflichtet gewesen wäre, ihn der Klägerin auszuhändigen. Es handelte sich somit nach der vom Handelsgericht als richtig unterstellten Sachdarstellung der Klägerin um ein Rechtsverhältnis, an welchem sie, die Beklagte und G. beteiligt waren und das durch Mitwirkung aller dieser drei Parteien hätte zustande kommen sollen. Nicht die Schuldbrieferrichtung als solche, sondern die vorgesehene Übergabe an die Klägerin durch Vermittlung der Beklagten wurde als nichtig erachtet.

e) Dass die Berufung der Klägerin auf Rechtsmissbrauch nicht durchschlägt, hat bereits das Handelsgericht mit der zutreffenden Begründung dargelegt, da die Nichtigkeit von Amtes wegen zu berücksichtigen sei, komme gar nichts darauf an, ob die Beklagte sich auf sie berufe oder nicht. Erweist sich ein Rechtsgeschäft als nichtig und ist die Nichtigkeit von Amtes wegen zu berücksichtigen, so muss der Richter die Erfüllung dieses Rechtsgeschäfts auch dann versagen, wenn sich keine Partei auf die Nichtigkeit beruft oder wenn die Berufung einer Partei auf Nichtigkeit sich als rechtsmissbräuchlich erweist. Ein derartiger Rechtsmissbrauch einer Partei könnte bestenfalls Schadenersatzfolgen nach sich ziehen.

6. Der Berufungsantrag auf Gutheissung der Klage umfasst auch das Subeventualbegehren auf Zusprechung eines "vom Gericht festzusetzenden, mindestens aber 1 Million Franken erreichenden Betrages" nebst Zins. Art. 55 Abs. 1 lit. b OG verlangt bei Forderungsklagen die ziffernmässige Angabe des zuzusprechenden Betrages (BGE 99 II 180 /181 E. 2 mit Hinweisen). Diesen Anforderungen genügt das Subeventualbegehren nur insoweit, als damit mindestens 1 Million Franken verlangt werden. Auf das Begehren kann jedoch auch in diesem beschränkten Umfang nicht eingetreten werden, da es in der Berufungsschrift entgegen der Vorschrift von Art. 55 Abs. 1 lit. c OG mit keinem Wort begründet wird (BGE 92 II 67).

Demnach erkennt das Bundesgericht:

Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Handelsgerichts des Kantons Zürich vom 28. Mai 1979 wird bestätigt.