A.- Dominik Steiner (geb. 1967) leidet an einem leichten psychoorganischen Syndrom und feinmotorischen Störungen der Fingerfertigkeit. Nach Absolvierung der Primarschule wurde er im Frühjahr 1979 probeweise in die öffentliche Sekundarschule aufgenommen. Am 15. Juni 1979 teilte seine Mutter der Invalidenversicherungs-Kommission mit, der Schulpsychologische Dienst des Kantons St. Gallen rate in Anbetracht der schwachen schriftlichen Leistungen zum Besuch einer als Internat geführten privaten Sekundarschule; die Invalidenversicherung werde ersucht, hieran im Sinne einer Sonderschulungsmassnahme Beiträge zu leisten. Im Rahmen des daraufhin eingeleiteten Abklärungsverfahrens bestätigte der Sekundarschulrat mit Schreiben vom 28. Juni 1979, Dominik Steiner könne aufgrund der in der achtwöchigen Probezeit gezeigten schlechten Leistungen, welche zum Teil auf seine motorischen Störungen zurückzuführen seien, nicht mehr in der Sekundarschule verbleiben. In einem Bericht vom 9. Juli 1979 stellte der Schulpsychologische Dienst den Antrag auf "Sonderschulung im internen kath. Knabeninstitut St. Martin (Internatssekundarschule) in Vättis/SG ab August 1979 für die Dauer von 3 Jahren". Nach Einholung einer Stellungnahme des Bundesamtes für Sozialversicherung (BSV) lehnte die Ausgleichskasse des Kantons St. Gallen die Gewährung von Sonderschulbeiträgen am 29. Oktober 1979 verfügungsweise mit der Begründung ab, die Alpine Schule St. Martin, Vättis, sei nicht als Sonderschule der Invalidenversicherung zugelassen worden.

B.- Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen erhobene Beschwerde nach Beizug eines vom 12. März 1980 datierten Berichtes der kantonalen Sonderschulkommission am 9. Dezember 1980 gut. Der kantonale Richter nahm in seinem Entscheid einerseits an, Dominik Steiner sei sonderschulbedürftig; anderseits verfüge die Alpine Schule St. Martin zwar weder über die eidgenössische noch über die kantonale Zulassung als Sonderschule; doch liege ein "Sonderfall" im Sinne von Rz. 24 des Kreisschreibens des BSV über die Zulassung von Sonderschulen in der Invalidenversicherung vor, indem das Institut dank der individuellen Unterrichtsgestaltung und dank der Betreuung ausserhalb der Schulzeit dem Versicherten die Absolvierung des Sekundarschulpensums ermögliche; deshalb stehe einer Anerkennung dieses Institutes als Sonderschule im vorliegenden Fall nichts entgegen, insbesondere nicht die Rechtsprechung des Eidg. Versicherungsgerichts, wonach bei Privatschulen, welche den Anforderungen der Volksschule entsprechen, der Anspruch auf Sonderschulbeiträge entfalle.

C.- Das BSV führt Verwaltungsgerichtsbeschwerde und beantragt die Aufhebung des vorinstanzlichen Entscheides.

Der Versicherte lässt auf Abweisung schliessen.

1. a) Nach Art. 19 Abs. 1 IVG werden an die Sonderschulung bildungsfähiger Minderjähriger, denen infolge Invalidität der Besuch der Volksschule nicht möglich oder nicht zumutbar ist, Beiträge gewährt (Satz 1); zur Sonderschulung gehört vorab die eigentliche Schulausbildung (Satz 2). Art. 19 Abs. 3 IVG ermächtigt den Bundesrat, die erforderlichen Voraussetzungen für die Gewährung der Beiträge im einzelnen zu umschreiben. Gestützt hierauf bezeichnete der Bundesrat in Art. 8 IVV die Massnahmen, welche im Rahmen der Sonderschulung von der Invalidenversicherung zu übernehmen sind. Diese umfassen insbesondere den regelmässigen Sonderschulunterricht für Minderjährige, die infolge Invalidität den Anforderungen der Volksschule nicht zu genügen vermögen, in Form einer dem Gebrechen angepassten eigentlichen Schulausbildung (Art. 8 Abs. 1 lit. a IVV). Als Volksschule gilt der im Rahmen der Schulpflicht vermittelte Unterricht mit Einschluss des Unterrichts in Hilfs- und Förderklassen (Art. 8 Abs. 2 IVV).

Wer Beiträge an Sonderschulunterricht verlangen kann, ergibt sich aus Art. 9 IVV. Nach dieser Bestimmung zerfallen die Anspruchsberechtigten in zwei Gruppen. Art. 9 IVV räumt nämlich das Anrecht auf Beiträge einerseits jenen minderjährigen Versicherten ein, bei denen eine der in Abs. 1 lit. a bis f beispielhaft aufgezählten Behinderungen vorliegt (1. Gruppe); anderseits werden jene Minderjährigen berücksichtigt, "denen infolge eines anderen körperlichen oder geistigen Gebrechens der Besuch der Volksschule nicht möglich oder nicht zumutbar ist" (Abs. 1 lit. g: 2. Gruppe, 1. Variante) oder die "infolge mehrerer Gebrechen dem Unterricht der Volksschule nicht zu folgen vermögen", auch "wenn die für die einzelnen Gebrechen erforderlichen Voraussetzungen gemäss Absatz 1 Buchstaben a bis f nicht erfüllt sind" (Abs. 2: 2. Gruppe, 2. Variante).

In bezug auf das Abklärungsverfahren unterscheiden sich die beiden Gruppen beträchtlich: Die in Art. 9 Abs. 1 lit. a bis f IVV aufgeführten Voraussetzungen lassen sich durch Mess- oder Grenzwerte oder durch die klare Umschreibung des rechtserheblichen Gesundheitsschadens so definieren, dass ihre Feststellung in der Praxis verhältnismässig leicht und ermessensunabhängig vorgenommen werden kann. Ist sodann einer der genannten Tatbestände erstellt - also zum Beispiel die Geistesschwäche durch Tests ausgewiesen, die Blindheit, die Sehschwäche, die Taubheit oder der Hörverlust durch Messresultate bestätigt -, knüpft sich daran regelmässig die Leistungspflicht der Invalidenversicherung, indem die Sonderschulbedürftigkeit diesfalls vermutet wird, ohne dass es in der Regel noch weiterer Untersuchungen bedürfte. Demgegenüber erfordern die Voraussetzungen der zweiten Gruppe (Art. 9 Abs. 1 lit. g und Abs. 2 IVV) über die (ärztliche) Feststellung eines bestimmten gesundheitlichen Defektzustandes hinaus eine vorsichtige Gewichtung und Abwägung der wechselseitigen Auswirkungen zwischen der bestehenden Behinderung und dem Volksschulbesuch. Hiefür sind verschiedene fachtechnische Abklärungen nötig, die einerseits durch den Arzt und anderseits durch die für Schulfragen zuständigen Stellen der Gemeinden oder der Kantone erfolgen sollen. Dem Mediziner obliegen dabei im wesentlichen die Feststellung und die Beurteilung der Gesundheitsschädigung sowie der gesundheitlichen Auswirkungen des Besuchs einer öffentlichen Volksschule; die für schulische Belange zuständige Behörde hat demgegenüber im wesentlichen zu Fragen der geeigneten Schulung und des geeigneten Schultyps Stellung zu nehmen. Ein solches abgestimmtes Vorgehen der verschiedenen Fachleute gibt Gewähr dafür, dass alle Umstände, die im Einzelfall von medizinischer, pädagogischer oder therapeutischer Bedeutung sein können, bestmöglich erhellt werden. Die genannten Abklärungsmassnahmen sind deshalb vom Eidg. Versicherungsgericht wiederholt als zweckmässig und notwendig bezeichnet worden (nicht veröffentlichte Urteile Frei vom 11. August 1982, Bamert vom 4. August 1980 und Spycher vom 20. Januar 1976).

b) Der Beschwerdegegner leidet an einer Form des Geburtsgebrechens Ziffer 390, nämlich einem leichten psychoorganischen Syndrom und feinmotorischen Störungen der Fingerfertigkeit, welche sich u.a. in Schreibschwierigkeiten äussern (Bericht des Dr. med. D. vom 9. September 1976). Aufgrund dieser ärztlichen Beurteilung ist anzunehmen, dass beim Beschwerdegegner ein anderes körperliches oder geistiges Gebrechen im Sinne von Art. 9 Abs. 1 lit. g IVV vorliegt. Fraglich ist, ob ihm deswegen der Besuch der öffentlichen Volksschule auf der Sekundarstufe nicht möglich oder nicht zumutbar ist.

Laut dem Bericht des Schulpsychologischen Dienstes vom 9. Juli 1979 bestand der Beschwerdegegner die Probezeit in der Sekundarschule nicht, weil er vor allem in den Fächern scheiterte, die graphomotorische Grundlagen erfordern (Sprache schriftlich, speziell französisches Diktat, geometrisches Zeichnen); im Vergleich zur festgestellten Intelligenz würden sich die graphomotorischen Schwierigkeiten besonders krass bemerkbar machen; sodann liege auch ein Mangel an Konzentrationsfähigkeit vor. Diese Darstellung deckt sich im wesentlichen mit den Angaben im Bericht des Sekundarschulrates vom 23. Juni 1979, wonach das Scheitern des Sekundarschulbesuches jedenfalls zum Teil auf die motorischen Störungen zurückzuführen ist. Dass begleitende Massnahmen pädagogisch-therapeutischer Art gemäss Art. 8 Abs. 1 lit. c IVV hieran etwas zu ändern vermöchten, wird von keiner Seite behauptet und ist nach der Aktenlage auch nicht anzunehmen. Somit ist erstellt, dass der Beschwerdegegner wegen seines Leidens die öffentliche Volksschule auf der Sekundarstufe nicht besuchen kann. Folglich stehen ihm gestützt auf Art. 9 Abs. 1 lit. g IVV Beiträge an Sonderschulunterricht grundsätzlich zu.

2. a) Schulen, die invaliden Minderjährigen einen dem Gebrechen angepassten regelmässigen Sonderschulunterricht im Sinne von Art. 8 Abs. 1 lit. a IVV erteilen wollen, bedürfen nach Art. 26bis Abs. 1 und 2 IVG einer Zulassung, um ihren Schülern Anspruch auf Beiträge der Invalidenversicherung zu vermitteln. Der Bundesrat übertrug die Zuständigkeit zum Erlass von Zulassungsvorschriften gemäss Art. 24 Abs. 1 IVV dem Eidg. Departement des Innern, das gestützt auf diese Delegation am 11. September 1972 die Verordnung über die Zulassung von Sonderschulen in der Invalidenversicherung (SZV) erlassen hat. Deren Art. 10 sieht vor, dass für die Zulassung von Sonderschulen, die ständig mehr als vier Schüler mit Anspruch auf den Sonderschulbeitrag der Invalidenversicherung unterrichten, das BSV zuständig ist (Abs. 1); in den übrigen Fällen liegt die Zuständigkeit für die Anerkennung als Sonderschule beim Kanton, in dem sich das Institut befindet (Abs. 2).

Nach ständiger Rechtsprechung entfällt der Anspruch auf Beiträge an Sonderschulunterricht, wenn das Institut, für dessen Besuch Beiträge verlangt werden, nicht im dafür vorgesehenen Verfahren tatsächlich formell als Sonderschule zugelassen worden ist (ZAK 1980 S. 273 f. Erw. 1b und Erw. 2 i.f., 1978 S. 32 Erw. 2 und 3).

b) Aus den Akten geht hervor, dass die Alpine Schule St. Martin in Vättis weder durch das BSV (generell) noch durch die Sonderschulkommission als (im Falle des Beschwerdegegners) zuständige kantonale Instanz als Sonderschule zugelassen worden ist. Der Bericht vom 12. März 1980, in welchem die Sonderschulkommission zum Ausdruck brachte, dass das genannte Institut aufgrund der vollzogenen Abklärungen "als geeignete Sonderschulmassnahme im Einzelfall zu bezeichnen sei", weshalb "bei einem evtl. Rekursfall die Sonderschulung in der Alpinen Schule Vättis" unterstützt werden könne, ändert hieran nichts. Somit ist festzustellen, dass es vorliegend an der formellen Anspruchsvoraussetzung der Sonderschulzulassung fehlt.

Die Vorinstanz wendet hiegegen in ihrer Stellungnahme zur Verwaltungsgerichtsbeschwerde ein, es gehe nicht an, dem Sozialversicherungsrichter in Fällen wie dem vorliegenden die Zuständigkeit abzusprechen, im Rahmen eines Beschwerdeverfahrens betreffend die Gewährung von Sonderschulbeiträgen über die Zulassung einer Sonderschule zu befinden. Diese Auffassung verkennt, dass Gesetz und Verordnung zwischen den materiellen Anspruchsvoraussetzungen für Sonderschulbeiträge einerseits (Art. 19 IVG, Art. 8 f. IVV) und dem Erfordernis der formellen Zulassung anderseits (Art. 26bis IVG, Art. 24 Abs. 1 IVV) klar unterscheiden. Gestützt auf die letztgenannten Bestimmungen sieht die SZV besondere Zulassungsvoraussetzungen und ein spezielles Zulassungsverfahren für Institutionen und Einzelpersonen vor, die im Rahmen der Invalidenversicherung invalide Minderjährige unterrichten. Die Invalidenversicherung darf die Sonderschulung nur subventionieren, wenn die betreffende Schule zur Tätigkeit auf dem Gebiet der Invalidenversicherung zugelassen worden ist. Weder Invalidenversicherungs-Kommission, Ausgleichskasse noch Richter sind zuständig, über diese Zulassung zu befinden oder Zulassungsverfahren einzuleiten (vgl. ZAK 1982 S. 325). Dies ist nach der durch Gesetz und Verordnung getroffenen Ordnung in allen Fällen Sache des BSV oder der zuständigen kantonalen Amtsstelle. Ihnen obliegt es, abzuklären, ob das Institut generell oder bezogen auf einen einzelnen Schüler die Zulassungsvoraussetzungen (Art. 2 ff. SZV) erfüllt.

3. Aus dem Gesagten folgt, dass der vorinstanzliche Entscheid aufzuheben ist. Die Ablehnungsverfügung vom 29. Oktober 1979 erweist sich als richtig. Im Hinblick darauf, dass die Sonderschulbedürftigkeit des Beschwerdegegners erstellt ist (vgl. Erw. 1b hievor) und unter Berücksichtigung der Möglichkeit, dass die Alpine Schule St. Martin nachträglich bei der Sonderschulkommission des Kantons St. Gallen ein Gesuch um Zulassung als Sonderschule im Falle des Beschwerdegegners stellen kann (vgl. Art. 12 Abs. 1 SZV), rechtfertigt es sich, folgendes beizufügen.

Laut dem Schreiben der Sonderschulkommission vom 3. April 1978 an das BSV besitzt die Alpine Schule St. Martin in Vättis die kantonalrechtliche Anerkennung als private Sekundarschule, die in allen Klassen nach dem öffentlichen Lehrplan geführt wird. Das BSV beruft sich nun auf die Rechtsprechung des Eidg. Versicherungsgerichts, wonach beim Besuch von Privatschulen, die den Anforderungen der Volksschule entsprechen, der Anspruch auf Sonderschulbeiträge entfällt (ZAK 1980 S. 273 Erw. 1a, 1978 S. 31 Erw. 1). Die Vorinstanz ist der Auffassung, dass diese Rechtsprechung in Anbetracht der Rz. 22 bis 24 ("Zulassung in Sonderfällen") des seit 1. Januar 1979 in Kraft befindlichen Kreisschreibens des BSV über die Zulassung von Sonderschulen in der Invalidenversicherung nicht mehr gelte. Bedeutung und Rechtsbeständigkeit dieser Weisungen brauchen indessen vorliegend nicht geprüft zu werden. Es genügt, darauf hinzuweisen, dass die erwähnte Rechtsprechung nicht bezweckt, Privatschulen, die Volksschulunterricht anbieten, schlechthin als mögliche Träger von Sonderschulmassnahmen der Invalidenversicherung auszuschliessen. Denn es sind auch jene Versicherten einer angemessenen Sonderschulung zuzuführen, die im Sinne von Art. 9 Abs. 1 lit. g oder Abs. 2 IVV dem an der öffentlichen Schule erteilten Unterricht nicht folgen können - auch nicht mit Hilfe ergänzender Massnahmen nach Art. 8 Abs. 1 lit. c IVV -, dagegen aber bei geeigneten schulisch-pädagogischen Vorkehren im Rahmen einer Privatschule in der Lage wären, das im kantonalen Lehrplan vorgeschriebene (Primar- oder Sekundar-) Pensum zu bewältigen. Entscheidend ist somit, welche Funktion der betreffenden Privatschule im Einzelfall zukommt. Beschränkt sich das private Institut auf die Vermittlung von Volksschullehrstoff in einer der Unterrichtsgestaltung an der öffentlichen Volksschule vergleichbaren Weise, ist die Zulassung als Sonderschule in Übereinstimmung mit der bisherigen Rechtsprechung ausgeschlossen. Daran ist festzuhalten. Kommt die Privatschule anderseits der Behinderung eines Schülers in der Weise entgegen, dass sie auf die invaliditätsbedingten Bedürfnisse abgestimmte Mittel zur Verfügung stellt (Lehrmethoden, Lehrkräfte, Einrichtungen u.a.m.), wodurch erst die im kantonalen Lehrplan aufgestellten Ziele erreicht werden können, fällt eine Zulassung als Sonderschule in Betracht. Unter solchen Umständen tritt die Privatschule eben nicht mehr nur "in ihrer Eigenschaft als Volksschule" (ZAK 1980 S. 273 Erw. 1b, 1978 S. 32 Erw. 2) auf, sondern wesentlich auch als Institution der Förderung sonderschulbedürftiger Minderjähriger. In diesem Sinne ist die bisherige Rechtsprechung zu präzisieren.

Wann eine Privatschule mit Volksschulunterricht im Einzelfall als Sonderschule zugelassen werden kann, lässt sich nicht in allgemeingültiger und abschliessender Weise sagen. Jedenfalls muss eine solche Lösung durch die mit den Abklärungen betrauten Stellen (vgl. Erw. 1a hievor) gründlich geprüft werden. Als Regel wird gelten, dass allein der Umstand besonderer Rücksichtnahme seitens der Privatschulorgane, die dem behinderten Schüler ein "Mitschwimmen" im ansonst normal geführten Klassenverband erlaubt, zur Anerkennung nicht genügt. Erforderlich wird vielmehr grundsätzlich sein, dass sich die gewählte Privatschule von ihrem pädagogischen Konzept her (z.B. durch individualisierte Unterrichtsgestaltung, individuelle Betreuung ausserhalb der Schulzeit o.ä.) in einer Weise für die Sonderschulung eignet, die über die Möglichkeiten des jeweils in Frage stehenden öffentlichen Volksschultypus hinausgeht.

Demnach erkennt das Eidg. Versicherungsgericht:

In Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichtes des Kantons St. Gallen vom 9. Dezember 1980 aufgehoben.