A.- Herbert Z. bewirtschaftet als Pächter einen Betrieb von 1100 Aren Wiesland, 200 Aren Weideland und 21 Grossvieheinheiten. Nebenberuflich ist er als selbständiger Schreiner tätig. Mit Verfügung vom 23. November 1979 verneinte die Ausgleichskasse des Kantons Appenzell A. Rh. den Anspruch auf Familienzulagen für Kleinbauern für die Jahre 1978/79, weil das aufgrund der Steuerakten ermittelte reine Einkommen 1975/76 sich auf Fr. 35'800.-- belaufe und damit die massgebende Einkommensgrenze von Fr. 34'000.-- übersteige.

B.- Die gegen diese Verfügung erhobene Beschwerde des Herbert Z. wurde von der Rekurskommission für Sozialversicherung des Kantons Appenzell A. Rh. am 31. Januar 1980 abgewiesen mit der Begründung: Die vom Beschwerdeführer geltend gemachten Schuldzinsen von rund 51'000 Franken seien vom rohen Einkommen von Fr. 104'341.-- (steuerlich) bereits abgezogen, so dass sich unter Berücksichtigung der Gebäudeunterhaltskosten und der Sozialabzüge ein massgebendes Einkommen von Fr. 35'883.-- ergebe.

C.- Herbert Z. lässt Verwaltungsgerichtsbeschwerde führen und sein Begehren um Ausrichtung von Familienzulagen erneuern. Vom steuerbaren Einkommen 1977/78 von Fr. 36'318.-- müssten noch die Schuldzinsen und die Assekuranzsteuer abgezogen werden; alsdann resultiere ein massgebendes anrechenbares Einkommen von Fr. 33'018.--.

Die Ausgleichskasse beantragt die Abweisung, das Bundesamt für Sozialversicherung die Gutheissung der Verwaltungsgerichtsbeschwerde.

1. Gemäss Art. 5 Abs. 1 FLG haben jene hauptberuflich selbständigen Landwirte Anspruch auf Familienzulagen für Kleinbauern, deren reines Einkommen 16'000 Franken im Jahr nicht übersteigt; diese Einkommensgrenze erhöht sich um 1'500 Franken für jedes Kind im Sinne von Art. 9 FLG.

Als hauptberuflich selbständiger Landwirt gilt jener Kleinbauer, der im Verlauf des Jahres vorwiegend in seinem landwirtschaftlichen Betrieb tätig ist und aus dem Ertrag seiner Tätigkeit in überwiegendem Masse den Lebensunterhalt seiner Familie bestreitet (Art. 5 Abs. 2 FLG). In Rz 50 seiner Erläuterungen zur Familienzulagenordnung schreibt das Bundesamt für Sozialversicherung vor, dass bei der Prüfung, ob ein hauptberuflich landwirtschaftlicher Erwerb vorliegt, der Vermögensertrag nicht berücksichtigt werden darf, weil er in der Regel nicht zur Bestreitung des Lebensunterhalts der Familie verwendet wird. Diese Verwaltungspraxis ist nicht zu beanstanden.

2. Die Ausgleichskasse vertritt den Standpunkt, der Beschwerdeführer könne nicht als hauptberuflich selbständiger Landwirt gelten, weil er den Lebensunterhalt seiner Familie nicht überwiegend aus dem Ertrag der Landwirtschaft bestreite.

Diese Auffassung gründet sich offensichtlich auf die Tatsache, dass für die Jahre 1975/76 steuerlich ein Vermögensertrag von durchschnittlich über 100'000 Franken ausgewiesen ist, dem ein Verlust aus Erwerbstätigkeit von durchschnittlich rund 11'000 Franken gegenübersteht. Das bedeutet, dass der Beschwerdeführer in den beiden genannten Jahren den Lebensunterhalt seiner Familie aus den Vermögenserträgnissen bestreiten musste. Da aber nach den Darlegungen in Erw. 1 der Vermögensertrag nicht berücksichtigt werden darf, bleibt es dabei, dass der Beschwerdeführer hauptberuflich selbständiger Landwirt ist.

3. Gestützt auf Art. 6 Abs. 1 und 2 FLV verglich die Ausgleichskasse die gesetzliche Einkommensgrenze mit dem in den Jahren 1975/76 steuerlich ausgewiesenen Durchschnittseinkommen. Dieses belief sich laut Meldung der kantonalen Steuerverwaltung auf Fr. 104'341.--. Nach Abzug der Schuldzinsen von Fr. 50'915.-- sowie der Gebäudeunterhaltskosten von Fr. 13'543.-- und unter Berücksichtigung der Sozialabzüge von Fr. 4'000.-- ergibt sich ein Einkommen von Fr. 35'883.--. Von diesem Betrag können keine weiteren Schuldzinsen abgezogen werden, denn die in der Verwaltungsgerichtsbeschwerde geltend gemachten Schuldzinsen von jährlich Fr. 3'300.-- sind im Betrag von Fr. 50'915.-- bereits berücksichtigt, wie aus dem Expertenbericht der Eidgenössischen Wehrsteuerverwaltung ersichtlich ist.

Anderseits ist zu beachten, dass die Buchhaltung des Beschwerdeführers für die Jahre 1975/76 einen von der Steuerverwaltung anerkannten Verlust aufweist. Dieser wird in der Steuermeldung und in der Steuerausscheidung übereinstimmend auf Fr. 10'257.--, in der Steuerveranlagung dagegen auf Fr. 10'658.-- beziffert. Welche dieser beiden Zahlen richtig ist, kann, weil im Ergebnis unerheblich, offenbleiben. Entscheidend ist, dass bei der Berechnung dieses Verlustes die Kostenbeiträge mitberücksichtigt wurden, welche der Beschwerdeführer aufgrund des Bundesgesetzes vom 28. Juni 1974 über Kostenbeiträge an Viehhalter im Berggebiet und in der voralpinen Hügelzone erhielt. Diese Beiträge beliefen sich auf jährlich Fr. 2'100.-- und müssen vom reinen Einkommen abgezogen werden, denn sie stellen Einkommenszuschüsse dar, die kumulativ zu den Familienzulagen zu gewähren sind. Der gesetzgeberische Zweck der Familienzulagen und der Betriebsbeiträge, nämlich die Einkommensverbesserung der Kleinbauern, verbietet es, die Betriebsbeiträge in das massgebende anrechenbare Einkommen des Art. 5 Abs. 1 FLG einzubeziehen. Sonst bestände das Risiko, dass gerade wegen dieser Beiträge der Anspruch auf Familienzulagen verneint werden müsste. Zieht man also vom reinen Einkommen von Fr. 35'883.-- die Betriebsbeiträge von jährlich Fr. 2'100.-- ab, so ergibt sich ein massgebendes anrechenbares Einkommen von Fr. 33'783.--.

4. Der Betrag von Fr. 33'783.-- muss mit der gesetzlichen Einkommensgrenze des Art. 5 Abs. 1 FLG verglichen werden. Vom Januar 1978 hinweg hatte der Beschwerdeführer 12 Kinder. Demnach betrug die Einkommensgrenze (12 x 1'500.-- + 16'000 =) Fr. 34'000.--. Sie war somit höher als das massgebende anrechenbare Einkommen, weshalb der Anspruch auf Familienzulagen für die Jahre 1978 und 1979 bejaht werden muss.

Demnach erkennt das Eidg. Versicherungsgericht:

In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid der Rekurskommission für Sozialversicherung des Kantons Appenzell A. Rh. vom 31. Januar 1980 und die Kassenverfügung vom 23. November 1979 aufgehoben. Die Ausgleichskasse wird verpflichtet, dem Beschwerdeführer für die Jahre 1978 und 1979 Familienzulagen auszurichten.