A.- Der selbstständigerwerbende Landwirt F., Vater vier minderjähriger Kinder, bezog in der Zeit vom 1. April 1994 bis 31. März 1996 Familienzulagen für Kleinbauern in der Höhe von Fr. 14'160.-. Mit Verfügung vom 12. Mai 1997 nahm die Ausgleichskasse Luzern für diese Periode eine Neuberechnung vor und setzte die Höhe der Familienzulagen wegen Überschreitens der Einkommensgrenze auf einen Drittel herab. Ferner ermittelte sie den Anspruch für den Zeitraum vom 1. April 1996 bis 31. März 1997, verrechnete diesen mit den bereits in der früheren Periode ausgerichteten Zahlungen und forderte von F. den Betrag von Fr. 1872.- zurück.

B.- Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 31. März 1999 ab.

C.- F. führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des kantonalen Gerichtsentscheides sei ihm "nach Massgabe der Anspruch auf Kinderzulagen auszuzahlen".

Ausgleichskasse Luzern und Bundesamt für Sozialversicherung (BSV) schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde.

D.- Das Eidg. Versicherungsgericht und die II. Öffentlichrechtliche Abteilung des Schweizerischen Bundesgerichts haben einen Meinungsaustausch geführt über die Frage, ob Baukreditzinsen nach Bauvollendung, unabhängig von einer erst späteren Konsolidierung des Baukredites, als abzugsfähige Schuldzinsen zu betrachten sind.

E.- Am 23. November 2000 hat das Eidg. Versicherungsgericht eine parteiöffentliche Verhandlung durchgeführt. Im Anschluss daran wurde die strittige Rechtsfrage dem Gesamtgericht unterbreitet.

1. In zeitlicher Hinsicht sind grundsätzlich diejenigen Rechtssätze massgeblich, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 123 V 71 Erw. 2 mit Hinweis). Im vorliegenden Fall ist der Anspruch auf Zulagen für den Zeitraum vom 1. April 1994 bis 31. März 1996 zu beurteilen. Hiefür ist auf die Steuerveranlagungsperiode 1993/1994 und damit auf das in den Jahren 1991/1992 (Berechnungsperiode) erzielte Reineinkommen abzustellen. Massgebend sind daher die in den Jahren 1993/1994 gültig gewesenen steuerrechtlichen und die in den Jahren 1994 bis 1996 in Kraft gewesenen zulagenrechtlichen Bestimmungen.

2. a) Gemäss Art. 5 Abs. 1 und 2 des Bundesgesetzes über die Familienzulagen in der Landwirtschaft (FLG) haben die haupt- oder nebenberuflich selbstständigerwerbenden Landwirte Anspruch auf Familienzulagen, wenn ihr reines Einkommen Fr. 30'000.- im Jahr nicht übersteigt, wobei sich die Einkommensgrenze um Fr. 5000.- je Kind nach Art. 9 FLG erhöht. Bei Übersteigen der Einkommensgrenze werden nach Art. 3a Abs. 1 FLV gekürzte Kinderzulagen ausgerichtet, welche zwei Drittel der Zulagen nach Art. 7 Abs. 1 FLG betragen, wenn das massgebende Einkommen die Grenze um höchstens Fr. 3500.- übersteigt (Abs. 2 lit. a) oder einen Drittel der Zulagen, wenn das massgebende Einkommen die Grenze um mehr als Fr. 3500.-, höchstens aber um Fr. 7000.- übersteigt (Abs. 2 lit. b).

Für die Bemessung des Einkommens sind laut Art. 4 Abs. 1 FLV die Vorschriften der Gesetzgebung über die direkte Bundessteuer massgebend. Nicht abgezogen werden können jedoch Einlagen, Prämien und Beiträge zum Erwerb von Ansprüchen aus der beruflichen Vorsorge und der gebundenen Selbstvorsorge (Art. 22 Abs. 1 Bst. h und i BdBSt).

Das reine Einkommen der Kleinbauern ist nach Art. 5 Abs. 1 FLV unter Vorbehalt von Art. 6 FLV durch die Ausgleichskasse auf Grund eines vom BSV aufgestellten Fragebogens zu veranlagen, der vom Kleinbauern auszufüllen ist. Die Ausgleichskassen können eigene Fragebogen verwenden, die der Genehmigung des Bundesamtes bedürfen. Nach Art. 6 Abs. 1 FLV können die Ausgleichskassen für die Ermittlung des reinen Einkommens der Kleinbauern auf die letzte rechtskräftige Veranlagung oder Zwischenveranlagung der direkten Bundessteuer oder der kantonalen Steuer abstellen, sofern diese nach gleichen oder ähnlichen Grundsätzen erfolgte wie die Veranlagung der direkten Bundessteuer. Das reine Einkommen der Kleinbauern wird auf Grund der rechtskräftigen Steuerveranlagung in der Regel jeweils für die Zeit ermittelt, die in der Alters- und Hinterlassenenversicherung eine Beitragsperiode bildet (Art. 6 Abs. 2 FLV). Das steuerlich ausgewiesene Reineinkommen gilt jeweils grundsätzlich für die Beurteilung des Zulagenanspruchs für eine zweijährige Periode, die mit dem 1. April des auf die Steuereinschätzung folgenden Jahres (Landwirtschaftsjahr 1. April bis 31. März) beginnen kann (Rz 75 der Erläuterungen des BSV).

b) Nach der Gerichts- und Verwaltungspraxis wird grundsätzlich in allen Fällen, in denen die Steuerveranlagung eine brauchbare Grundlage darstellt, nach Möglichkeit gestützt auf diese veranlagt. Allerdings ist zu beachten, dass im Gebiete der bäuerlichen Familienzulagen die Angaben der Steuerbehörden - im Gegensatz zur Ordnung im Beitragsrecht der Alters- und Hinterlassenenversicherung (Art. 23 Abs. 4 AHVV) - für die Ausgleichskassen nicht verbindlich sind (BGE 98 V 111 Erw. 2b mit Hinweis).

c) Wer Familienzulagen bezogen hat, auf die ihm ein Anspruch überhaupt nicht oder nur in geringerem Masse zustand, hat laut Art. 11 Abs. 1 FLG den zu Unrecht bezogenen Betrag zurückzuerstatten. Die Bestimmungen des AHVG über die Rückerstattung unrechtmässig bezogener Renten sind sinngemäss anwendbar (Abs. 2).

Gemäss einem allgemeinen Grundsatz des Sozialversicherungsrechts kann die Verwaltung eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, in Wiedererwägung ziehen, wenn sie zweifellos unrichtig und ihre Berichtigung von erheblicher Bedeutung ist (BGE 126 V 23 Erw. 4b, 46 Erw. 2b, 400 Erw. 2b/aa, je mit Hinweisen).

Von der Wiedererwägung ist die so genannte prozessuale Revision von Verwaltungsverfügungen zu unterscheiden. Danach ist die Verwaltung verpflichtet, auf eine formell rechtskräftige Verfügung zurückzukommen, wenn neue Tatsachen oder neue Beweismittel entdeckt werden, die geeignet sind, zu einer andern rechtlichen Beurteilung zu führen (BGE 126 V 24 Erw. 4b, 46 Erw. 2b, je mit Hinweisen).

3. a) In der Verfügung vom 12. Mai 1997 hat die Ausgleichskasse einerseits den Anspruch des Beschwerdeführers für die Zeit vom 1. April 1994 bis 31. März 1996 unter Zugrundelegung eines Einkommens von Fr. 53'928.- neu berechnet, anderseits gleichzeitig die Zulagen für die Zeit vom 1. April 1996 bis 31. März 1997 auf Grund eines massgebenden Einkommens von Fr. 34'458.- erstmals festgesetzt. Damit ist sie auf ihre ursprünglich ausgerichteten Leistungen für die Periode vom 1. April 1994 bis 31. März 1996 zurückgekommen. Es fragt sich daher, ob die für die Wiedererwägung oder die prozessuale Revision erforderlichen Voraussetzungen erfüllt sind (vgl. Erw. 2c hievor). Einer dieser beiden Rückkommenstitel muss auch vorliegen, wenn die Ausgleichskasse eine Geldleistung nicht förmlich, sondern formlos zugesprochen hat, sofern die faktisch verfügte Leistung rechtsbeständig geworden ist, was im vorliegenden Fall auf die dem Versicherten im Zeitraum vom 1. April 1994 bis 31. März 1996 ausgerichteten Familienzulagen für Kleinbauern ohne weiteres zutrifft (BGE 122 V 368 f. Erw. 3 mit Hinweisen). Weder in ihrer Rückerstattungsverfügung vom 12. Mai 1997 noch im Laufe des Rechtsmittelverfahrens hat sich die Ausgleichskasse auf einen Revisionstitel berufen. Es ist daher im Folgenden lediglich zu prüfen, ob die ursprüngliche Leistungszusprechung zweifellos unrichtig und damit der Wiedererwägung zugänglich ist.

b) Bei der Ermittlung des reinen Einkommens ist einzig streitig, ob die mit einem Stallneubau zusammenhängenden Baukreditzinsen einen abzugsfähigen Posten darstellen. Für den leistungsberechtigten Zeitraum vom 1. April 1994 bis 31. März 1996 ist die Steuerveranlagungsperiode 1993/94 und damit das in den Jahren 1991/92 erzielte Reineinkommen massgebend. Ausgleichskasse und Vorinstanz verneinen die Abzugsfähigkeit der Baukreditzinsen, weil die Konsolidierung des Baukredits erst per 31. März 1993 vorgenommen worden ist. Zu diesem Zeitpunkt führte die Luzerner Kantonalbank im Telefax vom 30. Mai 1997 aus, die Schlusskonsolidierung sei auf Grund ausstehender Bauhandwerkerrechnungen erst am 31. März 1993 vorgenommen worden. Eine Teilkonsolidierung per 31. Dezember 1992 oder früher sei möglich gewesen, wobei die Baukreditzinsen im Jahre 1992 total Fr. 29'428.70 betragen hätten. Der Beschwerdeführer stellt sich auf den Standpunkt, diese Baukreditzinsen seien zum Abzug zuzulassen, weil er ab 25. August 1992 die mit dem Baukredit erstellte neue Scheune benutzt und die alte Scheune abgebrochen habe.

c) Als Baukreditzinsen gelten Zinsen für Darlehen, welche zur Finanzierung eines Neubaus oder Umbaus aufgenommen werden und im Rahmen eines bestimmten Bauprojektes für die Bezahlung der Bauhandwerker und Materiallieferanten verwendet werden. Sie werden in der Regel nicht bezahlt, sondern wie im vorliegenden Fall auf den Baukredit aufgerechnet. Nach Bauvollendung werden Kapital und Zinsen spätestens konsolidiert, d.h. in der Regel durch ein längerfristiges Hypothekardarlehen abgelöst (StR 46 [1991] S. 461 mit Hinweisen; ASA 65 [1996/97] S. 753 f. Erw. 2c). Nach der Rechtsprechung des Bundesgerichts zu Art. 22 Abs. 1 lit. d (abzugsfähige Schuldzinsen) und Art. 23 BdBSt stellen die Baukreditzinsen bis zum Konsolidierungszeitpunkt als mit dem Bau des Gebäudes zusammenhängende Finanzierungskosten Anlagekosten dar, sind daher steuerlich als Aufwendungen für die Anschaffung oder Verbesserung von Vermögensgegenständen zu qualifizieren und damit nicht als Schuldzinsen zum Abzug zugelassen (ASA 60 [1991/92] S. 195 Erw. 3b, 57 [1988/89] S. 657 Erw. 2a; bestätigt in ASA 66 [1997/98] S. 315 Erw. 4 und 65 [1996/97] S. 754 Erw. 3).

Die Praxis der Kantone zur Abzugsfähigkeit der Baukreditzinsen im Bereich der kantonalen Steuern ist unterschiedlich (vgl. auch MARKUS REICH, in: Kommentar zum Schweizerischen Steuerrecht I/1, Basel/Frankfurt a.M. 1997, N 34 in fine zu Art. 9 StHG). In einigen Kantonen werden Baukreditzinsen als vom Einkommen abziehbare Schuldzinsen, in anderen hingegen als vom Einkommen nicht abzugsfähige, aber im Rahmen der Grundstückgewinnsteuer anrechenbare Aufwendungen oder Anlagekosten behandelt, während eine Gruppe von Kantonen dem Steuerpflichtigen ein Wahlrecht gewährt, indem er auf den Abzug solcher Zinsen beim Einkommen verzichten und sie bei der Veranlagung der Grundstückgewinnsteuer als Aufwendungen geltend machen kann (vgl. THOMAS STADELMANN, Die steuerliche Behandlung von Baukreditzinsen in der Schweiz, in: StR 47 [1992] S. 118 ff.). So gelten beispielsweise in den Kantonen Aargau und Zürich (nur im Bereich des Privatvermögens) Baukreditzinsen als abziehbare Schuldzinsen (BAUR/KLÖTI-WEBER/KOCH/MEIER/URSPRUNG, Kommentar zum Aargauer Steuergesetz, Bern 1991, S. 365 f. N 219 zu § 24; RICHNER/FREI/WEBER/BRÜTSCH, Kurzkommentar zum Zürcher Steuergesetz, 2. Aufl., Zürich 1997, S. 245 N 29a zu § 25). Für die Frage des Konsolidierungszeitpunkts stellen verschiedene Kantone auf den tatsächlichen Bezug des Gebäudes oder die Bezugsbereitschaft ab (RICHNER/FREI/WEBER/BRÜTSCH, a.a.O., S. 367 N 63 zu § 45 in Bezug auf Geschäftsliegenschaften; WEIDMANN/GROSSMANN/ZIGERLIG, Wegweiser durch das st.gallische Steuerrecht, 5. Aufl., Bern 1995, S. 136). So hält auch der Kanton Luzern, welcher Baukreditzinsen bis zum Beginn der Nutzung der Liegenschaft als wertvermehrende Aufwendungen oder Anlagekosten und damit als nicht abziehbar betrachtet, den tatsächlichen Bezug des Objekts als für den Konsolidierungszeitpunkt massgebend. Findet eine Konsolidierung des Baukredits erst nach Bezug statt, können die Zinsen ab Bezug als abzugsfähige Schuldzinsen zugelassen werden (Luzerner Steuerbuch, Bd. 1: Weisungen Staats- und Gemeindesteuern, Ausgabe 2001, § 40 Nr. 1 Ziff. 2.2).

Schliesslich wird auch die ausnahmsweise Zulassung von Baukreditzinsen als abzugsfähige Schuldzinsen postuliert (THOMAS STADELMANN, Leitsätze zum Steuergesetz des Kantons Obwalden vom 21. Oktober 1979, Bern 1993, S. 91), weil die geltende Rechtsprechung namentlich im Zusammenhang mit landwirtschaftlichen Liegenschaften unbefriedigend sei. Diese würden in der Regel innerhalb der Familie zum Ertragswert weitergegeben und die geschaffenen Wertvermehrungen blieben bei einem späteren Verkauf meist unbeachtet. Eine Aktivierung der Baukreditzinsen bei landwirtschaftlichen Grundstücken brächte daher in der Regel dem Pflichtigen nur Nachteile, ausgenommen wenn die Liegenschaft später aus dem landwirtschaftlichen Entschuldungsgesetz entlassen oder an einen Aussenstehenden verkauft werde. Es gebe daher keinen Grund, die Baukreditzinsen bei landwirtschaftlichen Liegenschaften nicht ausnahmsweise wie Schuldzinsen zum Abzug zuzulassen, soweit die Schuld auch tatsächlich konsolidiert sei (Hinweis auf einen Entscheid der Steuerrekurskommission Obwalden vom 3. März 1989).

d) Im Lichte dieser steuerrechtlichen Ausgangslage ist die Frage zu prüfen, ob auf die bundessteuerrechtliche Betrachtungsweise, namentlich hinsichtlich des Konsolidierungszeitpunkts, abgestellt werden soll. Hiefür spricht, dass sich die Familienzulagenordnung in Art. 4 Abs. 1 FLV grundsätzlich auf die Bemessung des Reineinkommens stützt, wie es sich aus der Veranlagung für die direkte Bundessteuer ergibt. Damit kann die Verwaltung für die Abklärung der finanziellen Voraussetzungen sich die direkte Bundessteuer dienstbar machen, braucht keinen eigenen administrativen Apparat aufzubauen und kann die Hilfe der Steuerbehörden in Anspruch nehmen. Mit dem Abstellen auf die direkte Bundessteuer wird auch die einheitliche Anwendung des Familienzulagenrechts sichergestellt, ungeachtet der Verschiedenheit der kantonalen Steuersysteme und der jeweiligen kantonalen Steuerpraxis.

Anderseits ist die Bindungswirkung der bundessteuerrechtlichen Veranlagung in der Gerichts- und Verwaltungspraxis relativiert worden. Wie bereits erwähnt (vgl. Erw. 2b hievor), soll grundsätzlich in allen Fällen, in denen die Steuerveranlagung eine brauchbare Grundlage darstellt, gestützt auf diese veranlagt werden. Dabei ist allerdings zu beachten, dass im Gebiete der bäuerlichen Familienzulagen die Angaben der Steuerbehörden - im Gegensatz zur Ordnung im Beitragsrecht der Alters- und Hinterlassenenversicherung (Art. 23 Abs. 4 AHVV) - für die Ausgleichskassen nicht verbindlich sind (BGE 98 V 111 Erw. 2b mit Hinweis). Ohnehin bestünde eine Bindungswirkung wie im AHV-Recht lediglich im Masslichen, nicht aber in der Qualifizierung von Einkommens- und Vermögensteilen (vgl. BGE 121 V 83 Erw. 2c, BGE 114 V 75 Erw. 2, BGE 110 V 86 Erw. 4 und 370 Erw. 2a, BGE 102 V 30 Erw. 3b mit Hinweisen). Mitzuberücksichtigen ist, dass das massgebende Einkommen im Leistungsbereich nach Sinn und Zweck der Ordnung der Familienzulagen in der Landwirtschaft (Existenzsicherung der Kleinbauern; BGE 106 V 186 oben) zu ermitteln ist, welche mit denjenigen des Steuer- oder Beitragsrechts nicht übereinstimmen müssen. Dem Zweck der Existenzsicherung entsprechend müsste die ökonomische Realität des versicherten Kleinbauern und nicht die fiskalische im Vordergrund stehen. Dies spricht, wie dies in verschiedenen Kantonen steuerrechtliche Praxis ist, für den tatsächlichen Bezug des Gebäudes als Konsolidierungszeitpunkt, zumal die eigentliche Umwandlung des Baukredits in einen Hypothekarkredit oft von Drittpersonen (Rechnungstellung durch Handwerker, Bank) abhängig ist und damit ausserhalb des Einflussbereichs des Landwirts liegt.

Damit wird auch dem Umstand Rechnung getragen, dass vom Zeitpunkt der Inbetriebnahme des Gebäudes an dieses genutzt und damit gegebenenfalls Ertrag erwirtschaftet wird. Mit einer solchen Lösung wird die bundessteuerrechtliche Qualifikation der Baukreditzinsen übernommen, hingegen beim Zeitpunkt der Konsolidierung eine abweichende Regelung getroffen, die den tatsächlichen landwirtschaftlichen und den zulagenrechtlichen Gegebenheiten besser Rechnung trägt.

Schliesslich kann man sich auch fragen, ob im Familienzulagenrecht in der Landwirtschaft, das für den Anspruch und dessen Höhe entscheidend auf die wirtschaftlichen Verhältnisse der Kleinbauern abstellt, die Baukreditzinsen nicht schon von Anfang an als abzugsfähige Schuldzinsen zu betrachten sind. Für die Deckung der Familienlasten stellen die Baukreditzinsen einen Kostenfaktor dar, der das Budget der bäuerlichen Familie nicht erst ab Inbetriebnahme des Gebäudes belastet.

e) Welcher der verschiedenen Lösungen der Vorzug zu geben ist, kann im vorliegenden Fall offen bleiben. Die ursprüngliche Leistungszusprechung für die Zeit vom 1. April 1994 bis zum 31. März 1996 ist im Lichte der vorstehenden Ausführungen nicht als zweifellos unrichtig zu qualifizieren. Unter diesen Umständen verfügt die Ausgleichskasse über keinen Rückkommenstitel für die geltend gemachte (und teilweise verrechnete) Rückerstattungsforderung.

4. a) Selbst wenn mit Ausgleichskasse und kantonalem Gericht auf den 31. März 1993 als Konsolidierungszeitpunkt abgestellt wird, ist der die Rückforderung betreffende Teil der Verwaltungsverfügung aus einem weiteren Grund aufzuheben. Nach Art. 5 Abs. 4 FLV hat die Ausgleichskasse bei jeder wesentlichen Änderung des Einkommens entsprechend den neuen Verhältnissen eine Neuveranlagung vorzunehmen, wozu sie von Amtes wegen verpflichtet ist (nicht veröffentlichtes Urteil W. vom 13. Januar 1969, F 5/68). Als wesentlich ist eine Einkommensvermehrung oder -verminderung anzusehen, wenn sie Fr. 5000.- erreicht, von verhältnismässig langer Dauer ist und sich aller Wahrscheinlichkeit nach wenigstens auf den Rest der Veranlagungsperiode erstreckt und klar ausgewiesen ist (EVGE 1963 S. 226, 1958 S. 137; Rz 76 der Erläuterungen des BSV). Dabei sind nicht nur Änderungen des landwirtschaftlichen Einkommens (Kauf und Verkauf von Liegenschaften, wesentliche Vermehrung oder Verminderung des Tierbestandes), sondern auch Änderungen des Einkommens aus andern Quellen, wie aus einer gewerblichen oder unselbstständigerwerbenden Tätigkeit sowie aus Vermögen zu berücksichtigen (Rz 76 der Erläuterungen des BSV).

b) Die Baukreditzinsen wurden jeweils quartalsweise auf den laufenden Baukredit aufgerechnet. Die Schlusskonsolidierung des Baukredits per 31. März 1993 ergab einen Saldo von Fr. 981'861.60. Vom 1. April 1993 an waren die nach der Konsolidierung zu leistenden Schuldzinsen auch im Rahmen der direkten Bundessteuer abzugsfähig. Angesichts der Höhe der Schulden verminderte sich in der Folge das reine Einkommen des Beschwerdeführers dauernd und erheblich. So verringerte es sich ausgehend von der Veranlagungsperiode 1993/94 von Fr. 53'928.- auf Fr. 34'458.- in derjenigen von 1995/96. Die Ausgleichskasse hat denn auch in der Rückerstattungsverfügung vom 12. Mai 1997 das massgebliche Einkommen in der Bezugsperiode 1. April 1996 bis 31. März 1997 (Basis Steuerperiode 1995/96 mit dem Einkommen 1993/94) auf Fr. 34'458.- festgesetzt und die ungekürzten Zulagen zugesprochen. Unter diesen Umständen hätte nach erfolgter Konsolidierung per 1. April 1993 eine zulagenrechtliche Zwischenveranlagung vorgenommen werden müssen mit der Folge, dass der Beschwerdeführer die im Zeitraum vom 1. April 1994 bis 31. März 1996 ausgerichteten ungekürzten Zulagen nicht unrechtmässig bezogen hat.

5. Nach dem Gesagten ergibt sich, dass der Beschwerdeführer in der Zeit vom 1. April 1994 bis 31. März 1997 Anspruch auf die ungekürzten Familienzulagen hat. Für den Zeitraum vom 1. April 1996 bis 31. März 1997 beläuft sich der Anspruch auf insgesamt Fr. 7560.-. Diesen Betrag hat die Ausgleichskasse in der Verfügung vom 12. Mai 1997 mit der vermeintlich bestehenden Rückforderung für die Zeit vom 1. April 1994 bis 31. März 1996 verrechnet. Sie ist daher gehalten, dem Beschwerdeführer noch Fr. 7560.- nachzuzahlen.