A.- Dr. Seiler übte seine Tätigkeit als Ersatzrichter am Schweizerischen Bundesgericht in Lausanne nach Vollendung des 65. Altersjahres weiterhin aus. Anlässlich der Überprüfung einer Taggeldauszahlung im Januar 1982 stellte er fest, dass ihm bei der Berechnung seiner Sozialversicherungsbeiträge auf den in den Jahren 1979 bis 1981 erfolgten Entschädigungen der Freibetrag, der den unselbständig erwerbstätigen Altersrentnern zusteht, nicht je für das ganze Jahr gewährt wurde, sondern nur für die Monate, in welchen die Bundesgerichtskasse die periodisch in schwankenden Zeitabständen in Rechnung gestellten Beträge auszahlte. Da er sich mit dieser Berechnungsart der Freibeträge nicht einverstanden erklären konnte, erliess die Eidgenössische Ausgleichskasse am 25. März 1982 eine Beitragsverfügung, wonach grundsätzlich der monatliche Abzug zur Anwendung gelange, wenn durch den Arbeitgeber kein jährlicher Abzug vereinbart worden sei; die Gerichtskasse habe daher den Freibetrag zu Recht nur für jene Monate gewährt, in denen eine Entschädigung ausbezahlt worden sei. Hätte der Versicherte der Gerichtskasse monatlich Rechnung gestellt, wäre er jeden Monat in den Genuss des monatlichen Freibetrages gekommen.

B.- Beschwerdeweise beantragte der Versicherte, es sei festzustellen, dass ihm für die Jahre 1979 bis 1981 ein Freibetrag von je Fr. 9'000.-- (bzw. ab 1. Januar 1982 ein solcher von Fr. 10'800.--) zustehe; ferner habe ihm die Ausgleichskasse die zuviel erhobenen Arbeitnehmerbeiträge zurückzuerstatten. Das Verwaltungsgericht des Kantons Graubünden hiess die Beschwerde mit Entscheid vom 30. April 1982 gut und verpflichtete die Ausgleichskasse, dem Versicherten die auf den zu Unrecht nicht berücksichtigten Freibeträgen erhobenen Arbeitnehmerbeiträge für die Jahre 1979 bis 1981 zurückzuerstatten.

C.- Die Eidgenössische Ausgleichskasse führt Verwaltungsgerichtsbeschwerde und beantragt Aufhebung des vorinstanzlichen Entscheides und Wiederherstellung der Kassenverfügung. Während der Versicherte auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, beantragt das Bundesamt für Sozialversicherung (BSV) deren Gutheissung. Sowohl das Bundesgericht als auch das Eidgenössische Finanzdepartement, welche als Beteiligte im Sinne von Art. 110 Abs. 1 OG zur Vernehmlassung eingeladen wurden, verzichten auf eine Stellungnahme zur Verwaltungsgerichtsbeschwerde.

1. (Kognition, vgl. BGE 104 V 6 Erw. 1.)

2. Nach Art. 3 Abs. 1 AHVG (in der seit 1. Januar 1979 gültigen Fassung) sind die Versicherten beitragspflichtig, solange sie eine Erwerbstätigkeit ausüben. Dabei kann der Bundesrat gemäss Art. 4 Abs. 2 lit. b AHVG das von Frauen nach Vollendung des 62., von Männern nach Vollendung des 65. Altersjahres erzielte Erwerbseinkommen bis zur Höhe des anderthalbfachen Mindestbetrages der einfachen Altersrente nach Art. 34 Abs. 2 AHVG von der Beitragsbemessung ausnehmen. Der Bundesrat hat von seiner Kompetenz Gebrauch gemacht, indem er in Art. 6ter Abs. 1 AHVV (ab 1. Januar 1979) bzw. in Art. 6quater Abs. 1 AHVV (ab 1. Juli 1981) bestimmte, dass Frauen, die das 62., und Männer, die das 65. Altersjahr vollendet haben, vom Einkommen aus unselbständiger Erwerbstätigkeit nur für den Teil Beiträge entrichten, der je Arbeitgeber 750 Franken im Monat (ab 1. Januar 1982: Fr. 900.--) bzw. 9'000 Franken im Jahr (ab 1. Januar 1982: Fr. 10'800.--) übersteigt. Nach der Rechtsprechung darf der ganze jährliche Freibetrag nur dann berücksichtigt werden, wenn auch tatsächlich während des ganzen Jahres eine Erwerbstätigkeit ausgeübt wurde (ZAK 1984 S. 29 Erw. 2a).

Gemäss Rz. 4 des Kreisschreibens des BSV über die Beitragspflicht der Erwerbstätigen im Rentenalter, gültig ab 1. Januar 1979, ist grundsätzlich der monatliche Abzug anzuwenden. Bei von Monat zu Monat schwankenden Löhnen ist kein Ausgleich zwischen den Löhnen, die in den einzelnen Monaten erzielt wurden, vorzunehmen. Der Abzug hat von jedem Monatslohn zu erfolgen (Rz. 5). Der Arbeitgeber ist aber befugt, statt des monatlichen den jährlichen Abzug anzuwenden (Rz. 9). Wurde ein Jahresentgelt vereinbart (z.B. für die nebenberufliche Tätigkeit als Verwaltungsrat oder als Gemeindefunktionär), so muss die jährliche Begrenzung angewendet werden (Rz. 10). Ohne Bedeutung ist, ob das Entgelt auf einmal oder unter mehreren Malen ausgerichtet wird. Sämtliche zum massgebenden Lohn gehörenden Entgelte, die während der betreffenden Zeitspanne ausgerichtet wurden, sind zusammenzuzählen (Rz. 12).

3. Streitig ist, ob im vorliegenden Fall der monatliche oder der jährliche Freibetrag zur Anwendung gelangt.

a) Die Vorinstanz geht davon aus, der Beschwerdegegner habe eine dauernde Erwerbstätigkeit ausgeübt, welche in längeren Zeitabständen erfolgte und wofür unregelmässig Lohnabrechnungen vorgenommen wurden. Die Auffassung der Ausgleichskasse, in solchen Fällen sei der monatliche Freibetrag für jede einzelne Auszahlung, aber höchstens einmal im Monat zu gewähren, sei unlogisch und sachlich unhaltbar, denn der in der AHVV vorgesehene monatliche Freibetrag sei auf die monatliche Lohnzahlung zugeschnitten, bei welcher der Abzug für jenen Zeitraum zugelassen werde, für welchen der Lohn geschuldet ist. Wenn sich der abzurechnende Lohnanspruch aber auf einen Zeitraum von mehreren Monaten erstrecke, wäre es willkürlich, den Freibetrag nur für jenen Monat anzuerkennen, in welchem die Lohnauszahlung erfolgt. Bei Lohnzahlungen in längeren Zeitabschnitten als einem Monat sei daher der jährliche Freibetrag anzuwenden. Es könne nicht Sinn der Verordnung sein, den jährlichen Freibetrag nur bei einem festen Jahresgehalt oder bei gleichbleibenden Monatslöhnen zu gewähren; die Art des Freibetrages hänge nicht allein vom Lohnzahlungsmodus ab. Aus diesem Grund erweise sich die Auffassung der Ausgleichskasse als unzutreffend, wonach der Beschwerdegegner in den Genuss des ganzen Freibetrages gekommen wäre, wenn er für seine Bemühungen monatlich Rechnung gestellt hätte.

b) Die Beschwerdeführerin geht von der Überlegung aus, dass das Bundesgericht als Arbeitgeber mit dem Beschwerdegegner angesichts der recht unterschiedlichen Belastungen weder ein Monats- noch ein Jahresgehalt, sondern nur eine Tagespauschale habe vereinbaren können, weshalb es dem Ersatzrichter überlassen worden sei, den Zeitpunkt und die Häufigkeit der Rechnungsstellung selbst zu bestimmen. Da laut bundesamtlichem Kreisschreiben grundsätzlich der monatliche Abzug anzuwenden sei und es überdies Sache des Arbeitgebers gewesen wäre, den jährlichen Freibetrag zur Anwendung zu bringen, könne der Beschwerdegegner den Jahresfreibetrag nicht beanspruchen. Der Umstand, dass meistens nur pro Quartal Rechnung gestellt wurde, vermöge daran nichts zu ändern. Sodann könnten weder der Arbeitgeber noch die Ausgleichskasse kontrollieren, ob in der vom Beschwerdegegner erstellten Quartalsrechnung Arbeitszeiten aller drei Monate enthalten seien. Der Beschwerdegegner hätte ferner die Möglichkeit gehabt, bei tatsächlich ausgeführten Aufträgen monatlich Rechnung zu stellen und so jeden Monat in den Genuss des Freibetrages zu gelangen bzw. bei andauernder Tätigkeit den Jahresfreibetrag zu erreichen.

Das BSV teilt die Auffassung der Beschwerdeführerin und lässt sich im wesentlichen dahin vernehmen, dass sich vor allem die Verwaltungsweisungen betreffend den Freibetrag für erwerbstätige Altersrentner eng an die monatliche Begrenzung des für die Arbeitslosenversicherung massgebenden Lohnes nach Art. 2 Abs. 1 AlVB anlehnten; dessen Abs. 2 ermächtige den Bundesrat lediglich, eine andere Regelung zu treffen, wo die monatliche Begrenzung des beitragspflichtigen Lohnes zu offensichtlichen Unbilligkeiten führt oder Schwierigkeiten bei der Anwendung bereitet. Nach Art. 1 Abs. 2 bzw. Art. 2 AlVV komme die jährliche Höchstgrenze aus beachtlichen Gründen dann zur Anwendung, wenn ein Jahresgehalt ausgerichtet werde, selbst wenn dieses in mehreren Beträgen ausbezahlt wird; das neue AVIG enthalte dieselben Grundzüge. Es sei angezeigt, die der Arbeitslosenversicherung zugrunde gelegte Regelung über die Anwendung der monatlichen bzw. jährlichen Begrenzung auf den Rentnerfreibetrag analog anzuwenden. Schliesslich rechtfertige sich die Gewährung des Jahresfreibetrages im vorliegenden Fall deshalb nicht, weil die Arbeitsverrichtung wie auch die Höhe des Einkommens unregelmässig und nicht im voraus abschätzbar seien; das Arbeitsmass richte sich nicht nur nach dem Arbeitsanfall, sondern auch nach der persönlichen Verfügbarkeit; möglicherweise arbeite der Beschwerdegegner in einem bestimmten Monat nicht, sei aber in einem andern Monat voll ausgelastet. Die Anwendung des Jahresfreibetrages könnte bei derartigen Tätigkeiten dazu führen, dass der Arbeitgeber erst nach Ablauf des Kalenderjahres wüsste, ob jener Betrag überschritten wurde oder nicht.

4. Der Auffassung der Beschwerdeführerin und des BSV kann nicht beigepflichtet werden. Entgegen der Annahme des Bundesamtes gestaltet sich die Tätigkeit des Beschwerdegegners für das Bundesgericht nicht in dem Sinne unregelmässig, dass er in einem bestimmten Monat überhaupt nichts arbeitet und dafür in einem anderen Monat voll ausgelastet ist. Wie sich aus einem Schreiben des Beschwerdegegners an die Eidgenössische Ausgleichskasse vom 4. Februar 1982 ergibt, ist er laufend in seiner Funktion als Ersatzrichter tätig, sei es durch das Aktenstudium, die Ausarbeitung eines Referates, die Vorbereitung einer Sitzung als Referent, die Teilnahme an einer Verhandlung als Mitglied einer Kammer oder die Kontrolle von Urteilsentwürfen. Die Erledigung dieser verschiedenen Aufgaben erstreckt sich über das ganze Jahr, wobei das Arbeitsmass jeweils Schwankungen unterliegt und der Beschwerdegegner in der Einteilung seiner Arbeit innerhalb der ihm gesetzten Fristen grundsätzlich frei ist. Sodann ist der Beschwerdegegner als Ersatzrichter des Bundesgerichtes für eine Amtsdauer von sechs Jahren gewählt (Art. 5 Abs. 1 OG) und nicht etwa nur ad hoc für bestimmte Einsätze je nach Bedarf ernannt. Die feste mehrjährige Amtsdauer mit Aufgaben, welche in mehr oder weniger regelmässigen Abständen zu erfüllen sind und praktisch jeden Monat bestimmte Arbeitsverrichtungen erfordern, rechtfertigt die Anwendung des jährlichen Freibetrages. Dem Umstand, dass wegen des jeweils unterschiedlichen Arbeitsanfalles weder eine Jahrespauschale noch ein fixes Monatsgehalt vereinbart werden konnte und die Rechnungsstellung periodisch in schwankenden Zeitabständen erfolgte, kommt unter den gegebenen Verhältnissen im Hinblick auf die Art des Freibetrages keine entscheidende Bedeutung zu. Es wäre denn auch stossend und überdies mit einem unverhältnismässigen Verwaltungsaufwand verbunden, wenn der Beschwerdegegner den Freibetrag in jedem Monat nur bei monatlicher Rechnungsstellung hätte beanspruchen können. Zudem bildet die Anwendung des jährlichen Freibetrages nicht etwa ein Hindernis, im Fall der Wiederbesetzung einer frei gewordenen Stelle für den Rest der Amtsdauer (vgl. Art. 5 Abs. 2 OG) der beschränkten Dauer der Amtszeit Rechnung zu tragen. Beginnt oder endet ein Arbeitsverhältnis im Laufe des Kalenderjahres, so ist der jährliche Abzug im Verhältnis zur Dauer des Arbeitsverhältnisses zu kürzen (pro rata temporis), wie Rz. 13 des erwähnten Kreisschreibens bestimmt. Wenn sich ferner aus der Gewährung des jährlichen Freibetrages ein gewisser Mehraufwand für Arbeitgeber und Ausgleichskasse ergeben kann, indem allenfalls erst im Laufe des Jahres oder sogar erst am Ende des Kalenderjahres feststellbar ist, ob ein unselbständigerwerbender Altersrentner überhaupt Beiträge zu entrichten hat, so stellt dies keinen beachtlichen Grund gegen die sinnvolle Anwendung der entsprechenden Bestimmungen dar. Im weiteren ist der Hinweis des BSV auf die grundsätzlich monatliche Begrenzung des massgebenden Lohnes in der Arbeitslosenversicherung im vorliegenden Zusammenhang nicht stichhaltig, weil es um zwei verschiedene Problemkreise geht und daher eine analoge Anwendung jenes Grundsatzes in der Arbeitslosenversicherung auf die Frage nach der Art des zu gewährenden Freibetrages bei erwerbstätigen Altersrentnern nicht angezeigt erscheint. Abgesehen davon sieht die neue Regelung bezüglich der Begrenzung des beitragspflichtigen Lohnes vor, dass die monatliche Höchstgrenze gilt, wenn der Lohn monatlich oder in kürzeren Abständen ausbezahlt wird (Art. 1 Abs. 1 AVIV), hingegen die jährliche Höchstgrenze zur Anwendung gelangt, wenn der Lohn in längeren Zeitabständen als monatlich ausbezahlt wird (Art. 1 Abs. 2 lit. a AVIV).

5. (Kostenpunkt.)

Demnach erkennt das Eidg. Versicherungsgericht:

Die Verwaltungsgerichtsbeschwerde wird abgewiesen.