A.- Josef A. betrieb neben der J. A. AG eine Garage als Einzelfirma, welcher von der Nachlassbehörde im Jahre 1971 ein Liquidationsvergleich bestätigt wurde. Für die Sozialversicherungsbeiträge vom Januar 1970 bis zum Mai 1971 belastete ihn die Ausgleichskasse für das schweizerische Auto-, Motor- und Fahrradgewerbe mit einem Betrag von insgesamt Fr. 27'649.-, den sie im Nachlassverfahren als Gläubigerin anmeldete.

Gestützt auf einen Invaliditätsgrad von 50% sprach die Ausgleichskasse des Kantons Graubünden mit Verfügung vom 12. August 1976 Josef A. mit Wirkung ab 1. Mai 1975 eine halbe einfache Invalidenrente zu. Auf Antrag der Ausgleichskasse für das schweizerische Auto-, Motor- und Fahrradgewerbe verfügte sie gleichzeitig die laufende Verrechnung dieser Invalidenrente "mit ausstehenden AHV-Beiträgen".

B.- Gegen diese Verrechnungsverfügung liess Josef A. beim Verwaltungsgericht des Kantons Graubünden Beschwerde erheben und geltend machen, die Verrechnung sei unzulässig, weil es nach Art. 213 SchKG ausgeschlossen sei, eine nach Konkurseröffnung entstandene Verpflichtung mit Forderungen aus der Zeit vor dem Konkurs zu verrechnen. - Das Verwaltungsgericht wies die Beschwerde am 10. Dezember 1976 ab. Die Anwendung von Art. 213 SchKG werde im Sozialversicherungsrecht durch Art. 16 und 20 AHVG ausgeschlossen. Da sich Josef A. nicht in einer Notlage befinde, sei zu Recht verrechnet worden.

C.- Josef A. lässt rechtzeitig Verwaltungsgerichtsbeschwerde einreichen und beantragen, die Verrechnung von Ansprüchen aus der Invalidenversicherung mit ausstehenden AHV-Beiträgen sei als unzulässig zu erklären. Die grundsätzliche Verrechnungsmöglichkeit werde nicht bestritten, im vorliegenden Fall werde sie jedoch durch Art. 213 SchKG ausgeschlossen; weder Art. 16 noch Art. 20 AHVG würden die Anwendung dieser Bestimmung des Schuldbetreibungs- und Konkursrechts wegbedingen. Sofern im übrigen die ausstehende, privilegierte Forderung der Ausgleichskasse im Nachlassverfahren nicht gedeckt werden sollte, könne die Verrechnung nach Abschluss des Verfahrens immer noch geltend gemacht werden. Die Auffassung von Kasse und Vorinstanz bewirke eine Gläubigerbevorzugung.

Die Ausgleichskasse des Kantons Graubünden und das Bundesamt für Sozialversicherung tragen auf Abweisung der Verwaltungsgerichtsbeschwerde an.

1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidg. Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Richter Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).

2. Gemäss Art. 50 IVG findet für die Verrechnung von Leistungen der Invalidenversicherung Art. 20 AHVG sinngemäss Anwendung. Nach Art. 20 Abs. 2 AHVG können Forderungen der Sozialversicherungsgesetzgebung mit fälligen Leistungen verrechnet werden; die Verrechnung ist aber unter anderem (vgl. dazu: EVGE 1969 S. 214 Erw. 3 sowie Rz 1216 ff. der Wegleitung über die Renten) an folgende Voraussetzungen geknüpft:

a) Die Verrechenbarkeit beschränkt sich auf Forderungen, die auf Grund des Bundesrechts entstanden sind. Somit ist im vorliegenden Fall die Verrechnung insoweit ausgeschlossen, als in der ausstehenden Beitragsforderung kantonalrechtliche Beiträge und diesbezügliche Spesen enthalten sind. Die angefochtene Verfügung vermerkt allgemein "laufende Verrechnung mit ausstehenden AHV-Beiträgen"; daraus ist grundsätzlich zu schliessen, dass nur bundesrechtliche Sozialversicherungsbeiträge verrechnet werden sollen.

b) Die Verrechnung darf den Versicherten nicht in eine Notlage bringen (ZAK 1971, S. 508 f.). Eine Notlage wird indessen weder vom Beschwerdeführer behauptet, noch lassen die Akten auf das Vorliegen einer solchen schliessen. Er anerkennt vielmehr in der Verwaltungsgerichtsbeschwerde, dass die Verrechenbarkeit in seinem Fall an sich möglich ist, wenn nicht Art. 213 SchKG sie nach seiner Auffassung verbieten würde.

3. Somit ist zu entscheiden, ob das Schuldbetreibungs- und Konkursrecht eine Verrechnung im Bereiche des Sozialversicherungsrechts in gewissen Fällen auszuschliessen vermag.

a) Der Einzelfirma J. A. wurde nach Darstellung des Beschwerdeführers vom Kreisgerichtsausschuss Rhäzüns am 1. Dezember 1971 ein Nachlassvertrag mit Vermögensabtretung bewilligt. In bezug auf die Verrechnung beim Liquidationsvergleich verweist Art. 316 m SchKG auf Art. 213 SchKG, wobei präzisiert wird, dass im Nachlassverfahren an Stelle der Konkurseröffnung die Bekanntmachung der Nachlassstundung, gegebenenfalls des vorausgegangenen Konkursaufschubes trete. Art. 213 SchKG erklärt die Verrechnung grundsätzlich als zulässig (Abs. 1), schliesst sie aber aus (...), wenn ein Gläubiger des Gemeinschuldners erst nach der Konkurseröffnung Schuldner desselben oder der Konkursmasse wird (Abs. 2 Ziff. 2). Diese Regelung will verhindern, dass auf dem Wege des Verrechnungsrechts (Art. 120 ff., insbesondere Art. 123 OR) Missbrauch getrieben wird, zu dem die besondere Lage Anreiz bilden kann (FRITZSCHE, Schuldbetreibung und Konkurs nach schweizerischem Recht, Band II, S. 72).

b) Durch Art. 20 Abs. 2 AHVG wird für die Verrechnung eine eigene Ordnung geschaffen, welche auf die Besonderheiten der Sozialgesetzgebung im AHV-Bereich zugeschnitten ist. Wie die Vorinstanz zutreffend ausgeführt hat, ergibt sich die Eigenständigkeit des Sozialversicherungsrechts beispielsweise aus Art. 16 Abs. 2 AHVG, wonach eine Beitragsforderung drei Jahre nach Ablauf des Kalenderjahres verwirkt, in welchem sie geltend gemacht wurde; fällt der Ablauf der Frist in ein hängiges Schuldbetreibungs- oder Konkursverfahren, endet die Frist mit dessen Abschluss; Art. 149 Abs. 5 SchKG, der die durch den Verlustschein verurkundete Forderung gegenüber dem Schuldner allgemein als unverjährbar erklärt, findet von Gesetzes wegen auf Beitragsforderungen keine Anwendung.

c) Die Gefahr eines Missbrauchs oder einer Gläubigerübervorteilung besteht nicht. Durch den Ausschluss der Verrechnung könnte im Gegenteil ein Sozialwerk geschädigt werden, aus dem der Schuldner selber wieder Vorteile erlangt, zumal die Sozialversicherungsbeiträge rentenbildend sein können. Praktisch alle übrigen Gläubiger des Gemeinschuldners würden sodann ohne Verrechnung schlechter gestellt. Gemäss Art. 219 Abs. 4 SchKG sind die Beitragsforderungen der Sozialversicherung in der zweiten Klasse privilegiert. Durch Verrechnung wird diese privilegierte Forderung vermindert, so dass die gleich- oder nachgestellten Gläubiger eine Besserstellung erfahren. Schliesslich würde ohne Verrechnungsmöglichkeit allein der Schuldner profitieren, weil die Sozialversicherungsleistungen gemäss Art. 20 Abs. 1 AHVG unabtretbar, unverpfändbar und der Zwangsvollstreckung entzogen sind. Es ist nun aber nicht einzusehen, warum ein Versicherter, dessen Beitragsschuld in einem Konkurs- oder Nachlassverfahren angemeldet worden ist, besser gestellt werden soll als ein anderer Versicherter, der ebenfalls Sozialversicherungsbeiträge schuldig blieb.

4. Zusammenfassend ergibt sich, dass die Verrechnung der monatlichen Invalidenrente des Beschwerdeführers mit seinen ausstehenden bundesrechtlichen Sozialversicherungsbeiträgen zulässig ist, weil sich der Beschwerdeführer nicht in einer Notlage befindet und weil der Ausschluss der Verrechnung nach Art. 213 Abs. 2 SchKG im Anwendungsbereich des Art. 20 Abs. 2 AHVG nicht gilt.

Demnach erkennt das Eidg. Versicherungsgericht:

Die Verwaltungsgerichtsbeschwerde wird abgewiesen.