A.- Josef Nüssli ist seit 1. Januar 1976 der Ausgleichskasse des Kantons Zürich als Nichterwerbstätiger angeschlossen. Am 23. Juli 1981 setzte die Ausgleichskasse die Sozialversicherungsbeiträge für die Jahre 1976 bis 1980 und für die Monate Januar bis März 1981 in der Gesamthöhe von Fr. 750.-- (Mindestbeiträge) fest. Beschwerden gegen die entsprechenden Verfügungen blieben erfolglos (Urteil des Eidg. Versicherungsgerichts vom 3. Januar 1983). Anfangs August 1983 wurde Josef Nüssli für die ausstehenden Beiträge samt entstandenen Kosten erfolglos betrieben.

Seit 1. April 1981 bezieht Josef Nüssli eine ordentliche Ehepaar-Altersrente von monatlich Fr. 972.--. Mit Verfügung vom 18. August 1983 gab ihm die Kasse bekannt, dass sie den aus den erwähnten Beiträgen von Fr. 750.--, den Mahngebühren und den Betreibungsspesen sich ergebenden Gesamtbetrag von Fr. 948.-- in den Monaten September, Oktober und November 1983 mit der Ehepaar-Altersrente in drei Teilbeträgen verrechnen werde. In der Folge zog sie in den genannten drei Monaten je Fr. 316.-- von der Ehepaar-Altersrente ab.

B.- Mit Entscheid vom 2. Juli 1984 wies die AHV-Rekurskommission des Kantons Zürich eine gegen die Verfügung vom 18. August 1983 erhobene Beschwerde ab.

Auf Wunsch des Versicherten versandte die Rekurskommission ihren Entscheid nicht an seine Wohnadresse, sondern eingeschrieben "postlagernd". Die Sendung wurde bis 28. August 1984 nicht in Empfang genommen, worauf sie die Post mit dem Vermerk "nicht abgeholt" an die Vorinstanz zurückstellte. Diese unternahm am 29. August 1984 einen zweiten Zustellungsversuch, wobei sie aber die Sendung nicht mehr eingeschrieben aufgab.

C.- Josef Nüssli führt mit Eingabe vom 22. September 1984 Verwaltungsgerichtsbeschwerde, wobei er angibt, den vorinstanzlichen Entscheid am 6. September 1984 entgegengenommen zu haben. Er stellt sinngemäss den Antrag, die Verfügung vom 18. August 1983 sei aufzuheben.

Ausgleichskasse und Bundesamt für Sozialversicherung beantragen Abweisung der Verwaltungsgerichtsbeschwerde.

2. a) Gemäss Art. 106 Abs. 1 in Verbindung mit Art. 132 OG ist die Verwaltungsgerichtsbeschwerde dem Eidg. Versicherungsgericht innert 30 Tagen seit Eröffnung des vorinstanzlichen Entscheides einzureichen. Diese Frist kann nicht erstreckt werden (Art. 33 Abs. 1 in Verbindung mit Art. 135 OG). Bei der Berechnung der Fristen wird der Tag, an dem die Frist zu laufen beginnt, nicht mitgezählt (Art. 32 Abs. 1 OG). Nach Art. 32 Abs. 3 OG ist die 30tägige Frist nur gewahrt, wenn die Verwaltungsgerichtsbeschwerde spätestens am letzten Tag der Frist beim Eidg. Versicherungsgericht eingegangen oder zu dessen Händen der schweizerischen Post übergeben worden ist.

b) Eine eingeschriebene Postsendung gilt grundsätzlich in dem Zeitpunkt als zugestellt, in welchem der Adressat sie tatsächlich in Empfang nimmt. Wird der Adressat nicht angetroffen und wird daher eine Abholungseinladung in seinen Briefkasten oder sein Postfach gelegt, so gilt die Sendung in jenem Zeitpunkt als zugestellt, in welchem sie auf der Post abgeholt wird; geschieht dies nicht innert der Abholfrist, die sieben Tage beträgt (Art. 169 Abs. 1 lit. d und e Verordnung (1) zum Postverkehrsgesetz, SR 783.01), so gilt die Sendung als am letzten Tag dieser Frist zugestellt (BGE 104 Ia 466, BGE 100 III 3, BGE 97 III 10; ZAK 1974 S. 596; ARV 1980 Nr. 46 S. 113).

Ein allfälliger zweiter Versand und die spätere Entgegennahme der Sendung vermögen an diesem Ergebnis nichts zu ändern. Sie sind rechtlich unbeachtlich (ZAK 1978 S. 97).

c) Postlagernd adressierte Briefsendungen - ob eingeschrieben oder nicht - lagern bei der Bestimmungspoststelle während eines Monats (Art. 166 Abs. 2 lit. a Verordnung (1) zum Postverkehrsgesetz). Wenn sie während dieser Aufbewahrungsfrist nicht ausgehändigt werden können, werden sie ohne Verzug an den Aufgabeort zurückgesandt (Art. 169 Abs. 1 lit. g und Abs. 2 lit. b Verordnung (1) zum Postverkehrsgesetz).

Was den Zeitpunkt der Zustellung anbetrifft, ist bei den postlagernden Sendungen sinngemäss vorzugehen wie bei den eingeschriebenen Sendungen, die in die Wohnung, das Geschäft oder an einen anderen Aufenthaltsort bzw. an einen Postfachhalter adressiert sind. Die postlagernde Sendung gilt in jenem Zeitpunkt als zugestellt, in welchem sie auf der Post abgeholt wird; geschieht dies nicht innert der Aufbewahrungsfrist, so gilt die Sendung als am letzten Tag dieser Frist zugestellt. Dass die Aufbewahrungsfrist für postlagernde Sendungen, bedingt durch die besonderen Anforderungen dieser Art von Zustellung, einen ganzen Monat beträgt, während die Abholfrist für eingeschriebene Sendungen, die nicht postlagernd zugestellt werden, auf sieben Tage begrenzt ist, vermag an der grundsätzlichen Rechtslage nichts zu ändern.

d) Nach dem Gesagten ist vorliegend der zweite Versand des vorinstanzlichen Entscheides vom 29. August 1984 unbeachtlich. Es ist vielmehr darauf abzustellen, dass die Vorinstanz die Sendung am 25. Juli 1984 postlagernd aufgegeben hat und dass die Sendung noch am gleichen Tage bei der Bestimmungspoststelle eingegangen ist. Die Aufbewahrungsfrist von einem Monat lief demzufolge am 25. August 1984 ab... Der vorinstanzliche Entscheid ist demnach als am 25. August 1984, dem letzten Tag der Aufbewahrungsfrist, zugestellt zu betrachten. Demzufolge ist die Verwaltungsgerichtsbeschwerde vom 22. September 1984 in Wahrung der durch Art. 106 OG bestimmten Frist von 30 Tagen eingereicht worden. Es ist deshalb auf sie einzutreten.

3. a) (Kognition, vgl. BGE 104 V 6 Erw. 1)

b) Gemäss Art. 20 Abs. 2 AHVG können die AHV-Beiträge mit fälligen AHV-Renten verrechnet werden. Dabei ist davon auszugehen, dass Art. 20 Abs. 2 AHVG zwingenden Charakter hat und die Ausgleichskassen im Rahmen der gesetzlichen Vorschriften nicht nur befugt, sondern auch verpflichtet sind, geschuldete Beiträge mit fälligen Leistungen zu verrechnen (EVGE 1961 S. 29; ZAK 1971 S. 508; unveröffentlichtes Urteil Oberli vom 30. Juli 1982).

In die Verrechnungsforderung können praxisgemäss auch die Betreibungsspesen und die übrigen Verwaltungskosten miteinbezogen werden (EVGE 1956 S. 190 f., 1953 S. 288; ZAK 1971 S. 508; unveröffentlichte Urteile Fessler vom 12. März 1984 und Oberli vom 30. Juli 1982). Die Verrechnung der geschuldeten Beiträge (ob diese rentenbildend sind oder nicht) mit der Rente darf aber nur insoweit erfolgen, als der Verrechnungsabzug an den monatlichen Renten das betreibungsrechtliche Existenzminimum nicht beeinträchtigt (BGE 107 V 75 Erw. 2, BGE 106 V 137).

Wenn die Einkünfte des Versicherten das Existenzminimum nicht übersteigen, ist eine Verrechnung ausgeschlossen. In diesem Falle hat die Ausgleichskasse grundsätzlich die geschuldeten Beiträge und Verwaltungskosten als uneinbringlich abzuschreiben (Art. 42 Abs. 1 AHVV). Hinsichtlich der Mindestbeiträge ist jedoch das durch Art. 11 Abs. 2 AHVG umschriebene Verfahren des Erlasses von Beiträgen (BGE 108 V 49 durchzuführen.

Übersteigen hingegen die Einkünfte des Beitragspflichtigen das Existenzminimum, darf in der Weise verrechnet werden, dass das Existenzminimum nicht tangiert wird. Wenn die Verrechnung des vollen Betrages auf einmal nicht möglich ist, sind entsprechende Teilbeträge monatlich in Verrechnung zu bringen.

4. a) ...

b) In der Vernehmlassung an die Vorinstanz hat die Ausgleichskasse geltend gemacht, dass durch die Verrechnung des ausstehenden Betrages von Fr. 948.-- mit Anteilen von Fr. 316.-- von den drei Monatsrenten (von je Fr. 972.--) keine grosse Härte entstanden sei. Die Vorinstanz hält fest, der Beschwerdeführer habe die Verletzung des Existenzminimums nicht geltend gemacht und sei durch die Verrechnungsbeträge nicht übermässig belastet. Diesen Feststellungen steht die Tatsache gegenüber, dass der Beschwerdeführer im vorinstanzlichen Verfahren auf "Zahlungsunfähigkeit", "spärlichen Verdienst", "Ergänzungsleistung" sowie "ausstehenden Wohnungszins" hingewiesen hat und dass die Ausgleichskasse einen Verlustschein des Beschwerdeführers von Fr. 890.-- auflegt. Es liegt deshalb auf der Hand, dass die Vorinstanz - wie zuvor die Verwaltung - bei der Annahme, die Voraussetzungen für die Verrechnung seien gegeben, von einem offensichtlich unvollständigen Sachverhalt ausgegangen ist (Art. 105 Abs. 2 OG). Der vorinstanzliche Entscheid und die Kassenverfügung sind deshalb aufzuheben und die Sache ist zur Prüfung der Vorbringen des Beschwerdeführers an die Verwaltung zurückzuweisen.

Falls die Ausgleichskasse aufgrund ihrer weiteren Abklärung zum Schluss gelangt, dass die Einkünfte des Beschwerdeführers zu keinem Zeitpunkt das betreibungsrechtliche Existenzminimum überstiegen, wird jede Verrechnung ausgeschlossen sein, und die Kasse wird die verrechneten Fr. 948.-- zurückzuerstatten haben. Im übrigen hat sie vorzugehen, wie das in Erw. 3b festgehalten ist.

Übersteigen die Einkünfte des Beschwerdeführers das Existenzminimum, dann darf verrechnet werden. Ergibt sich, dass die Kasse monatlich einen geringeren Betrag als den verfügten hätte verrechnen dürfen, dass aber bei korrekter Verrechnung des niedrigeren Betrages die Beitragsschuld im Zeitpunkt der Neuabklärung bereits getilgt wäre, dann hat es bei der faktisch durchgeführten Verrechnung sein Bewenden: Obwohl dem Beschwerdeführer durch die vollzogene Verrechnung das Existenzminimum nicht gewährleistet war, befindet er sich im Zeitpunkt der Neuüberprüfung nicht in einer anderen Situation, als wenn korrekt verrechnet worden wäre.