A.- N. bezog von der Ausgleichskasse des Kantons Zürich eine Mutterwaisenrente. Ab April 1991 wurde ihm gleichzeitig von der Ausgleichskasse des Kantons Zug eine Kinderrente als Zusatz zur Altersrente seines Vaters ausgerichtet. Am 14. April 1992 erliess die Ausgleichskasse des Kantons Zug eine Rückerstattungsverfügung. Ein von N. eingereichtes Erlassgesuch wies die Kasse mit Verfügung vom 19. Mai 1992 ab.

B.- Hiegegen liess N. am 17. Juni 1992 bei der Ausgleichskasse des Kantons Zug Beschwerde erheben. Die Ausgleichskasse überwies die Eingabe, welche am 18. Juni 1992 bei ihr eingegangen war, an das Verwaltungsgericht des Kantons Zug, wo sie am 22. Juni 1992 eintraf. Das Verwaltungsgericht stellte fest, dass sich weder auf der Beschwerde oder auf dem Doppel noch auf dem Couvert eine Unterschrift des Versicherten oder seines Vertreters finde. Demzufolge trat es mit Entscheid vom 13. August 1992 auf die Beschwerde nicht ein.

C.- N. lässt Verwaltungsgerichtsbeschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben und es sei die Sache zur materiellen Beurteilung an die Vorinstanz zurückzuweisen; eventuell sei die Rückerstattungsforderung zu erlassen.

Ausgleichskasse und Bundesamt für Sozialversicherung schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde.

Das Eidg. Versicherungsgericht zieht in Erwägung:

1.- (Kognition)

2.- Die Vorinstanz hat sich unter Hinweis auf die fehlende eigenhändige Unterschrift des Beschwerdeführers oder seines Vertreters auf den Standpunkt gestellt, dass die am 17. Juni 1992 der Post zuhanden der Ausgleichskasse des Kantons Zug übergebene Beschwerde nicht gültig eingereicht worden sei, weshalb darauf nicht eingetreten werden könne. Daran anschliessend hat das Gericht folgendes erwogen:

"Zu prüfen bleibt, ob dem Vertreter des Beschwerdeführers nicht eine angemessene Frist zur Nachbesserung im Sinne von Art. 85 Abs. 2 lit. b Satz 2 AHVG hätte angesetzt werden müssen. Eine Frist zur Verbesserung wird dann angesetzt, wenn innert der Rekursfrist eine mangelhafte Beschwerde eingereicht wird. Im vorliegenden Fall traf das Schreiben des Vertreters erst drei Tage nach Ablauf der Beschwerdefrist am 22. Juni 1992 beim Verwaltungsgericht ein. Die Ausgleichskasse, bei der die Beschwerde noch innerhalb der Beschwerdefrist eintraf, hatte als unzuständige Behörde keine Möglichkeit, dem Beschwerdeführer eine Frist zur Verbesserung im Sinne von Art. 85 Abs. 2 lit. b AHVG anzusetzen. Sie hat aber ihrerseits die Eingabe ohne Verzug an das Verwaltungsgericht weitergeleitet. Vom zeitlichen Ablauf her wäre es der Kasse auch nicht möglich gewesen, den Vertreter des Beschwerdeführers rechtzeitig zur Vornahme der Unterschrift aufzufordern (Eingang der Beschwerde am 18. Juni 1992 und Ablauf der Beschwerdefrist am 19. Juni 1992). Gelangt aber eine Eingabe ohne eigenhändige Unterschrift nach Ablauf der Beschwerdefrist an die zuständige Behörde, so ist die Beschwerde nicht gültig eingereicht worden. Eine Nachfrist zur Verbesserung kann in diesem Fall nicht mehr angesetzt werden."

In der Verwaltungsgerichtsbeschwerde wird demgegenüber vorgebracht, das kantonale Gericht wäre verpflichtet gewesen, eine kurze Nachfrist zur Behebung des Mangels der fehlenden Unterschrift anzusetzen. Dies gelte umso mehr, als es sich dabei um ein Versehen gehandelt habe und die Ausgleichskasse im Besitz einer Vollmacht des Beschwerdeführers gewesen sei.

3.- Vorab ist zu prüfen, ob die vorinstanzliche Beschwerde als rechtzeitig erhoben zu betrachten ist.

a) Art. 96 AHVG erklärt bezüglich der Fristen die Art. 20 bis 24 VwVG für anwendbar. Diese bundesrechtliche Regelung über die Fristen ist demnach im kantonalen AHV-rechtlichen Beschwerdeverfahren direkt und abschliessend anwendbar; für abweichende kantonale Normen bleibt diesbezüglich kein Raum (BGE 105 V 106, 102 V 243 Erw. 2a). Art. 21 Abs. 1 VwVG bestimmt, dass schriftliche Eingaben spätestens am letzten Tage der Frist der Behörde eingereicht oder zu deren Händen der schweizerischen Post übergeben werden müssen. Laut Art. 21 Abs. 2 VwVG gilt eine Frist auch dann als gewahrt, wenn die Partei rechtzeitig an eine unzuständige Behörde gelangt. Die unzuständige Behörde hat eine an sie adressierte Eingabe unverzüglich an die zuständige Amtsstelle weiterzuleiten (BGE 102 V 75 Erw. 1; RSKV 1978 Nr. 316 S. 53 Erw. 2).

b) Vorliegend hat die Ausgleichskasse des Kantons Zug die Verfügung vom 19. Mai 1992 offenbar mit uneingeschriebener Post versandt. Wann sie in den Gewahrsam des Beschwerdeführers gelangt ist, lässt sich den Akten nicht entnehmen. Jedoch steht fest, dass die zu beurteilende Eingabe am 17. Juni 1992 und damit in jedem Fall innerhalb der 30tägigen Beschwerdefrist zuhanden der Ausgleichskasse der Post übergeben wurde. Durch den rechtzeitigen Eingang der Beschwerde bei der Kasse als unzuständiger und weiterleitungspflichtiger Behörde gilt die Frist als gewahrt. Folglich erweist sich die vorinstanzliche Auffassung, wonach die Eingabe verspätet bei ihr als der zuständigen Behörde eingegangen sei, als unzutreffend.

4.- Zu prüfen bleibt, ob die Vorinstanz berechtigt war, die Beschwerde wegen fehlender Unterschrift ohne Ansetzung einer Nachfrist zur Verbesserung mit Nichteintreten zu erledigen.

a) Nach Art. 85 Abs. 2 AHVG regeln die Kantone das Rekursverfahren, welches bestimmten Anforderungen zu genügen hat. Lit. a schreibt den Kantonen - im Sinne eines Minimalprinzips - ein einfaches und rasches Verfahren vor. Die Beschwerde muss eine gedrängte Darstellung des Sachverhalts, ein Rechtsbegehren und eine kurze Begründung enthalten. Genügt die Beschwerde diesen Anforderungen nicht, so setzt die Rekursbehörde dem Beschwerdeführer eine angemessene Frist zur Verbesserung und verbindet damit die Androhung, dass sonst auf die Beschwerde nicht eingetreten werde (lit. b). Die nähere Ausgestaltung des Verfahrens obliegt den Kantonen.

§ 65 Abs. 1 des Gesetzes über den Rechtsschutz in Verwaltungssachen des Kantons Zug vom 1. April 1976 (VRG) sieht vor, dass die Beschwerdeschrift einen Antrag und eine Begründung enthalten muss. Der angefochtene Entscheid ist beizulegen oder genau zu bezeichnen. Nach Abs. 2 dieser Bestimmung sind die Beweismittel, auf die sich der Beschwerdeführer beruft, zu bezeichnen und soweit möglich beizufügen. Genügt die Beschwerdeschrift diesen Erfordernissen nicht, so wird dem Beschwerdeführer eine kurze Frist zur Behebung des Mangels angesetzt unter der Androhung, dass sonst auf die Beschwerde nicht eingetreten werde (Abs. 3).

Mit dem entsprechenden kantonalen Recht hat sich das Eidg. Versicherungsgericht grundsätzlich nicht zu befassen (Art. 128 OG in Verbindung mit Art. 97 Abs. 1 OG und Art. 5 Abs. 1 VwVG). Es hat nur zu prüfen, ob die Anwendung der einschlägigen kantonalen Bestimmungen oder - bei Fehlen solcher Vorschriften - die Ermessensausübung durch das kantonale Gericht zu einer Verletzung von Bundesrecht (Art. 104 lit. a OG), insbesondere des Willkürverbots gemäss Art. 4 BV oder des Verbots des überspitzten Formalismus geführt hat.

b) Überspitzter Formalismus ist eine besondere Form der Rechtsverweigerung. Eine solche liegt vor, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und dem Bürger den Rechtsweg in unzulässiger Weise versperrt (BGE 118 V 315 Erw. 4 mit Hinweis; vgl. auch BGE 119 Ia 6 Erw. 2a, 118 Ia 15 Erw. 2a). Im Bereich der Sozialversicherung ist das Verbot des überspitzten Formalismus in Art. 85 Abs. 2 lit. a AHVG enthalten (BGE 114 V 206 Erw. 1b mit Hinweisen; SPIRA, Le contentieux des assurances sociales fédérales et la procédure cantonale, Recueil de jurisprudence neuchâteloise, 1984, S. 20; MEYER-BLASER, Die Rechtspflege in der Sozialversicherung, BJM 1989, S. 13 f.).

5.- a) Gemäss bundesgerichtlicher Rechtsprechung bedeutet es keinen überspitzten Formalismus, vom Bürger zu verlangen, dass er seine Rechtsschriften eigenhändig unterzeichnet oder von einem bevollmächtigten und nach kantonalem Verfahrensrecht zugelassenen Vertreter unterzeichnen lässt (BGE 114 Ia 22 Erw. 2a, 111 Ia 171 Erw. 3 und 4b mit Hinweisen). Jedoch ist zu beachten, dass die Verfahrensvorschriften des Zivilprozess-, Strafprozess- und Verwaltungsrechts der Verwirklichung des materiellen Rechts zu dienen haben, weshalb die zur Rechtspflege berufenen Behörden verpflichtet sind, sich innerhalb des ihnen vom Gesetz gezogenen Rahmens gegenüber dem Rechtsuchenden so zu verhalten, dass sein Rechtsschutzinteresse materiell gewahrt werden kann. Behördliches Verhalten, das einer Partei den Rechtsweg verunmöglicht oder verkürzt, obschon auch eine andere gesetzeskonforme Möglichkeit bestanden hätte, ist mit Art. 4 BV nicht vereinbar. Dementsprechend entschied das Bundesgericht, dass ein Richter oder Kanzleibeamter eines Gerichts verpflichtet ist, die betreffende Partei auf den Mangel aufmerksam zu machen und dessen Verbesserung zu verlangen, wenn er bei einer Rechtsmittelerklärung einen sofort erkennbaren Formfehler wie das Fehlen einer gültigen Unterschrift feststellt und die Rechtsmittelfrist noch nicht verstrichen ist. Wenn der Mangel der Unterschrift so früh erkannt worden ist, dass die betreffende Partei den Fehler bei entsprechendem Hinweis innert Frist hätte verbessern können, verletzt das Stillschweigen der Behörden Art. 4 BV (BGE 111 Ia 174 Erw. 4c mit Hinweisen). In BGE 114 Ia 24 Erw. 2b präzisierte das Bundesgericht diese Praxis und hielt fest, es sei unerheblich, ob die Behörde den Mangel tatsächlich feststelle. Vielmehr sei sie grundsätzlich verpflichtet, den Verfasser einer Rechtsmittelschrift auf das Fehlen der Unterschrift aufmerksam zu machen, solange die noch verfügbare Zeit bis zum Ablauf der Rechtsmittelfrist ausreiche, um den Mangel zu beheben.

Das Eidg. Versicherungsgericht vertrat seinerseits die Auffassung, es sei nicht willkürlich, wenn der vorinstanzliche Richter davon ausgehe, die nach der kantonalen Verfahrensordnung verlangte Schriftlichkeit der Beschwerde setze die eigenhändige Unterschrift voraus. In bezug auf kantonale Verfahrensvorschriften, welche der Bestimmung von Art. 85 Abs. 2 lit. b AHVG entsprechen, hielt das Gericht fest, dass bei Fehlen der Unterschrift keine Pflicht zur Nachfristansetzung bestehe. Der kantonale Richter handle daher nicht bundesrechtswidrig, wenn er von einer derartigen Vorkehr absehe (unveröffentlichte Urteile H. und G. vom 24. Februar 1975).

b) Grundlage dieser Rechtsprechung bildete der Umstand, dass alle für das Bundesgericht bestimmten Rechtsschriften die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten haben (Art. 30 Abs. 1 OG; Art. 108 Abs. 2 OG in Verbindung mit Art. 132 OG) und dass Art. 108 Abs. 3 OG es nicht zuliess, andere Mängel als Unklarheiten im Begehren oder in der Begründung nach Ablauf der Rechtsmittelfrist zu beheben; eine Nachfristansetzung zur Verbesserung war im Falle der fehlenden Unterschrift nicht möglich (vgl. BGE 112 Ia 173, 102 IV 142; ZAK 1992 S. 85, 1985 S. 529; BIRCHMEIER, Handbuch des Bundesgesetzes über die Organisation der Bundesrechtspflege, N. 1 zu Art. 30; GRISEL, Traité de droit administratif, S. 916 f.; GYGI, Bundesverwaltungsrechtspflege, Bern 1983, S. 195 f.; KÖLZ/HÄNER, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, Zürich 1993, S. 237 Rz. 411; MEYER-BLASER, a.a.O., S. 14; a.A.: MARTI, Die staatsrechtliche Beschwerde, 4. Aufl. 1979, S. 137 Rz. 239).

c) Mit der auf den 15. Februar 1992 in Kraft gesetzten revidierten Bestimmung von Art. 30 Abs. 2 OG wurde die bisherige prozessuale Formstrenge für das Verfahren vor Bundesgericht gelockert (vgl. Botschaft zur Änderung des Bundesgesetzes über die Organisation der Bundesrechtspflege vom 18. März 1991, BBl 1991 II 514). Fehlt auf einer Rechtsschrift die Unterschrift einer Partei oder eines zugelassenen Vertreters, fehlen dessen Vollmacht oder die vorgeschriebenen Beilagen, oder ist der Unterzeichner als Vertreter nicht zugelassen, so ist nach dieser revidierten Bestimmung eine angemessene Frist zur Behebung des Mangels anzusetzen mit der Androhung, dass die Rechtsschrift sonst unbeachtet bleibe. Demnach hat das Bundesgericht den Verfasser einer nicht oder von einer nicht als Vertreter zugelassenen Person unterzeichneten Rechtsschrift in jedem Fall auf den Mangel aufmerksam zu machen; selbst wenn die gesetzliche Rechtsmittelfrist abgelaufen ist, muss dem Verfasser der nicht gültig unterzeichneten Rechtsschrift eine Frist zur nachträglichen Unterzeichnung angesetzt werden.

Die neue Bestimmung von Art. 30 Abs. 2 OG steht in Einklang mit Art. 52 VwVG, der dem Beschwerdeführer ebenfalls eine kurze Nachfrist zur Verbesserung der Mängel einräumt (POUDRET, Les règles générales révisées ou nouvelles de l'OJ, in: L'organisation judiciaire et les procédures fédérales, Le point sur les révisions récentes, documentation du CEDIDAC, Lausanne 1992, S. 35; POUDRET, Commentaire de la loi fédérale d'organisation judiciaire (COJ), Bern 1990, N. 2 zu Art. 30 OG). Sie gründet auf dem Gedanken, dass jeder rigorose Formalismus zu vermeiden ist, die erwähnten Mängel folglich nicht direkt zu einem Nichteintreten führen, sondern innert einer Nachfrist beseitigt werden können (Bericht der Expertenkommission vom Januar 1982 S. 38; MESSMER/IMBODEN, Die eidgenössischen Rechtsmittel in Zivilsachen, S. 28 Fn. 3). Prozessuale Formstrenge soll dort gemildert werden, wo sie sich nicht durch schutzwürdige Interessen rechtfertigt (BBl 1991 II 514).

6.- a) Mit Blick auf die der erwähnten Gesetzesänderung zugrundeliegenden Überlegungen hat das Bundesgericht in seiner neuesten Rechtsprechung entschieden, der kantonale Richter handle gegen Treu und Glauben, wenn er ein nicht oder von einer nicht zur Vertretung berechtigten Person unterzeichnetes Rechtsmittel als unzulässig beurteile, ohne eine kurze, gegebenenfalls auch über die gesetzliche Rechtsmittelfrist hinausgehende Nachfrist für die gültige Unterzeichnung anzusetzen (unveröffentlichte Urteile F. vom 23. März 1994 und Z. vom 15. Juni 1993).

Dieser Auffassung schliesst sich das Eidg. Versicherungsgericht im Grundsatz an. Nach dem Gesagten bedeutet es keinen Verstoss gegen Art. 4 BV, wenn der kantonale Richter bei Einlegung eines Rechtsmittels auf der Unterschrift des Beschwerdeführers oder seines Vertreters besteht. Hingegen hat er bei fehlender gültiger Unterschrift eine angemessene Frist zur Behebung des Mangels anzusetzen. Denn die Möglichkeit der Nachfristansetzung, wie sie in Art. 30 Abs. 2 OG für das Verfahren vor Bundesgericht enthalten ist, ist Ausdruck eines aus dem Verbot des überspitzten Formalismus fliessenden allgemeinen prozessualen Rechtsgrundsatzes, der auch im kantonalen Verfahren Geltung hat (vgl. POUDRET, COJ, N. 2 zu Art. 30 OG). Sodann ergibt sie sich aus der in Art. 85 Abs. 2 lit. a AHVG verankerten Minimalanforderung eines einfachen Verfahrens.

b) In bezug auf den vorliegenden Fall führt dies dazu, dass der kantonale Nichteintretensentscheid aufzuheben und dem Beschwerdeführer von der Vorinstanz eine kurze Nachfrist zur Nachreichung der fehlenden Unterschrift anzusetzen ist.

7.- (Kostenpunkt)