A.- T., welcher als Inhaber eines Carrosseriebetriebes Arbeitnehmer beschäftigte, wurde durch rechtskräftige Verfügung vom 18. Januar 1994 der Stiftung Auffangeinrichtung BVG (nachfolgend: Auffangeinrichtung) angeschlossen. Am 1. Dezember 1995 forderte ihn die Auffangeinrichtung auf, ihr Fr. 1'173.80 zu bezahlen. Nachdem er dieser Aufforderung nicht gefolgt war, wurde er am 3. Oktober 1996 gemahnt. In der anschliessenden Betreibung erhob er Rechtsvorschlag.

B.- Am 6. Dezember 1996 klagte die Auffangeinrichtung beim Versicherungsgericht des Kantons St. Gallen gegen T. auf Bezahlung von Fr. 1'493.80 nebst Zins zu 5% ab 3. Oktober 1996 auf dem Betrag von Fr. 1'273.80. Das kantonale Gericht hiess die Klage mit Entscheid vom 23. Mai 1997 gut, indem es T. verpflichtete, der Auffangeinrichtung den Betrag von Fr. 1'273.80 zuzüglich Zins zu 5% von Fr. 1'173.80 ab 3. Oktober 1996 zu bezahlen; überdies überband es ihm die Gerichtskosten von insgesamt 1'200 Franken und eine Prozessentschädigung zugunsten der Auffangeinrichtung von 600 Franken.

C.- T. führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, der vorinstanzliche Entscheid sei bezüglich Gerichtskosten und Prozessentschädigung aufzuheben; zudem ersucht er um Bewilligung der unentgeltlichen Rechtspflege.

Während sich die Auffangeinrichtung nicht vernehmen lässt, verzichten das kantonale Gericht und das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

1. a) Gemäss Art. 128 OG beurteilt das Eidg. Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b-h und 98a OG auf dem Gebiet der Sozialversicherung. Hinsichtlich des Begriffs der mit Verwaltungsgerichtsbeschwerde anfechtbaren Verfügungen verweist Art. 97 OG auf Art. 5 VwVG. Nach Art. 5 Abs. 1 VwVG gelten als Verfügungen Anordnungen der Behörden im Einzelfall, die sich auf öffentliches Recht des Bundes stützen (und im übrigen noch weitere, nach dem Verfügungsgegenstand näher umschriebene Voraussetzungen erfüllen).

b) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidg. Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Richter Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).

2. In Anwendung von Art. 128 OG in Verbindung mit Art. 97 OG und Art. 5 VwVG hat das Eidg. Versicherungsgericht erkannt, dass die Verwaltungsgerichtsbeschwerde gegen Entscheide, die sich auf kantonales Verfahrensrecht stützen, nicht zulässig ist (BGE 112 V 110 Erw. 2c). Dies ist namentlich bei Entscheiden der Fall, mit denen eine Partei in Streitigkeiten - für welche die Bundesgesetzgebung keinen Anspruch auf Parteientschädigung vorsieht - von der kantonalen Instanz zur Bezahlung einer Entschädigung verpflichtet wird (SZS 1992 S. 296 Erw. 2a mit Hinweisen). Auch im Bereich der beruflichen Vorsorge existiert keine bundesrechtliche Regelung der Parteientschädigung. Art. 73 Abs. 2 BVG verlangt lediglich im Sinne von Mindestanforderungen, denen das kantonale richterliche Verfahren zu genügen hat, dass dieses einfach, schnell und in der Regel kostenlos sein muss. Daraus hat das Eidg. Versicherungsgericht abgeleitet, dass es - vorbehältlich einer hier nicht zutreffenden Ausnahme (vgl. Art. 159 Abs. 6 OG) - nicht befugt ist, kantonale Entscheide in BVG-Streitigkeiten bezüglich der Parteientschädigung zu überprüfen (BGE 118 V 238 Erw. 8a, 112 V 112; SZS 1992 S. 297 Erw. 2b; ZAK 1987 S. 384 Erw. 2b; MARTIN WIRTHLIN, Zur letztinstanzlichen Überprüfung der Verlegung von Verfahrenskosten und Parteientschädigungen im Sozialversicherungsprozess, in: ZBJV 128/1992 S. 639 f.).

Soweit sich die Verwaltungsgerichtsbeschwerde gegen die im vorinstanzlichen Verfahren verlegte Parteientschädigung richtet, kann somit darauf nicht eingetreten werden.

3. a) Mit Bezug auf die Verfahrenskosten sieht das Bundesgesetz über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge - im Gegensatz zu andern Erlassen im Bereich der Sozialversicherung - die Möglichkeit eines Abgehens von der Regel des kostenfreien kantonalen Prozesses (Art. 73 Abs. 2 BVG) nicht ausdrücklich vor. Wie das Eidg. Versicherungsgericht in BGE 118 V 319 Erw. 3c erkannt hat, rechtfertigt es sich indes, die Einschränkung der Kostenfreiheit im Falle mutwilliger oder leichtsinniger Prozessführung als allgemeinen prozessualen Grundsatz des Bundessozialversicherungsrechts anzuerkennen (RÜEDI, Allgemeine Rechtsgrundsätze des Sozialversicherungsprozesses, in: Walter R. Schluep [Hrsg.], Recht, Staat und Politik am Ende des zweiten Jahrtausends, Festschrift zum 60. Geburtstag von Bundesrat Arnold Koller, in: St. Galler Studien zum Privat-, Handels- und Wirtschaftsrecht 34/1993, S. 466 ff.). Ein entsprechender kantonaler Kostenentscheid beruht demnach nicht auf kantonalem Recht, sondern auf Bundesrecht, weshalb er mit Verwaltungsgerichtsbeschwerde anfechtbar ist. Das Eidg. Versicherungsgericht prüft dabei die grundsätzliche Frage, ob das kantonale Gericht zu Recht auf Mutwilligkeit oder Leichtsinnigkeit erkannt hat, mit umfassender Kognition. Soweit hingegen die dem kantonalen Recht vorbehaltene Kostenbemessung angefochten wird, ist diese nur daraufhin zu hinterfragen, ob die Anwendung der betreffenden kantonalen Bestimmungen oder - bei Fehlen solcher Vorschriften - die Ermessensausübung durch das kantonale Gericht zu einer Verletzung von Bundesrecht (Art. 104 lit. a OG) geführt hat, wobei in diesem Bereich als Beschwerdegrund praktisch nur das Willkürverbot des Art. 4 Abs. 1 BV verbleibt (BGE 118 V 319 Erw. 3c und d).

b) Nach der Rechtsprechung kann leichtsinnige oder mutwillige Prozessführung vorliegen, wenn die Partei ihre Stellungnahme auf einen Sachverhalt abstützt, von dem sie weiss oder bei der ihr zumutbaren Sorgfalt wissen müsste, dass er unrichtig ist. Mutwillige Prozessführung kann unter anderem auch angenommen werden, wenn eine Partei vor der Rekursbehörde an einer offensichtlich gesetzwidrigen Auffassung festhält. Leichtsinnige oder mutwillige Prozessführung liegt aber solange nicht vor, als es der Partei darum geht, einen bestimmten, nicht als willkürlich erscheinenden Standpunkt durch den Richter beurteilen zu lassen. Dies gilt auch dann, wenn der Richter die Partei im Laufe des Verfahrens von der Unrichtigkeit ihres Standpunktes überzeugen und zu einem entsprechenden Verhalten (Beschwerderückzug) veranlassen will (BGE 112 V 334 Erw. 5a mit Hinweisen). Die Erhebung einer aussichtslosen Beschwerde darf einer leichtsinnigen oder mutwilligen Beschwerdeführung nicht gleichgesetzt werden. Das Merkmal der Aussichtslosigkeit für sich allein lässt einen Prozess noch nicht als leichtsinnig oder mutwillig erscheinen. Vielmehr bedarf es zusätzlich des subjektiven - tadelnswerten - Elements, dass die Partei die Aussichtslosigkeit bei der ihr zumutbaren vernunftgemässen Überlegung ohne weiteres erkennen konnte, den Prozess aber trotzdem führt (AHI 1998 S. 189 Erw. 2c; SZS 1995 S. 386 Erw. 3a; RKUV 1992 Nr. K 891 S. 73 Erw. 3a mit Hinweisen).

4. a) Aus den Akten ergibt sich, dass der Beschwerdeführer mit Verfügung vom 18. Januar 1994 der Beschwerdegegnerin angeschlossen worden ist. Diese machte mit Rechnung vom 1. Dezember 1995 eine Forderung von Fr. 1'173.80 für ausstehende Prämien und Verfügungsgebühren geltend. Diesen Betrag mahnte sie mit Schreiben vom 3. Oktober 1996 unter Androhung, dass bei Ausbleiben der Zahlung ohne weiteren Verzug der Rechtsweg beschritten werde. Da der Beschwerdeführer keine Folge leistete, leitete sie die Betreibung ein, worauf dieser Rechtsvorschlag erhob. Am 6. Dezember 1996 reichte die Beschwerdegegnerin beim kantonalen Gericht Klage ein. Der Beschwerdeführer liess sich in diesem Verfahren trotz Ansetzen einer Nachfrist und ausdrücklichem Hinweis auf die Säumnisfolgen nicht vernehmen. Von der Durchführung einer mündlichen Verhandlung sah die Vorinstanz ab, nachdem er auf ein entsprechendes Schreiben vom 18. Februar 1997 ebenfalls nicht reagiert hatte. Am 23. Mai 1997 erliess diese sodann den angefochtenen Entscheid.

b) Mutwillige Prozessführung kann darin begründet liegen, dass eine Partei eine ihr in dieser Eigenschaft obliegende Pflicht (z.B. Mitwirkungs-, Unterlassungspflicht) verletzt (BGE 112 V 335 Erw. 5a). Das Verhalten des Beschwerdeführers im vorinstanzlichen Prozess zeichnete sich im wesentlichen dadurch aus, dass er trotz Mahnung auf eine Stellungnahme zu den Vorbringen in der Klageschrift verzichtet hat. Dieses Verhalten allein vermag einen Vorwurf der Mutwilligkeit nicht zu begründen. Mit Bezug auf Prämienstreitigkeiten in der beruflichen Vorsorge gilt es indessen auf die besondere Natur des Verfahrens hinzuweisen. In der in BGE 118 V 316 nicht veröffentlichten Erwägung 4b führte das Eidg. Versicherungsgericht aus, beim (kantonalen) Prozess nach Art. 73 BVG handle es sich um ein Klageverfahren (BGE BGE 115 V 379 Erw. 3b, BGE 114 V 244 Erw. 3d) mit der Folge, dass der nunmehrige Beschwerdeführer nicht verfügungs-, sondern unmittelbar klageweise belangt wurde und er sich auf das entsprechende Verfahren zwangsläufig einzulassen hatte. Wenn er sich dabei untätig verhalte, möge sich dies zu seinem Nachteil auf die materielle Beurteilung auswirken; doch könne einzig darin - wie im Falle objektiv ungerechtfertigten Widerstandes - kein Grund zur Annahme leichtsinnigen oder mutwilligen Prozessierens erblickt werden. Diese Rechtsprechung bedarf insofern einer Präzisierung, als im Zusammenhang mit Prämienstreitigkeiten das prozessuale Verhalten des Zahlungspflichtigen nicht für sich allein, sondern in Verbindung mit seinem vorprozessualen Verhalten zu würdigen und unter dem Gesichtswinkel der Mutwilligkeit zu qualifizieren ist. Denn in Fällen wie dem vorliegenden geht es dem Arbeitgeber nicht darum, einen richterlichen Entscheid zur Klärung der Sach- und Rechtslage zu erhalten. Vielmehr zielt er darauf ab, die Zahlungspflicht durch Passivität möglichst lange hinauszuschieben. Dies wird ihm insofern erleichtert, als die Vorsorgeeinrichtungen Beitragsstreitigkeiten nicht verfügungsweise regeln können, sondern für die Rechtsverbindlichkeit ihrer Forderungen den Klageweg nach Art. 73 BVG beschreiten müssen (BGE 119 V 296 Erw. 3, BGE 115 V 224, 239, 375; SVR 1995 BVG Nr. 40 S. 118 Erw. 2b). Im Gegensatz zu den verfügungsberechtigten Verwaltungsbehörden (BGE 109 V 46, BGE 107 III 60; ZAK 1984 S. 190) können sie daher auch nicht selber über die Aufhebung des Rechtsvorschlages befinden (vgl. BGE 115 V 382 Erw. 5c). Dieser besonderen prozessualen Situation im Bereich von Art. 73 BVG ist Rechnung zu tragen. Wer als Arbeitgeber oder Versicherter Rechnungen und Mahnungen nicht beachtet, sich deswegen von der Vorsorgeeinrichtung betreiben lässt, diese - bei materiell offensichtlich unbegründetem Standpunkt - mittels Rechtsvorschlag zwingt, den Rechtsweg zu beschreiten, in eben diesem selber veranlassten Prozess nichts von sich hören lässt und somit nicht das geringste zur Klärung des Sachverhalts beiträgt, handelt mutwillig. Eine solche Prozessverursachung verbunden mit der durch Untätigkeit geprägten Haltung im Gerichtsverfahren, welche insgesamt auf eine Verzögerungstaktik des Zahlungspflichtigen hinausläuft, darf - ohne dass darin eine Bundesrechtswidrigkeit zu erblicken wäre - durch Auferlegung von Gerichtskosten sanktioniert werden.

c) Wenn die Vorinstanz das Verhalten des Beschwerdeführers, welcher der Rechnungsstellung durch die Auffangeinrichtung keine Folge leistete, in der anschliessenden Betreibung Rechtsvorschlag erhob und sich zudem im dadurch veranlassten Gerichtsverfahren nicht vernehmen liess, als mutwillig betrachtet und ihm deswegen Gerichtskosten auferlegt hat, lässt sich dies aus bundesrechtlicher Sicht nicht beanstanden (vgl. SZS 1992 S. 295). Sämtliche Einwendungen in der Verwaltungsgerichtsbeschwerde vermögen an diesem Ergebnis nichts zu ändern. Insbesondere kann der Beschwerdeführer seine Vorgehensweise nicht mit dem Einwand der Zahlungsunfähigkeit rechtfertigen.

5. (Kosten; unentgeltliche Prozessführung)