A.- Depuis le 1er mai 1993, C. est assurée auprès de la FAMA, caisse-maladie et accidents (la FAMA). Elle bénéficie de la couverture des frais médicaux et pharmaceutiques et de deux assurances complémentaires.

Les 27 juin et 17 août 1996, la FAMA lui a fait notifier, par l'intermédiaire de l'Office des poursuites, deux commandements de payer par lesquels elle requérait le paiement de respectivement 1'414 francs et 1'522 francs plus les intérêts et les frais de poursuite. Ces montants représentent les cotisations impayées - y compris pour les assurances complémentaires - durant les périodes d'avril à septembre 1995 et d'octobre 1995 à mars 1996. L'assurée a formé opposition totale à ces deux commandements de payer.

Par deux décisions, la FAMA a déclaré l'assurée débitrice des montants précités. Saisie de deux oppositions, la FAMA les a rejetées par deux nouvelles décisions du 18 novembre 1996.

B.- C. a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud. Par jugement du 16 juin 1997, celui-ci a déclaré irrecevable le recours en tant qu'il a trait aux cotisations dues pour les assurances complémentaires, en considérant que ces prétentions sont de nature civile, de sorte que la FAMA doit les faire valoir par la voie de l'action et non de la décision administrative. Le tribunal cantonal a constaté d'office la nullité de ces décisions dans cette mesure.

C.- La FAMA interjette recours de droit administratif contre le jugement du tribunal cantonal. Elle conclut à l'annulation de celui-ci, en tant qu'il statue sur ses prétentions relatives aux cotisations d'assurances complémentaires.

Invitée à se déterminer, l'intimée n'a pas répondu.

1. Le litige porte sur la compétence ratione materiae du tribunal cantonal des assurances dans le domaine des cotisations aux assurances complémentaires échues en 1995 et en 1996.

2. (Pouvoir d'examen limité; cf. ATF 123 V 242 sv. consid. 1).

3. Au 1er janvier 1996 est entrée en vigueur la loi fédérale sur l'assurance-maladie du 18 mars 1994 (LAMal), qui remplace celle du 13 juin 1911 (LAMA).

Sous l'empire de la LAMA, le contentieux en matière d'assurances complémentaires au sens de l'art. 3 al. 5 LAMA ressortissait au juge des assurances sociales, selon la procédure définie aux art. 30 ss LAMA (ATF 108 V 42; ATF 105 V 296 consid. 1b; SPIRA, Le contentieux en matière d'assurance-maladie selon le nouveau droit, in: Revue jurassienne de Jurisprudence [RJJ] 1996 p. 198 et les références).

Dorénavant, les assurances complémentaires pratiquées par les assureurs-maladie sont régies par la LCA (art. 12 al. 2 et 3 LAMal), et l'art. 47 LSA s'applique au contentieux de première instance, de sorte que le juge des assurances sociales n'est plus compétent pour connaître des litiges, de nature privée, qui pourraient survenir entre assureurs et assurés (ATF 123 V 328 consid. 3a; SPIRA, op.cit. p. 199).

4. a) En vertu de l'art. 102 al. 2 des dispositions transitoires de la LAMal, les caisses devaient adapter au nouveau droit leurs dispositions relatives aux prestations complémentaires dans le délai d'une année dès l'entrée en vigueur de la LAMal (1ère phrase). Les droits et les obligations des assurés étaient régis par l'ancien droit tant que l'adaptation n'était pas effectuée (2ème phrase).

Se fondant sur cette disposition, la FAMA, qui n'avait pas adapté au nouveau droit ses dispositions en matière d'assurances complémentaires jusqu'à fin 1996, soutient que les rapports d'assurance y relatifs étaient régis par la LAMA jusqu'au 31 décembre 1996 et que les contestations qui en découlent restent de la compétence du juge des assurances sociales.

Les premiers juges considèrent en revanche que l'art. 102 al. 2 LAMal réserve l'application des seules dispositions matérielles de la LAMA durant la période transitoire et non de celles relatives au contentieux. A leurs yeux, la caisse devait, dès le 1er janvier 1996, faire valoir ses prétentions par la voie de l'action telle qu'elle est prévue à l'art. 47 LSA, bien qu'elle n'eût pas encore adapté ses dispositions en matière d'assurances complémentaires au nouveau droit.

b) Dans la mesure où le litige porte sur l'application de l'ancien droit en matière d'assurances complémentaires, il ressortit au juge des assurances sociales, contrairement à l'opinion des premiers juges (RAMA 1997 no KV 6 p. 160; arrêt non publié G. du 3 juillet 1997; voir aussi ATF 123 V 329 consid. 3b in fine). Cette solution est conforme à la volonté du législateur, le Conseil fédéral ayant exposé dans son message aux Chambres fédérales que durant la période transitoire, l'ancien droit restait applicable, y compris "le droit relatif à la procédure", ce par quoi il faut comprendre que le contentieux reste de la compétence du juge des assurances sociales (message du Conseil fédéral concernant la révision de l'assurance-maladie du 6 novembre 1991, FF 1992 I 195 ad art. 94). La doctrine est également de cet avis, quoi qu'en pensent les premiers juges (SPIRA, op.cit. p. 199; KIESER, Die Neuordnung der Zusatzversicherungen zur Krankenversicherung, in: PJA 1997 p. 17); les autres auteurs cités dans le jugement attaqué n'abordent pas spécifiquement la question des voies de droit à suivre durant la période transitoire prévue pour les assurances complémentaires (MAURER, Krankenversicherungsrecht, 1996, p. 135 ss; RITTER, Questions relatives aux assurances complémentaires à la LAMal, in: RSA 1995 p. 209 ss).

Le jugement attaqué, qui se révèle contraire au droit fédéral, doit être annulé et le dossier renvoyé à la juridiction cantonale qui s'est déclarée à tort incompétente, pour qu'elle statue sur le fond du litige.

Le recours est bien fondé.

5. (Frais judiciaires)