A.- Inscrite au Registre du commerce le 24 juin 1980, la société X S.A., dont Ray et Reymond étaient administrateurs, avait repris les actifs et les passifs de l'entreprise Z, non inscrite au Registre du commerce. Avant cette reprise, l'entreprise Z devait à la Caisse de compensation des Groupements patronaux vaudois un arriéré de cotisations paritaires AVS/AI/APG/AC. De son côté, X S.A. ne s'est pas acquittée, dès le mois de mars 1981, de la totalité des cotisations dues sur les rémunérations versées à ses employés. Elle a été déclarée en faillite le 14 octobre 1982. La faillite a été liquidée en la forme sommaire.

Par décision du 24 mai 1983, la caisse de compensation précitée a notifié à Ray et Reymond qu'elle leur demandait, en vertu de l'art. 52 LAVS, la réparation du dommage causé par l'insolvabilité de X S.A. Le dommage comprenait une partie de la dette de cotisations de l'entreprise Z.

B.- Ray et Reymond se sont opposés à la décision susmentionnée. Aussi la caisse de compensation a-t-elle porté le cas devant l'autorité cantonale de recours, conformément à l'art. 81 al. 3 RAVS. Par jugement du 5 novembre 1984, le Tribunal des assurances du canton de Vaud a admis l'action dont il était saisi et il a condamné les intéressés à verser solidairement à la caisse la somme de Fr. ....

C.- Ray et Reymond interjettent recours de droit administratif contre ce jugement, dont ils demandent l'annulation. La caisse intimée conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il renonce à présenter une proposition.

4. ... Ainsi donc, on doit considérer que la responsabilité des recourants est engagée sous l'angle de l'art. 52 LAVS. Par conséquent, ces derniers répondent solidairement du dommage subi par la caisse de compensation...

5. Il reste toutefois à examiner le problème de l'étendue du dommage dont la caisse de compensation est en droit de demander la réparation. La juridiction cantonale admet que ce dernier englobe également les cotisations paritaires dues mais non versées par l'entreprise Z; elle considère que, dans la mesure où elle a repris l'actif et le passif de cette entreprise, X S.A. est devenue responsable de l'ensemble des dettes de celle-ci. Par conséquent, il ne se justifierait pas d'opérer "une réduction sur le montant arrêté par la caisse au titre des engagements de l'entreprise Z". De leur côté, les recourants contestent toute reprise par X S.A. de la dette de cotisations en question, faisant valoir que les statuts de la société prévoyaient expressément, sur ce point, "un effet rétroactif au 1er janvier 1980 sans plus".

Il n'est cependant pas nécessaire de se prononcer sur cette controverse, car la solution retenue ici par les premiers juges ne peut pas être confirmée quant à son résultat. Sans doute est-il vrai que celui qui acquiert une entreprise avec actif et passif devient responsable des dettes envers les créanciers dès que l'acquisition a été portée par lui à leur connaissance ou qu'il l'a publiée dans les journaux (art. 181 al. 1 CO; cf. également, en ce qui concerne plus particulièrement les dettes de cotisations, ATFA 1965 p. 11). Mais, à elle seule, l'application de cette disposition ne permettrait pas de conclure que les recourants doivent être tenus à réparation en leur qualité d'anciens administrateurs de la société reprenante. Selon le système légal, la responsabilité de droit public instituée par l'art. 52 LAVS est le corollaire des obligations que l'employeur - c'est-à-dire celui qui verse à des personnes obligatoirement assurées une rémunération au sens de l'art. 5 al. 2 LAVS (cf. art. 12 al. 1 LAVS) - assume, notamment, en matière de perception des cotisations et de versement des prestations (BINSWANGER, Kommentar zum AHVG, note 1 ad art. 52; ATF 96 V 124; voir également le message du Conseil fédéral relatif à un projet de loi sur l'assurance-vieillesse et survivants, FF 1946 II 437 et 529). Cette norme ne vise donc pas n'importe quel dommage invoqué par une caisse de compensation: par définition, ce dernier doit être la conséquence d'un acte ou d'une omission relevant des tâches que la loi attribue à l'employeur. En matière de cotisations, qui représente le champ d'application principal de l'art. 52 LAVS, l'employeur responsable ne peut donc être que la personne (physique ou morale) qui était chargée, en tant qu'organe d'exécution de la loi, de la perception des cotisations et du règlement des comptes, conformément à l'art. 14 al. 1 LAVS en corrélation avec les art. 34 ss RAVS (cf. RCC 1985 p. 608 consid. 5b).

Or, dans le cas particulier, X S.A. n'avait à l'évidence aucune obligation découlant de la LAVS en matière de retenue et de paiement des cotisations d'assurances sociales dues sur les rémunérations versées par l'entreprise Z. C'est dire que le non-paiement d'une partie de ces cotisations n'a rien à voir avec la qualité d'employeur de X S.A. Cela suffit à exclure, sur le point ici en discussion, une responsabilité - subsidiaire - des recourants, fondée sur l'art. 52 LAVS.

6. Il résulte de ce qui précède que les recourants ne peuvent être tenus pour responsables que jusqu'à concurrence du dommage causé par le non-paiement des cotisations dues par X S.A. sur les rémunérations de ses propres salariés. Eu égard au pouvoir d'examen limité du Tribunal fédéral des assurances et au fait que le dossier ne fournit pas de renseignements suffisamment précis sur ce point, il convient de renvoyer la cause à la caisse intimée pour qu'elle chiffre exactement le montant du dommage en question et qu'elle rende une nouvelle décision.