A.- Charles R., divorcé d'Emilia X (dont il a deux enfants confiés à leur mère) et remarié avec Annie R. (dont il a un enfant aussi), a bénéficié d'une rente entière d'invalidité, assortie de rentes complémentaires (pour son ex-femme et ses deux enfants notamment), depuis le 1er avril 1973.

Le 30 novembre 1978, la Cour d'assises du canton de Genève a condamné Charles R. à cinq ans de réclusion, sous déduction de la détention préventive. Le prénommé a subi cette peine à partir du 5 mars 1979 dans différents établissements pénitentiaires. A partir du 3 mars 1980, il a pu bénéficier du régime de la semi-liberté, ce qui lui a permis d'exercer une certaine activité lucrative. Il a été libéré conditionnellement le 5 octobre 1980.

Par décision du 5 octobre 1979, la Caisse cantonale genevoise de compensation avait supprimé les rentes susmentionnées avec effet au 1er novembre 1979, pour le motif qu'un détenu invalide n'est pas atteint dans sa capacité de gain par l'infirmité mais par l'incarcération.

B.- Annie R. a recouru, en son nom personnel ainsi qu'en sa qualité de représentante légale de son mari (dont elle est la tutrice) et de son enfant, contre l'acte administratif précité.

La Commission cantonale genevoise de recours en matière d'AVS l'a déboutée par jugement du 27 mars 1980, rendu à l'encontre de Charles R.

C.- Charles R. interjette recours de droit administratif. Il conclut à l'annulation de la décision du 5 octobre 1979 et au maintien de la rente entière, ainsi que des rentes complémentaires. Cette démarche a été ratifiée par Annie R., avec l'autorisation de l'autorité tutélaire.

La caisse intimée conclut au rejet du recours, alors que l'Office fédéral des assurances sociales renonce à se déterminer.

D.- La Caisse cantonale genevoise de compensation a notifié à Emilia X le 19 mai 1980 seulement sa décision de supprimer les rentes complémentaires dès le 1er novembre 1979. Elle lui a réclamé simultanément le remboursement d'un montant de 6'792 fr., représentant celles qui ont été versées par erreur au-delà du terme susmentionné.

Emilia X a recouru devant la Commission cantonale genevoise de recours en matière d'AVS contre cet acte administratif, tout en demandant la remise de l'obligation de restituer les prestations touchées sans droit.

L'autorité judiciaire cantonale a proposé au Tribunal fédéral des assurances de traiter le recours comme une demande d'intervention de l'ex-épouse de l'assuré dans la procédure fédérale en cours.

1. Lorsque Emilia X, ex-épouse de l'assuré, a recouru contre la suppression des rentes complémentaires lui revenant, la Commission cantonale genevoise de recours en matière d'AVS avait déjà rejeté le recours formé par Annie R. Comme Emilia X et ses enfants se trouvent dans une situation identique à celle d'Annie R. et de son descendant, recourants en première instance avec leur mari et père, et auxquels la voie du recours de droit administratif était ouverte, il est inutile d'astreindre la juridiction cantonale à rendre un autre jugement. Emilia X et ses enfants sont à l'évidence atteints par le jugement confirmant la suppression de la rente allouée à Charles R., mesure entraînant extinction des rentes complémentaires, qui constituent, comme la jurisprudence l'a déjà rappelé, des prestations annexes à la rente d'invalidité; à défaut de droit à la rente de base, aucun droit à la rente complémentaire ne saurait exister (ATF 101 V 206). L'ex-femme du recourant est donc partie, elle aussi, à la procédure fédérale. Ses conclusions sont toutefois irrecevables, dans la mesure où elles tendent à la remise de l'obligation de restituer, faute de décision administrative statuant sur ce point.

2. Aux termes de l'art. 41 LAI, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée.

Suivant la jurisprudence, l'invalidité peut varier parce que l'infirmité qui la provoque a elle-même évolué ou, bien que l'atteinte à la santé ne se soit pas modifiée, parce que des circonstances qui lui sont associées en modifient les effets économiques (voir p.ex. ATF 105 V 29, ATFA 1968 p. 187, RCC 1974 p. 48). Or, la détention dans un établissement pénitentiaire aux fins d'y subir une peine privative de liberté constitue précisément l'une de ces circonstances de nature à modifier les effets économiques d'une atteinte à la santé, dans ce sens que ce n'est plus cette atteinte qui est responsable de la perte de gain encourue par l'assuré, mais bien la peine infligée à ce dernier. Il n'en va pas autrement lorsqu'on est en présence d'une personne dite non active, dont les occupations dans l'établissement pénitentiaire ne sauraient être réputées, à cet égard, constituer ses travaux habituels: c'est la détention, non l'atteinte à la santé, qui lui interdit d'accomplir lesdits travaux, pendant la durée d'exécution de la peine. On arrive du reste au même résultat en considérant que l'assuré qui est incarcéré pour y subir une peine privative de liberté change de statut (v. p.ex. ATF 104 V 148) et qu'il est désormais une personne non active dont les travaux habituels "consistent dans l'exécution de sa peine" (ATF 102 V 167, RCC 1980 p. 554). Que l'on se trouve en présence d'un assuré déjà invalide (et titulaire d'une rente) avant la détention, ou au contraire d'une personne qui devient invalide en cours d'exécution de la peine, cela ne change rien au problème. En outre, on ne voit pas pourquoi les détenus invalides et leurs proches devraient être avantagés sur le plan économique par rapport à leurs compagnons de détention valides et à leurs familles. On relèvera en passant que la LAI ne contient pas de disposition semblable à celle de l'art. 43 LAM, dont la solution, sur le point ici en discussion, ne saurait être étendue au domaine de l'assurance-invalidité, vu les particularités des législations applicables.

Il n'est pas nécessaire d'examiner aujourd'hui quelles exceptions pourraient se justifier dans ce domaine.

En l'espèce, l'entrée en détention de Charles R. le 5 mars 1979 a constitué un motif de révision de la rente dont il bénéficiait, dans le sens de la suppression de celle-ci ainsi que des prestations accessoires que constituaient les rentes complémentaires.

3. Suivant l'art. 88a al. 1 RAI, si la capacité de gain d'un assuré s'améliore, il y a lieu de considérer que ce changement supprime, le cas échéant, tout ou partie de son droit aux prestations dès qu'on peut s'attendre à ce que l'amélioration constatée se maintienne durant une assez longue période. Il en va de même lorsqu'un tel changement déterminant a duré trois mois déjà, sans interruption notable et sans qu'une complication prochaine soit à craindre.

Quant à l'art. 88bis al. 2 let. a RAI, il prescrit de supprimer la rente (ou de la diminuer) dans tous les cas dès le premier jour du mois qui suit la notification de la décision, au plus tôt.

En l'occurrence, l'entrée de Charles R. dans un établissement pénitentiaire le 5 mars 1979 aux fins d'y purger la peine prononcée contre lui justifiait une révision qui aurait pu, en principe, déployer ses effets dès le 1er avril 1979 au plus tôt. La suppression de la rente à partir du 1er novembre 1979, en vertu de la décision prise le 5 octobre 1979, échappe donc à toute critique, s'agissant de Charles et Annie R. et de leur descendant.

Quant à Emilia X et à ses enfants, la décision de suppression des rentes complémentaires leur revenant n'est intervenue que le 19 mai 1980, les intéressés n'ayant été informés de la révision de la rente de base qu'à cette date-là. Vu le caractère accessoire des rentes complémentaires, ils ne sauraient cependant se prévaloir de l'art. 88bis al. 2 let. a RAI. En revanche, la circonstance susmentionnée pourra jouer un rôle lors de l'examen, sous l'angle de la bonne foi, de la demande de remise de l'obligation de restituer les prestations touchées indûment.

4. Bien que cela ne fasse pas l'objet de la décision litigieuse, il paraît opportun d'examiner encore les conséquences sur le droit à la rente du régime de semi-liberté auquel l'assuré a été soumis à partir du 3 mars 1980, puis de la libération conditionnelle intervenue le 5 octobre 1980.

Le détenu bénéficiant du régime de la semi-liberté, et à plus forte raison celui qui a été libéré conditionnellement, a la possibilité d'exercer une activité lucrative à son propre compte (ATF 106 IV 107). S'agissant d'un invalide, l'atteinte à la santé peut, dès l'installation du nouveau régime, entraîner derechef une perte de gain. Le changement de statut de l'intéressé, qui constitue également une circonstance associée à l'infirmité de nature à en modifier les effets économiques, appelle donc lui aussi une procédure de révision. Plus exactement, il justifie, au besoin, le rétablissement du droit à la rente conformément à l'art. 29bis RAI, dont la teneur est la suivante (sous le titre "Reprise de l'invalidité après suppression de la rente"): Si la rente a été supprimée du fait de l'abaissement du degré d'invalidité et que l'assuré, dans les trois ans qui suivent, présente à nouveau un degré d'invalidité ouvrant droit à la rente en raison d'une incapacité de travail de même origine, on déduira de la période d'attente que lui imposerait l'art. 29 al. 1 LAI celle qui a précédé le premier octroi.

Une modification ultérieure (au moment du passage au régime de la liberté conditionnelle, par exemple) pourra éventuellement donner lieu à une nouvelle révision, conformément à l'art. 88a al. 2 RAI qui précise que, si l'incapacité de gain d'un assuré s'aggrave, il y a lieu de considérer que ce changement accroît, le cas échéant, son droit aux prestations dès qu'il a duré trois mois sans interruption notable (l'art. 29bis RAI étant toutefois applicable par analogie).

La décision administrative ne concernant pas cette question, on l'a déjà relevé, la Cour de céans n'a pas à examiner dans tous ses détails le problème du rétablissement du droit à la rente dans le cas particulier (le dossier ne fournirait du reste pas de renseignements suffisants pour ce faire). Il incombera à l'administration d'instruire sur les possibilités de gain effectives d'un détenu en semi-liberté non atteint dans sa santé, respectivement sur celles d'une personne libérée conditionnellement, ainsi que sur les revenus obtenus par le recourant en utilisant sa capacité résiduelle de travail et de gain (ou sur les revenus qu'il aurait pu réaliser en tirant le meilleur parti possible de cette dernière). Après quoi elle statuera à nouveau sur le droit à la rente dès le 3 mars 1980.

Elle examinera en même temps la demande de remise présentée par Emilia X.

Par ces motifs, le Tribunal fédéral des assurances prononce:

Le recours de Charles R. est rejeté. Le recours d'Emilia X est rejeté, dans la mesure où il est recevable. Le dossier est retourné à l'administration pour qu'elle instruise et statue sur un éventuel rétablissement de la rente, conformément au considérant 4, ainsi que sur la demande de remise présentée par Emilia X.