1. Les cotisations AVS/AI/APG se répartissent en deux grandes catégories:

a) les cotisations des assurés exerçant une activité lucrative, qui sont calculées en pour-cent du revenu provenant de l'exercice d'une telle activité (art. 4-9 LAVS);

b) celles des assurés n'exerçant pas d'activité lucrative, qui sont de 40 fr. à 2000 fr. (depuis le 1er janvier 1973, 78 fr. à 7800 fr.) par an, selon la condition sociale de l'intéressé (art. 10 LAVS).

Parmi les activités lucratives, la loi distingue les activités dépendantes, qui procurent un revenu acquis au service d'un tiers, des activités indépendantes, procurant un revenu qui n'est pas acquis au service d'un tiers. La charge de la cotisation provenant d'une activité dépendante est partagée entre l'employeur et l'employé, ces deux termes ayant un sens très large (art. 5-7 et 12 LAVS). La cotisation provenant d'une activité indépendante incombe uniquement à l'assuré (art. 8 et 9 LAVS). L'administrateur d'une société anonyme que celle-ci rémunère est, normalement, considéré comme dépendant à l'égard de la société. Dès que la cotisation perçue sur le revenu provenant d'une activité lucrative atteint le minimum de 40 fr. pour l'année civile, l'assuré échappe à toute cotisation fondée sur la condition sociale (art. 10 al. 1 LAVS).

Parmi les assurés n'exerçant pas d'activité lucrative, la loi soumet à un traitement privilégié les personnes entretenues ou assistées d'une manière durable au moyen de fonds publics ou par des tiers; elles ne sont astreintes qu'à la cotisation minimum, actuellement de 40 fr. (depuis le 1er janvier 1973, 78 fr.) par an (art. 10 al. 2 LAVS). Les autres personnes cotisent selon un barème établi par le Conseil fédéral, qui prévoit des cotisations échelonnées entre 40 fr. et 2000 fr. (depuis le 1er janvier 1973, 78 fr. à 7800 fr.) par an. Le minimum est dû par celui dont la fortune est inférieure à 100 000 fr. et le maximum, lorsqu'elle dépasse 1 500 000 fr. (depuis le 1er janvier 1973, quatre millions). Les revenus annuels acquis sous forme de rente, multipliés par 30, sont assimilés à la fortune pour l'application du barème (art. 28 RAVS).

La cotisation provenant de l'exercice d'une activité dépendante ressort de la déclaration de l'employeur.

Pour établir le revenu déterminant le calcul des cotisations des assurés exerçant une activité indépendante, la caisse de compensation se fonde sur la taxation passée en force de l'impôt pour la défense nationale, quitte à procéder elle-même à une taxation provisoire lorsque le fisc ne lui a pas encore communiqué de taxation (art. 22 à 27 RAVS).

La fortune des personnes n'exerçant aucune activité lucrative est déterminée par les autorités fiscales cantonales, les art. 22 à 27 RAVS étant applicables par analogie; la caisse de compensation détermine elle-même le revenu acquis par ces personnes sous forme de rente, si possible avec le concours du fisc cantonal (art. 29 RAVS).

2. Du 28 février 1964 - date où il s'est établi en Suisse - au 31 décembre 1965 en tout cas, le recourant n'a pas exercé d'activité lucrative. Cela n'est pas contesté. Durant cette période, il a vécu uniquement des subsides reçus de l'administration de la fortune familiale. Après l'avoir assujetti à la cotisation minimum, qui était jusqu'en 1969 de 14 fr. 40 par an, c'est-à-dire après l'avoir traité en assuré entretenu ou assisté au sens de l'art. 10 al. 2 LAVS, la caisse de compensation a constaté qu'en réalité elle aurait dû fixer la cotisation selon la condition sociale, conformément à l'art. 10 al. 1 LAVS. A défaut d'autres possibilités d'être renseignée, elle a déduit de la taxation fiscale forfaitaire le revenu perçu par l'assuré sous forme de rente et a fixé la nouvelle cotisation de 1965 sur cette base (cf. art. 25 al. 3 et 29 RAVS)...

a) ... selon les déclarations du recourant lui-même, la fortune de la famille Ortiz est organisée de façon telle que les membres de la famille n'en disposent point, mais qu'une administration commune leur en distribue tout ou partie des revenus nets. Or, on ne saurait dire que les bénéficiaires de ces attributions sont "entretenus ou assistés d'une manière durable au moyen de fonds publics ou par des tiers" au sens de l'art. 10 al. 2 LAVS. On se trouve au contraire en présence d'une certaine modalité de gestion de la fortune et de répartition des revenus entre les ayants droit.

b) Au surplus, l'art. 10 al. 2 LAVS concerne les personnes qui doivent être entretenues ou aidées, faute de quoi elles ne pourraient satisfaire leurs besoins élémentaires. Ce n'est pas le cas du recourant. Aux termes du message du Conseil fédéral du 24 mai 1946 sur le projet de loi sur l'assurance-vieillesse et survivants:

"La disposition vise en premier lieu les personnes assistées, les personnes placées dans un asile, dans une section commune d'hôpital ou de maison de santé publique ou privée, les personnes vivant dans un couvent, les personnes placées dans un établissement pénitentiaire, etc., de même que les personnes à la charge de leurs proches ou tout au moins soutenues par eux" (FF 1946 II p. 513).

Dans son commentaire de la loi, BINSWANGER (ad art. 10 LAVS, p. 86 ch. 4) estime avec raison que les assistés possédant une fortune ou une rente suffisante doivent cotiser conformément aux art. 10 al. 1 LAVS et 28 RAVS. Il faut admettre qu'il en est de même des personnes qui se contentent de vivre des subsides de tiers, non par obligation, mais de leur propre volonté.

c) Enfin, il y a lieu de considérer que l'art. 10 al. 2 n'est applicable que lorsque les prestations des tiers demeurent dans une limite telle qu'on ne peut raisonnablement attendre de l'assuré qu'il cotise selon le système des art. 10 al. 1 LAVS et 28 RAVS. Il serait choquant de voir une personne ayant besoin d'assistance, mais qui recevrait d'un proche des subsides de 50 000 fr. à 150 000 fr. par an (montants supposés du revenu imposable du recourant), ne payer que la cotisation AVS minimum. Par la disposition de l'art. 10 al. 2 LAVS, la loi a voulu protéger des assurés dont la situation financière est difficile et qu'une cotisation supérieure au minimum chargerait trop lourdement, et non traiter spécialement toutes les prestations d'assistance. C'est ce que confirme la seconde phrase de l'alinéa 2, où il est question "d'autres groupes de personnes... qui seraient trop lourdement chargées par des cotisations plus élevées...".