2. a) A teneur de l'art. 22 al. 1 RAVS, qui règle la fixation des cotisations selon la procédure ordinaire, la cotisation annuelle sur le revenu net de l'activité indépendante est fixée dans une décision pour une période de cotisations de deux ans. Celle-ci s'ouvre au début de chaque année civile paire. L'alinéa 2 dispose que la cotisation annuelle est calculée en général d'après le revenu moyen d'une période de calcul de deux ans. Celle-ci comprend la deuxième et la troisième année antérieures à la période de cotisations et se recouvre avec une période de calcul de l'IDN.

Pour établir le revenu déterminant, le calcul des cotisations et le capital propre engagé dans l'entreprise, les autorités fiscales se fondent sur la taxation passée en force de l'IDN, respectivement sur la taxation passée en force de l'impôt cantonal (art. 23 al. 1 et 2 RAVS). En vertu de l'art. 23 al. 4 RAVS, les caisses de compensation sont liées par les données des autorités fiscales cantonales.

b) On recourt à la procédure extraordinaire de fixation des cotisations, si l'assuré entreprend une activité indépendante ou si les bases du revenu ont subi, depuis la période de calcul retenue par l'autorité fiscale cantonale, une modification durable due à un changement de profession ou d'établissement; dans ces cas, la caisse de compensation estime le revenu net déterminant pour la période qui s'écoule depuis le commencement de ladite activité jusqu'au début de la prochaine période ordinaire de cotisations (art. 25 al. 1 RAVS). Ce faisant, elle fixe les cotisations séparément pour chaque année civile et sur la base du revenu de l'année correspondante. En revanche, pour l'année qui précède la prochaine période ordinaire de cotisations, la caisse se fonde sur le revenu net retenu pour le calcul des cotisations des années de cette période (art. 25 al. 3 RAVS).

3. a) En première instance, le recourant a admis l'exactitude des chiffres figurant dans la communication fiscale du 5 décembre 1980. Il n'y a donc pas lieu de remettre en cause, sur ce point, les faits constatés par les premiers juges.

b) Les cotisations dues pour la période allant du 1er mai 1975 au 31 décembre 1976 doivent être fixées pour chaque année civile sur la base des revenus annuels, à savoir pour l'année 1975 sur celui perçu du 1er mai au 31 décembre 1975 et pour l'année 1976 sur celui acquis en 1976.

En ce qui concerne l'année 1975, la cotisation doit être fixée au prorata pour la période qui s'est écoulée depuis la modification des bases du revenu, en l'occurrence le 1er mai 1975, jusqu'à la fin de l'année, et cela d'après le gain obtenu pendant cette période, et converti en un revenu annuel (RCC 1980 p. 467 consid. 3 in fine).

Dans ses décisions du 22 décembre 1980 ayant trait aux cotisations dues pour les années 1975 et 1976, la caisse a observé exactement les règles ci-dessus. Elles ne peuvent dès lors qu'être confirmées.

4. a) Selon la jurisprudence, on considère comme prochaine période ordinaire de cotisations celle où l'année dans laquelle l'assuré a commencé son activité indépendante constitue une partie de la période de calcul déterminante selon l'art. 22 al. 2 RAVS, douze mois au moins d'activité indépendante devant tomber dans cette période de calcul (ATF 107 V 65 consid. 2b, RCC 1981 p. 238 consid. 3b).

b) En l'espèce, le recourant a entrepris son activité indépendante le 1er mai 1975. Par conséquent, 20 mois tombaient dans la période de calcul 1975/1976, qui se rattache, selon les prescriptions concernant la procédure ordinaire, aux années de cotisations 1978/1979. Ainsi, la prochaine période ordinaire de cotisations comprend les années 1978/1979. Dès lors doit-on se baser, pour cette période, sur le revenu annuel moyen des années 1975/1976. Il en va de même pour 1977 qui est l'année précédant la prochaine période ordinaire de cotisations 1978/1979 (cf. art. 25 al. 3 2e phrase RAVS).

Ce revenu annuel moyen, s'agissant d'une période de calcul comportant plus de douze mois mais moins de deux ans, s'obtient en divisant la somme des gains effectifs communiqués par l'autorité fiscale par le nombre de mois durant lesquels ils ont été acquis, et en multipliant ce résultat par douze. Cette méthode de calcul correspond à celle énoncée sous ch. 151 des directives de l'Office fédéral des assurances sociales sur les cotisations des indépendants et des non-actifs. Certes, dans un arrêt Mock du 14 décembre 1979, le Tribunal fédéral des assurances a-t-il jugé que cette directive était contraire à la loi (RCC 1980 p. 467 consid. 3 2e alinéa). Cependant, s'il l'a considérée comme telle, c'est uniquement par rapport à la détermination du revenu des années soumises à la procédure extraordinaire, car elle contredit l'art. 25 al. 3 1re phrase RAVS, et non pas pour le calcul du revenu déterminant des années soumises à la procédure ordinaire (art. 22 al. 2 RAVS), ni pour celui relatif au revenu de l'année précédant cette dernière (art. 25 al. 3 2e phrase). La mention "dans la mesure où elle enfreint cette prescription" contenue dans l'arrêt précité est d'ailleurs là pour le confirmer.