A.- Par jugement du 13 juillet 1983, le Tribunal des assurances du canton du Valais a admis le recours formé contre une décision de la caisse de compensation par Me B., au nom de Martial Varone, en ce sens qu'il a renvoyé la cause à l'administration pour qu'elle procède à la révision de la rente de l'assurance-invalidité dont bénéficiait ce dernier et prenne ensuite une nouvelle décision susceptible de recours. Par ce même jugement, la juridiction cantonale a alloué à Martial Varone une indemnité de dépens de 250 francs pour l'instance cantonale, à la charge de la caisse de compensation.

B.- Par son mandataire, Martial Varone interjette recours de droit administratif. Il conclut à l'annulation du prononcé cantonal, dans la mesure où celui-ci fixe à 250 francs le montant des dépens qui lui ont été accordés, et au renvoi de la cause aux premiers juges pour nouveau jugement sur ce point.

Le tribunal cantonal s'est déterminé sur le recours et a conclu, implicitement, à son rejet. La caisse intimée et l'Office fédéral des assurances sociales renoncent à présenter des conclusions.

3. Aux termes de l'art. 85 al. 2 let. f LAVS (cf. art. 69 LAI), le recourant qui obtient gain de cause "a droit au remboursement de ses frais et dépens, ainsi que de ceux de son mandataire, dans la mesure fixée par le juge". Savoir si et à quelles conditions une indemnité de dépens peut être allouée à la partie qui obtient gain de cause est une question qui, en matière d'assurance-invalidité, relève du droit fédéral. Ce dernier ne comporte toutefois, en ce domaine, aucune disposition concernant la fixation du montant de l'indemnité qui doit être accordée à ce titre; il s'agit là d'un problème qui ressortit au droit cantonal et qui échappe donc, en principe, à la compétence du Tribunal fédéral des assurances (art. 128 OJ en liaison avec l'art. 97 al. 1 OJ et l'art. 5 al. 1 PA). C'est pourquoi, sur ce point, la Cour de céans doit uniquement examiner si l'application des règles cantonales conduit à une violation du droit fédéral. Pratiquement, cela revient à dire qu'est seul susceptible d'être invoqué devant le Tribunal fédéral des assurances le grief d'arbitraire au sens de l'art. 4 al. 1 Cst. (ATF 110 V 360 et les arrêts cités).

4. a) L'autorité cantonale chargée de fixer l'indemnité de dépens jouit d'un large pouvoir d'appréciation. En règle ordinaire, les honoraires d'avocat sont fixés en fonction de l'importance et de la difficulté du litige, ainsi que d'après le travail et le temps que l'avocat a dû y consacrer (cf. art. 2 du tarif pour les dépens alloués à la partie adverse dans les causes portées devant le Tribunal fédéral des assurances, du 26 janvier 1979, RS 173.119.2; voir également GRISEL, Traité de droit administratif, p. 848). Pour apprécier l'importance de la cause, la valeur litigieuse, telle qu'elle se détermine selon le droit de procédure civile, n'est pas décisive. A cet égard, il faut tenir compte du fait que le procès en matière d'assurances sociales est gouverné par la maxime inquisitoire, ce qui, dans de nombreux cas, est de nature à faciliter la tâche de l'avocat (ATF 98 V 126 consid. 4c; RCC 1969 p. 558). Quant à l'activité de ce dernier, elle ne doit être prise en considération que dans la mesure où elle s'inscrit raisonnablement dans le cadre de l'accomplissement de sa tâche, à l'exclusion des démarches inutiles ou superflues (ATF 109 Ia 110 consid. 3b). En outre, les démarches que le mandataire a entreprises avant la procédure de recours n'entrent pas en ligne de compte pour déterminer le montant des honoraires (ATFA 1967 p. 215, 1961 p. 131; RCC 1969 p. 559).

Il peut aussi être utile de rappeler que dans une loi récente - en l'occurrence à l'art. 108 al. 1 let. g seconde phrase LAA - le législateur, contrairement à ce qu'il a fait en édictant l'art. 85 al. 2 let. f LAVS, a fixé les critères qui doivent être pris en considération, ou qui ne peuvent l'être, par la juridiction cantonale lorsqu'elle détermine le montant des dépens alloués au recourant dans le domaine de l'assurance-accidents. Cette norme dispose, en effet, que ledit montant est "déterminé d'après l'état de fait et la difficulté du procès, sans qu'il soit tenu compte de la valeur litigieuse".

b) Le Tribunal fédéral des assurances a par exemple jugé qu'une autorité cantonale n'avait pas outrepassé son pouvoir d'appréciation en fixant à 300 francs - montant considéré toutefois comme une limite inférieure dans le cas d'espèce - l'indemnité revenant à un assuré dans une affaire qui ne présentait pas de difficultés particulières et qui avait donné lieu à un bref mémoire de recours de l'avocat (arrêt non publié Travi du 24 avril 1984). N'a pas non plus été considéré comme arbitrairement bas un montant de 900 francs dans le cadre d'une procédure relativement complexe, qui avait nécessité deux écritures judiciaires (arrêt non publié Grossert du 24 avril 1984). En revanche, il a été jugé arbitraire de n'allouer, dans des circonstances à peu près semblables, mais où il était question des honoraires dus à l'avocat d'office, qu'une indemnité de 400 francs (ATF 110 V 366 consid. 3e). Enfin dans un autre arrêt, où il s'agissait d'une affaire simple, la Cour de céans a elle-même fixé à 350 francs l'indemnité, au lieu d'une somme de 100 francs allouée par l'autorité cantonale (arrêt non publié Fischer du 24 avril 1984).

5. a) Dans ses observations sur le recours, la juridiction cantonale expose que, d'une manière générale, elle fait preuve d'une certaine retenue dans la fixation des dépens selon l'art. 85 al. 2 let. f LAVS "parce qu'il s'agit d'assurances sociales où les deniers de l'administration (...) méritent d'être ménagés aussi bien que ceux de l'assuré auquel une jurisprudence excessivement large permet d'invoquer le juge d'une façon on ne peut plus sommaire". A l'appui de sa décision, elle invoque le fait que l'activité essentielle de l'avocat a consisté en l'espèce en la rédaction d'un mémoire de recours de six pages et que le litige ne portait pas sur des questions juridiques, mais sur l'appréciation de rapports médicaux.

b) Il est certes exact qu'il s'agissait en l'espèce d'une procédure simple - révision d'une rente de l'assurance-invalidité - qui ne présentait aucune difficulté juridique particulière pour un avocat expérimenté et que le litige se limitait au point de savoir si l'état de santé de l'assuré s'était modifié ou, éventuellement, si les répercussions de cet état sur la capacité de gain de l'intéressé avaient subi un changement, soit principalement des questions de fait. Il est vrai également que, mise à part la rédaction d'un mémoire de recours, le procès n'a pas occasionné à l'avocat du recourant des démarches importantes. Pour autant, le jugement entrepris ne saurait, quant au problème ici en discussion, être confirmé. Même une procédure simple implique que l'avocat y consacre, à tout le moins, quelques heures de travail (conférence avec le client, étude du dossier, rédaction du mémoire de recours). A cet égard, le mandataire du recourant affirme que "les seules prestations de recours" ont nécessité quatre à six heures de travail, ce qui ne semble pas excessif compte tenu des circonstances. Or, il ne faut pas perdre de vue que l'avocat à la tête d'une étude supporte des frais généraux élevés - souvent estimés à la moitié environ du revenu professionnel - ainsi que les charges qui sont le corollaire d'une activité indépendante (voir ATF 109 Ia 112 consid. 3e; SJ 1985 p. 13). Si l'on suivait la juridiction cantonale, il faudrait ainsi considérer, eu égard aux honoraires usuellement demandés, soit un tarif horaire de l'ordre de 100 à 200 francs (cf. ATF 109 Ia 111), que la partie doive rémunérer son mandataire dans une mesure notablement supérieure au montant de l'indemnité à laquelle elle peut prétendre. Mais une semblable conséquence ne serait pas admissible sous l'angle de l'art. 4 al. 1 Cst. (arrêt non publié Fischer, déjà cité). Elle ne saurait en tout cas se justifier par un intérêt pécuniaire prépondérant des caisses de compensation, contrairement à ce qu'admet la cour cantonale, qui, de ce point de vue, adopte un critère qui n'est pas pertinent.

c) Cela étant, dans la mesure où le jugement attaqué fixe à 250 francs les dépens de l'instance cantonale en faveur du recourant, il doit être qualifié d'arbitraire. Il s'impose, par conséquent, de renvoyer la cause aux premiers juges pour qu'ils statuent derechef sur cette question.