A.- Pietro Quirici a été condamné le 20 janvier 1966 par la Cour d'assise du 3e ressort de Tavel à trois ans d'emprisonnement pour tentative de lésions corporelles simples, vol par métier, tentative de vol, tentative d'escroquerie, faux dans les titres, violation de domicile, dommages à la propriété et vol d'usage. La peine a été suspendue en vue d'un internement au sens de l'art. 42 CP. Libéré une première fois le 3 juin 1967 après un internement de trois ans puis réintégré le 20 avril 1970 au pénitencier de Bellechasse à la suite d'une nouvelle condamnation à une année de prison pour vol, prononcée le 4 octobre 1968 par le Tribunal correctionnel de Lugano, il a été transféré le 10 novembre 1971 aux Etablissements de la Plaine de l'Orbe.

B.- Le 8 mars 1972, Quirici a sollicité sa libération conditionnelle. Celle-ci lui a été refusée le 7 avril 1972 par le Conseil d'Etat du canton de Fribourg qui fait état du comportement par lequel le requérant a rendu nécessaire son transfert aux Etablissements de la Plaine de l'Orbe.

C.- Contre cette décision, Quirici a déposé un recours de droit administratif au Tribunal fédéral. Il conclut à sa libération conditionnelle.

Le Ministère public du canton de Fribourg demande le rejet du recours; le Département fédéral de justice et police en propose l'admission.

1. (Questions de procédure).

2. Le recourant reproche à la décision attaquée d'être arbitraire et insuffisamment motivée. Il se plaint donc implicitement, mais de façon non équivoque, d'une violation de l'art. 35 al. 1 LPA.

De façon générale, le Tribunal fédéral considère l'absence de motifs comme un déni de justice formel, lorsqu'une disposition légale prescrit à l'autorité de motiver sa décision (cf. RO 28 I 11; 43 I 28; 53 I 111; 62 I 146; 93 I 120 et 702). Il a toutefois jugé que l'on ne saurait exiger des autorités administratives, qui doivent se montrer expéditives et qui sont appelées à prendre de nombreuses décisions, qu'elles les motivent de façon aussi développée qu'une autorité de recours; il suffit que les explications, bien que sommaires, permettent de saisir les éléments sur lesquels l'autorité s'est fondée (RO 96 I 608).

En l'occurrence, le Conseil d'Etat s'est limité, pour justifier son refus, à faire état du comportement du recourant au pénitencier de Bellechasse. Dans son mémoire du 9 mai 1972, le Ministère public relève que cette motivation devait être parfaitement claire pour l'intéressé; il se réfère à ce sujet au dossier administratif et notamment à la lettre du 18 octobre 1971 du directeur des Etablissements de Bellechasse au Département de justice et police du canton de Vaud.

Si la lecture du dossier administratif laisse apparaître que le recourant n'a pas toujours eu - et de loin - une attitude exemplaire, en particulier au Tessin, où il a été interné en premier lieu après sa réintégration et lors de séjours antérieurs à Bellechasse, on ne voit pas en quoi son comportement dans cet établissement, durant la période qui a précédé son transfert à Bochuz, justifierait sans plus la décision attaquée. En effet, dans la lettre précitée du 18 octobre 1971, le recourant est dépeint comme un psychopathe, certes, mais très appliqué, habile de ses mains, se montrant très utile et se faisant remarquer par ses lectures; trois congés lui ont été accordés sans qu'il en résulte de difficultés. En définitive, le seul grief consistant, quant au comportement, a trait aux démarches entreprises par le recourant - qui a entraîné avec lui d'autres détenus - auprès de journaux, de l'auditeur de la Confédération et même du Conseil fédéral, pour se plaindre de l'établissement.

Même abusives et dénuées de fondement, ces démarches ne peuvent être considérées à elles seules comme justifiant le refus de la libération conditionnelle. On ne saurait reprocher en effet à un détenu ou à un interné de tout tenter pour améliorer ses conditions d'existence, aussi longtemps qu'il n'use pas de moyens illicites. La décision attaquée est donc insuffisamment motivée et viole ainsi un droit de nature essentiellement formelle; partant, elle doit être annulée, sans que le recourant ait à justifier d'un intérêt (RO 92 I 188, 264 no 45; 96 I 22, 188).

3. Quant à l'argument consistant à reprocher au recourant de ne pas invoquer de faits susceptibles de justifier sa libération conditionnelle, il ne résiste pas à l'examen. En effet, l'art. 42 ch. 4 al. 2 CP prescrit à l'autorité, lorsque les conditions de temps sont réunies, d'ordonner la libération conditionnelle "si l'internement ne paraît plus nécessaire". Il s'agit là d'une question d'appréciation que l'autorité doit examiner d'office, même si elle a la faculté de le faire avec la plus grande liberté. C'est donc à elle et non à l'interné qu'il incombe de mettre en lumière les éléments qui l'amèneront à prendre sa décision.

Par ces motifs, la Cour de cassation pénale:

Admet le recours, annule la décision attaquée et renvoie la cause à l'autorité cantonale pour nouvelle décision.