1. a) La cour cantonale a examiné à titre préalable l'incidence de la nullité du brevet, objet de l'accord initial des parties, sur ce même accord. Elle a retenu, comme le soutenait le demandeur, que la nullité du brevet entraînerait en principe celle du contrat, dont le contenu est impossible au sens de l'art. 20 CO; elle a cependant considéré que, pour produire cet effet, la nullité du brevet doit avoir fait l'objet d'une constatation judiciaire dans le cadre de l'art. 26 LBI. Elle a ainsi jugé que le demandeur devait exercer l'action en nullité du brevet, conclure à la constatation de la nullité et obtenir un jugement dans ce sens, à défaut de quoi la présomption de validité dont bénéficie le titulaire du brevet subsiste. Comme tel n'était pas le cas, le demandeur ne se fondant que sur l'avis exprimé par l'expert, la cour cantonale a refusé de prononcer, en l'état, la nullité du contrat en application de l'art. 20 CO. Elle voit une confirmation de sa manière de voir chez BLUM/PEDRAZZINI (Das Schweizerische Patentrecht, rem. 65 ad art. 34 LBI, rem. 1 ad art. 26), pour lesquels la constatation judiciaire de la nullité du brevet est une condition d'application de l'art. 20 CO.

b) Le recourant critique cette opinion en soutenant que la nullité du brevet peut être invoquée par voie d'exception. Il estime qu'à cet égard l'acheteur poursuivi en paiement du prix d'un brevet doit jouir des mêmes moyens de défense que le contrefacteur actionné pour violation de brevet.

c) Le point de vue de la cour cantonale, selon lequel celui qui entend se prévaloir de la nullité d'un brevet doit l'avoir fait constater judiciairement, est parfaitement fondé. Mais on ne saurait cependant exiger de celui qui invoque la nullité qu'il ait ouvert une action fondée sur l'art. 26 LBI et déposé des conclusions dans ce sens. En effet, il est admis par la jurisprudence et par la doctrine unanime que la nullité peut être invoquée par voie d'exception contre une action fondée sur le brevet ou sur les obligations qui en découlent.

Au demeurant, il s'agit plus précisément d'une objection (Einwendung), car celui qui s'en prévaut entend faire rejeter l'action dirigée contre lui en se fondant sur des constatations et circonstances de fait constitutives de la nullité invoquée (BLUM/PEDRAZZINI, op.cit. Anm. 2 et 27, ad art. 26; cf. ATF 77 II 285 -286 et mutatis mutandis 95 II 274; TROLLER, Précis du droit de la propriété immatérielle, Bâle 1978, p. 183; Immaterialgüterrecht, II, p. 1109; WITTMER, Garantie et responsabilité contractuelles en droit des brevets d'invention, Bâle 1962, p. 37-38). La nullité constatée de la sorte par le juge n'est certes pas mentionnée dans le dispositif du jugement et ne participe pas de l'autorité de la chose jugée du dispositif, mais elle sortit tous ses effets entre parties (WITTMER, op.cit. ibidem).

Comme l'action en nullité est ouverte à toute personne qui justifie d'un intérêt, tout intéressé actionné sur la base d'un brevet ou d'un acte fondé sur lui peut bénéficier de l'objection de nullité. La qualité pour agir a toujours été reconnue au licencié (ATF 75 II 167), et elle doit aussi être reconnue à l'acheteur d'un brevet (cf. WITTMER, op.cit., p. 44 ss; WEIDLICH/BLUM, Das Schweiz. Patentrecht, Berne 1934, I, p. 303), qui dès lors est aussi habilité à soulever l'"exception" de nullité (cf. ATF 28 II 119).

C'est donc pour des motifs erronés que la cour cantonale a refusé a priori de se prononcer sur la nullité du brevet invoquée par le demandeur et de statuer à son sujet.

d) Toutefois la validité du brevet ne devrait être examinée que si sa nullité avait une incidence sur le contrat de vente du brevet, conclu entre parties. La cause de nullité invoquée en l'espèce est celle qui découlerait de l'insuffisance du niveau inventif de l'invention, soit une des causes prévues à l'art. 26 al. 1 ch. 1 LBI.

D'après l'opinion dominante, le contrat ayant pour objet le transfert des droits d'un brevet est une vente mobilière ou un contrat de nature spéciale soumis, par analogie, aux règles de la vente, pour autant que sa nature spéciale en comporte l'application (arrêt Germann, du 29 septembre 1962, publié in SJ 1964 p. 71; cf. GIGER, Berner Komm., n. 23 ad art. 187).

Les effets de la nullité du brevet sur un tel contrat de vente sont controversés et peu clairement définis par la doctrine et la jurisprudence, du fait qu'aucune disposition légale susceptible d'être applicable n'est parfaitement adaptée aux particularités du brevet.

Certains auteurs, sans véritablement prendre position, évoquent la possibilité d'appliquer dans ce cas les dispositions concernant le contrat portant sur un objet impossible (art. 20 CO), l'inexécution (art. 97 ss, 119 CO), la garantie dans la cession de créance (art. 171 CO), la garantie du chef d'éviction dans la vente (art. 192 CO), et envisagent également l'application des dispositions sur les vices du consentement (art. 23 ss CO) (BLUM/PEDRAZZINI, op.cit., Anm. 28d ad. art. 26 LBI; SPOENDLIN, Zur Wirkung der Patentnichtigkeit auf Verträge über Rechte an Erfindungen, in RSJ 1947 (43), p. 281 ss; WITTMER, op.cit., p. 18 ss). L'application des dispositions sur la garantie en raison des défauts de la chose est unanimement rejetée (ATF 57 II 406). D'autres auteurs se prononcent pour l'application des dispositions sur la garantie du chef de l'éviction (art. 192 CO) (TROLLER, Immaterialgüterrecht, II, pp. 981-985) parfois en se référant aux dispositions sur la garantie dans la cession de créance (art. 171 CO), (GIGER, n. 24 à 29 ad. art. 192 CO; BECKER, n. 19 ad art. 192 CO).

Le Tribunal fédéral admet que la déclaration de nullité d'un brevet n'entraîne pas la nullité de la vente de ce brevet et qu'il s'agit d'un cas de garantie pour éviction bien que, lorsque le brevet est déclaré nul, par exemple pour défaut de nouveauté ou absence du niveau nécessaire de l'invention, aucun tiers ne fasse valoir un droit préférable au sens de l'art. 192 CO (ATF 57 II 403 ss). Certes, a-t-il concédé, en règle générale l'art. 192 CO ne peut pas trouver son application en cas de vente d'une chose inexistante ab ovo; mais une exception doit être faite, en vertu de l'art. 171 CO, en cas de vente d'une créance, et rien ne devrait s'opposer à une application analogique de cette disposition à la vente d'un brevet (ATF 75 II 173 consid. 3c).

Bien qu'en matière de brevet le cas de l'éviction proprement dite n'existe que lorsque le vendeur n'est pas le véritable titulaire du brevet, on doit admettre que les dispositions sur la garantie du chef de l'éviction sont les mieux adaptées aux particularités du brevet également lorsque celui-ci est déclaré nul pour défaut de nouveauté ou absence du niveau nécessaire de l'invention. Ce sont ces dispositions qui permettent le mieux de tenir compte d'une part des effets protecteurs qu'un brevet peut déployer et des avantages qu'il peut procurer jusqu'à ce qu'il soit déclaré nul et d'autre part des risques propres à la vente de brevet. La position adoptée jusqu'ici par le Tribunal fédéral doit donc être confirmée.

Les conséquences de l'application de l'art. 192 CO diffèrent selon que le vendeur a ou non garanti l'existence du brevet, des qualités particulières de celui-ci et le droit d'exclusivité qui lui est lié. En cas de garantie, qu'elle soit expresse ou ressorte des circonstances, le vendeur en répond conformément aux règles sur l'inexécution du contrat (art. 97 ss CO) et des art. 195 et 196 CO (cf. TROLLER, Immaterialgüterrecht, II, pp. 981-982). Lorsqu'aucune garantie conventionnelle, expresse ou implicite, n'a été assumée par le vendeur, et que les deux parties sont de bonne foi, le vendeur répond en tout cas du fait que des tiers pourraient faire valoir des droits préférentiels ou concurrents sur le même brevet (TROLLER, Immaterialgüterrecht, II, pp. 983-984). En revanche, les autres défauts, en particulier la nullité du brevet pour défaut de nouveauté ou absence du niveau nécessaire de l'invention, font partie des risques que les deux parties doivent assumer et qui sont normalement pris en considération lors de la conclusion d'un contrat de vente de brevet (TROLLER, ibidem, p. 984). De telles causes de nullité du brevet font partie des risques avec lesquels doit compter l'acheteur (SPOENDLIN, op.cit., p. 285). L'éventualité de la nullité entre généralement dans les prévisions des parties à la conclusion du contrat, et celles-ci tiennent compte alors, dans la détermination du prix, des aléas et des incertitudes propres à un brevet. En passant un contrat de vente l'acheteur accepte de prendre à ses risques le sort du brevet, et il est équitable qu'il assume alors le risque de nullité s'il ne réserve pas la garantie du vendeur par une clause du contrat (cf. WITTMER, op.cit., pp. 25-27). L'acheteur d'un brevet se trouve en conséquence dans la même situation que l'acheteur qui connaît les risques d'éviction au moment du contrat et il doit être traité de la même façon, à savoir qu'il ne bénéficie d'aucune garantie du vendeur, sauf si elle a été expressément promise (art. 192 al. 2 CO). Restent réservées les conséquences attachées à la culpa in contrahendo, lorsque le vendeur a intentionnellement dissimulé à son cocontractant des vices du brevet (WITTMER, op.cit., p. 40; TROLLER, op.cit., p. 985; MODIANO, Le contrat de licence, thèse Genève 1979, p. 76).

e) En l'espèce, la défenderesse n'a accordé aucune garantie au demandeur, qui n'en a d'ailleurs pas réclamé. Aucun élément ne permet au demeurant de retenir qu'une telle garantie ressortait des circonstances, ou que la défenderesse aurait caché sciemment au demandeur des défauts ou vices du brevet. Bien au contraire, le demandeur, qui a appliqué l'invention litigieuse avant de l'acheter, en collaborant à l'amélioration et au perfectionnement du prototype qui en était tiré, était aussi bien renseigné que la défenderesse sur les caractéristiques de l'invention. En achetant le brevet et les droits d'exploitation de l'invention, le demandeur a accepté de prendre à sa charge les risques, les aléas et les incertitudes inhérents à ce genre d'opération. Comme le brevet n'en était de surcroît qu'au stade de la demande, l'acheteur ne pouvait qu'être conscient qu'aucune assurance ne lui était donnée quant à l'existence et à la validité du brevet. On doit donc le traiter comme un acheteur connaissant les risques de nullité au moment de la conclusion du contrat et constater que la défenderesse est libérée de toute obligation de garantie, en application de l'art. 192 al. 2 CO.

Dès lors, l'éventuelle nullité du brevet est sans incidence sur la validité du contrat de vente et sur l'exigibilité des prestations promises par le demandeur. Aussi la cour cantonale a-t-elle eu raison - même si ses motifs étaient erronés - de ne pas examiner l'objection de nullité du brevet.