A.

A.a X. est domicilié à Genève depuis le 18 janvier 1991.

A.b Le 2 juillet 1991, par l'entremise de son conseil, X. a informé l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) qu'il allait verser le produit de la vente de deux entreprises dont il était propriétaire à hauteur respectivement de 45 % et de 55 % dans deux trusts. La part de 45 % serait transférée dans un trust bermudien discrétionnaire et irrévocable (A.; ci-après: trust A.), la part de 55 % à un trust révocable (B.; ci-après: trust B.) dont le contribuable et sa famille seraient les bénéficiaires.

En septembre 1991, X. et l'Administration cantonale sont convenus de ce que le trust révocable détenant 55 % du produit de la vente serait transparent, de sorte que son revenu et ses avoirs seraient ajoutés au revenu et à la fortune du contribuable. La dotation du trust irrévocable détenant les 45 % du produit de vente ne serait pas imposée en Suisse et le revenu ainsi que la fortune de ce trust ne seraient pas imposables en Suisse tant qu'ils ne seraient pas distribués à X. ou à des membres de sa famille. En cas de distribution, les montants seraient soumis à l'impôt sur la fortune et les revenus afférents imposés à Genève.

A.c Dans ses déclarations fiscales 1995 à 2001-B, X. a mentionné un emprunt auprès du trust A. qui lui générait des intérêts oscillant, selon les années fiscales, entre 35'894 fr. et 268'204 fr. pour une dette allant de 0 fr. à 9'208'330 fr.

L'intéressé a également indiqué, dans ses déclarations fiscales 1995 à 2000, une participation dans la société C. SA (ci-après: C.), pour laquelle il a mentionné une valeur de 0 fr. pour les années 1995 et 1996, alors que, dans les quatre déclarations suivantes, il a laissé vide la colonne relative à la valeur de cette participation. Dans sa déclaration 2001-B, X. n'a signalé ni sa participation dans C. ni la vente d'une partie de celle-ci.

Dans aucune des déclarations fiscales de 1995 à 2001-B, le contribuable n'a mentionné détenir des actions de la banque D.

A.d Entre décembre 1995 et mai 1999, X. s'est vu notifier des bordereaux provisoires et rectificatifs en matière d'ICC pour les années 1995 à 1998, et des bordereaux en matière d'IFD pour les périodes fiscales 1995-1996 et 1997-1998. Certains ont fait l'objet de réclamations.

Le 20 décembre 1999, l'Administration cantonale a informé X. de l'ouverture de procédures de vérification et de soustraction d'impôts pour l'ICC 1998 et l'IFD 1997-1998. Le 19 septembre 2000, ces procédures ont été étendues à l'ICC et à l'IFD des années 1995 à 1998 et, le 16 juillet 2001, à l'ICC et à l'IFD 1999 et 2000.

Ces procédures étaient liées en substance aux emprunts auprès du trust A., à la valeur des participations dans la société C. et aux actions de la banque D. non déclarées.

S'en sont suivies plusieurs années de procédures et de contrôles, ainsi que de multiples échanges de courriers.

Diverses décisions de taxation ordinaire et extraordinaire, ainsi que des amendes pour soustraction et tentatives de soustraction fiscale, tant en matière d'ICC que d'IFD relatives aux périodes fiscales allant de 1995 à 2001-B ont été notifiées par l'Administration cantonale à X., qui a formé des réclamations à leur encontre.

B. Par décisions sur réclamation du 27 octobre 2008, l'Administration cantonale a maintenu les rappels d'impôts ICC 1995 et IFD 1995-1996 de même que 1997-1998, ainsi que les taxations ordinaires IFD 2001-B et ICC 2001-B. Elle a modifié en défaveur du contribuable les taxations ICC 1998 à 2000 et IFD 1999-2000, alors qu'elle a rectifié en faveur de l'intéressé les rappels d'impôts ICC 1996 et 1997. Les amendes pour soustraction d'impôts ICC 1995 à 1997 et IFD 1995 à 1998 et pour tentative de soustraction d'impôts ICC 1998 à 2000 et 2001-B, et IFD 1999-2000 et 2001-B ont été maintenues dans leur principe, mais leurs montants ont été modifiés sur la base des nouveaux bordereaux.

A l'encontre de ces décisions sur réclamation, X. a recouru, le 26 novembre 2008, auprès des anciennes commissions cantonales de recours en matière d'impôts et de l'impôt fédéral direct (devenues, dès le 1^er janvier 2009, la Commission cantonale de recours en matière administrative et, depuis le 1^er janvier 2011, le Tribunal administratif de première instance du canton de Genève; ci-après: le TAPI).

Le 30 août 2011, X. a demandé à être personnellement entendu par le TAPI, qui n'a pas donné suite à cette requête.

Par jugement du 27 octobre 2011 concernant tant l'IFD que les ICC 1995 à 2001-B, le TAPI a partiellement admis le recours. Il a retenu que la contestation du principe des amendes pour tentative de soustraction fiscale était nouvelle et donc irrecevable. Le rappel d'impôt IFD 1995 et l'amende y relative, ainsi que les amendes pour soustraction consommée concernant l'ICC 1995 à 1997 étaient pour leur part prescrits. Pour le surplus, il a renvoyé le dossier à l'Administration cantonale pour nouvelles décisions dans le sens des considérants.

Le 6 décembre 2011, X. a recouru à l'encontre de ce jugement auprès de la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) en concluant à son annulation et au renvoi de la cause au TAPI pour qu'il procède à son audition. Le contribuable demandait en outre l'annulation des amendes pour tentative de soustraction, des rappels d'impôt et des amendes pour soustraction relatives aux années 1995 à 1997 en lien avec la valeur des actions C., des amendes pour tentative de soustraction portant sur les années 1998 à 2001-B en relation avec les actions C., ainsi que du rappel d'impôt et des amendes portant sur les actions de la banque D. Les reprises des intérêts et de sa dette envers le trust A. devaient aussi être annulées et, à titre subsidiaire, les distributions du trust A. déclarées pour les périodes fiscales 1999, 2000 et 2001-B devaient être soustraites du revenu imposable. Par la suite, le contribuable a fait valoir la prescription pour diverses amendes et taxations.

Par arrêt du 26 mars 2013, la Cour de Justice a admis partiellement le recours formé par X. à l'encontre du jugement du 6 décembre 2011. Considérant que les rappels d'impôts IFD 1996 et 1997, ainsi que les amendes ICC 1998 à 2001-B pour tentative de soustraction d'impôts étaient prescrits, elle a annulé le jugement attaqué et les décisions sur réclamations, ainsi que les bordereaux en ce qu'ils concernaient ces rappels et amendes. Elle a également annulé les reprises relatives au prétendu prêt avec le trust A. contenues dans les rappels d'impôts IFD 1998 et ICC 1995 à 1997, renvoyant le dossier à l'Administration fiscale cantonale pour nouvelles décisions concernant lesdits rappels. Le jugement attaqué a été confirmé pour le surplus.

C. A l'encontre de l'arrêt du 26 mars 2013, tant X. (causes 2C_416 et 2C_417/2013) que l'Administration cantonale (causes 2C_446 et 2C_447/2013) forment un recours en matière de droit public au Tribunal fédéral. X. (ci-après: le recourant 1 ou le contribuable) conclut à l'annulation de l'arrêt attaqué, des rappels d'impôts et des amendes ainsi qu'au renvoi de la cause au TAPI pour qu'il procède à son audition avant de rendre une nouvelle décision s'agissant des rappels d'impôts et des amendes; pour le surplus, il demande le renvoi de la cause à la Cour de Justice pour complément d'instruction et nouvelle décision dans le sens des considérants. L'Administration cantonale (ci-après: la recourante 2) conclut quant à elle à l'annulation de l'arrêt attaqué en tant qu'il juge que le rappel d'impôt IFD 1997 ainsi que l'amende pour tentative de soustraction ICC 2001-B sont prescrits et qu'il annule le rappel d'impôt IFD 1998 en lien avec le prêt accordé par le trust A.

Le Tribunal fédéral a, dans la mesure de leur recevabilité, admis partiellement le recours du recourant 1 et admis le recours de la recourante 2. Il a ensuite annulé l'arrêt attaqué dans la mesure où il confirmait le prononcé des amendes fiscales à l'encontre du recourant 1 et constatait que le rappel d'impôts IFD 1997 et l'amende 2001-B pour tentative de soustraction d'impôts étaient prescrits; l'arrêt a également été partiellement annulé en tant qu'il refusait les reprises d'impôt relatives à l'opération de prêt effectuée avec le trust A. concernant le rappel d'impôts IFD 1998 et annulait le jugement du TAPI, ainsi que les décisions sur réclamation et les bordereaux relatifs à ces aspects. Le Tribunal fédéral a en outre constaté que l'amende pour soustraction fiscale IFD 1996 était prescrite, et confirmé l'arrêt pour le surplus. La cause a été renvoyée à la Cour de Justice pour qu'elle se prononce à nouveau sur les amendes fiscales encore litigieuses, après avoir entendu le recourant 1; la cause a pour le surplus été renvoyée à l'Administration cantonale pour que celle-ci établisse les montants dus par le recourant 1 à titre de l'IFD et de l'ICC, compte tenu de l'arrêt du Tribunal fédéral et, dans la mesure où celui-ci était confirmé, compte tenu du renvoi figurant dans l'arrêt attaqué.

(résumé)

III. Recours de la recourante 2

Prescription du rappel d'impôt IFD 1997

6. La recourante 2 reproche à la Cour de Justice d'avoir confondu l'année fiscale et la période fiscale, en violation des art. 40 al. 1 et 152 al. 3 LIFD (RS 642.11), en considérant que le rappel d'impôt IFD 1997 était atteint par la prescription.

6.1 Selon l'art. 152 al. 3 LIFD, le droit de procéder au rappel de l'impôt s'éteint quinze ans après la fin de la période fiscale à laquelle il se rapporte. La version allemande utilise le terme de Steuerperiode, et le texte italien de periodo fiscale. Selon l'art. 40 al. 2 LIFD, applicable avant le 1^er janvier 2001 (XAVIER OBERSON, Droit fiscal suisse, 4^e éd. 2012, p. 191 n. 350 et p. 194 n. 361; cf. art. 41 LIFD), la période fiscale comprend deux années civiles consécutives. Elle commence le premier jour des années impaires. L'année fiscale est définie à l'art. 40 al. 3 LIFD et correspond à l'année civile. Il découle ainsi clairement du texte des dispositions applicables que la prescription, pour les périodes fiscales bisannuelles, commence après la fin de la deuxième année concernée, qui sera une année paire. Les commentaires soulignent, sans développement particulier, que le point de départ du délai de l'art. 152 al. 3 LIFD se situe bien à la fin de la période fiscale à laquelle il se rapporte (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2^e éd. 2009, n° 5 ad art. 152 LIFD; HUGO CASANOVA, in Commentaire romand, Impôt fédéral direct, 2008, n° 5 ad art. 152 LIFD). Le Tribunal fédéral ne s'est jamais expressément prononcé sur ce point. Il est vrai que, dans des arrêts non publiés, il a parfois adopté une position lexicalement peu conséquente, mentionnant la période fiscale, mais tenant compte en réalité de l'année fiscale pour calculer le délai de prescription (cf. arrêts 2C_88/2011 du 3 octobre 2011 consid. 2.3.1, in RDAF 2012 II p. 131; 2C_724/2010 du 27 juillet 2011 consid. 6.1, in RF 66/2011 p. 871). En revanche, dans un arrêt récent publié, il a indiqué que, pour l'IFD relatif à la période 1995/96, le délai de quinze ans prévu à l'art. 152 al. 3 LIFD arrivait à expiration le 31 décembre 2011 (ATF 138 II 169 consid. 4 p. 172). Dans un arrêt plus ancien, cette conception avait aussi été suivie (arrêt 2P.92/2005 du 30 janvier 2006 consid. 4.2, in RF 61/2006 p. 523). C'est ce mode de calcul, qui correspond à la lettre de la loi, qui doit être appliqué.

6.2 En l'occurrence, la période fiscale litigieuse en matière d'IFD était bisannuelle et allait de 1997 à 1998. Le délai de l'art. 152 al. 3 LIFD arrive ainsi à expiration au 31 décembre 2013, de sorte que c'est à tort que l'arrêt attaqué a considéré que le rappel d'impôt IFD 1997 était prescrit. La recourante 2 obtient donc gain de cause sur ce point et l'arrêt attaqué doit être annulé en ce qu'il constate que le rappel d'impôt IFD 1997 est prescrit et annule le jugement du TAPI sur ce point. Le rappel d'impôt IFD 1997 devra ainsi être calculé sur les mêmes bases que le rappel d'impôt IFD 1998.

(...)

IV. Recours du recourant 1

Violation du droit à être entendu personnellement par le juge (amendes IFD et tentative de soustraction fiscale ICC 2001-B considérée à tort comme non prescrite)

9.1 Le recourant 1 reproche à la Cour de Justice d'avoir confirmé la position du TAPI selon laquelle il ne devait pas être entendu oralement, malgré la requête formulée le 30 août 2011, au motif qu'il avait pu s'exprimer par écrit à plusieurs reprises. Il y voit une violation de son droit d'être entendu en lien avec l'art. 6 par. 1 CEDH.

9.2 L'art. 6 CEDH ne trouve pas application dans les procédures fiscales qui n'ont pas un caractère pénal (ATF 132 I 140 consid. 2.1 p. 146 et les références citées; cf. OBRIST/GONIN, Grundrechte und Steuerrecht: unerwartete Interaktionen?, Jusletter 12 mars 2012 n. 33). Les procédures en rappel d'impôt n'y sont donc pas soumises (cf. arrêts 2C_76/2009 du 23 juillet 2003 consid. 2.2, in RF 64/2009 p. 834; 2P.4/2007 du 23 août 2007 consid. 4.2; 2A.480/2005 du 23 février 2006 consid. 2.2, in RF 61/2006 p. 372). En revanche, la procédure réprimant la soustraction fiscale est une procédure à caractère pénal à laquelle l'art. 6 CEDH est applicable (ATF 138 IV 47 consid. 2.6.1 p. 51; ATF 121 II 257 consid. 4 p. 264; arrêt 2C_232/2011 du 25 octobre 2011 consid. 2.2; cf. arrêt de la Cour européenne des droits de l'Homme [ci-après: la CourEDH] A.P., M.P. et T.P. contre Suisse du 29 août 1997, req. 19958/92, Rec. 1997-V §§ 40 ss). En ce domaine, le contribuable peut en principe se prévaloir d'un droit à être entendu oralement, ce que le Tribunal fédéral a déjà reconnu dans un arrêt datant de 1993 (ATF 119 Ib 311 consid. 7a p. 331 s.). Cette position correspond du reste à la jurisprudence de la CourEDH, qui réserve toutefois des circonstances particulières, notamment si la somme en jeu est minime (cf. arrêt Jussila contre Finlande [GC] du 23 novembre 2006, req. 73053/01, Rec. 2006-XIV §§ 40 ss). Cette audition n'est cependant pas automatique, il faut que le contribuable en fasse la demande (arrêt 2C_232/2011 du 25 octobre 2011 consid. 2.2 et les références citées). En outre, le fait que le contribuable ait pu s'expliquer par oral devant les autorités administratives n'est pas déterminant, car le droit à être entendu oralement et en personne découlant de l'art. 6 par. 1 CEDH ne se rapporte qu'à la procédure judiciaire (arrêt 2A.617/1998 du 30 mars 2000 consid. 3a; cf. aussi JENS MEYER-LADEWIG, EMRK, Handkommentar, 3^e éd. 2011, p. 163 s. n. 169 ss).

9.3 En l'espèce, le recourant 1 a expressément demandé à être entendu devant le TAPI, qui n'y a pas donné suite, ce qu'a confirmé la Cour de Justice. L'amende initiale totale qui était alors en jeu en matière d'IFD dépassait 240'000 fr. (art. 105 al. 2 LTF); au cours de la procédure, ce montant s'est certes réduit dès lors que certaines reprises n'ont pas été admises et qu'une partie des infractions avait été atteinte par la prescription. Bien que le montant définitif doive encore être fixé par l'Administration cantonale, il ne saurait, compte tenu de la somme des impôts dont la soustraction est en jeu, en tous les cas être qualifié de minime, ce qui exclut une dérogation à l'art. 6 par. 1 CEDH. Enfin, la possibilité qu'a eue le contribuable de s'exprimer par oral devant les autorités fiscales ne compense pas l'absence d'audition devant une autorité judiciaire.

Il en découle qu'il y a eu violation du droit du recourant 1 à être entendu oralement au sens de l'art. 6 par. 1 CEDH s'agissant des décisions relatives aux infractions fiscales encore litigieuses. Une telle violation ne peut être réparée devant le Tribunal fédéral, qui ne dispose pas d'une pleine cognition (ATF 137 I 195 consid. 2.7 p. 199 ). Il convient partant d'annuler l'arrêt attaqué s'agissant de ces infractions, sans examiner les chances de succès du recourant sur le fond (cf. ATF 135 I 279 consid. 2.6.1 p. 285).

9.4 Le recourant 1 demande que sa cause soit renvoyée au TAPI au motif que la Cour de Justice, s'agissant de statuer sur les amendes, limite sa cognition au point de savoir si l'instance inférieure a abusé de son pouvoir d'appréciation. Une telle position ne peut être suivie. En effet, en procédure administrative genevoise, les autorités de recours, soit aussi bien le TAPI que la Cour de Justice (lorsque la loi prévoit deux instances judiciaires de recours) ont le même pouvoir d'examen. En vertu de l'art. 61 al. 1 de la loi cantonale du 12 septembre 1985 sur la procédure administrative (LPA/GE; RSG E 5 10), sur renvoi de l'art. 2 al. 2 de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc; RSG D 3 17), elles vérifient la violation du droit y compris l'excès et l'abus du pouvoir d'appréciation, ainsi que la constatation inexacte ou incomplète des faits pertinents. Par conséquent, l'on ne voit pas qu'il se justifie de renvoyer la cause au TAPI. Il appartiendra donc à la Cour de Justice d'entendre le recourant avant de statuer à nouveau sur les amendes fiscales.

9.5 Il convient de préciser que l'audition ne doit porter que sur les aspects encore litigieux et ne saurait aboutir à une extension du litige. Partant, les conclusions du recourant 1 remettant en cause le principe même d'une amende pour tentatives de soustraction fiscale ayant été jugées irrecevables, ce qui n'est pas contesté, il ne peut prétendre à être entendu sur cet aspect.

9.6 A juste titre, le recourant 1 limite sa demande à être entendu oralement à la procédure relative aux amendes qui lui ont été infligées et ne l'étend pas aux décisions relatives aux reprises et aux taxations.

9.6.1 Sous l'angle de l'art. 29 al. 2 Cst. qui garantit le droit d'être entendu dans les procédures purement fiscales, dépourvues de connotation pénale, il n'existe pas, de façon générale, un droit d'être entendu oralement (cf. ATF 134 I 140 consid. 5.3 p. 148; ATF 130 II 425 consid. 2.1 p. 428 s.; arrêt 2C_834/2012 du 19 avril 2013 consid. 4.1).

9.6.2 Quant à l'art. 6 par. 1 CEDH, il ne s'applique pas à ces procédures (cf. supra consid. 9.2). Il peut toutefois arriver que des droits garantis par l'art. 6 par. 1 CEDH applicables aux procédures pénales fiscales débordent le seul cadre pénal et interagissent sur les procédures purement fiscales. La CourEDH l'admet lorsque des éléments portant sur l'imposition proprement dite (exorbitante au champ de l'art. 6 CEDH) et des éléments liés au contentieux des pénalités fiscales (attribués au volet pénal de l'art. 6 CEDH) se trouvent combinés dans une même instance, de sorte qu'il est impossible de distinguer les phases d'une procédure qui portent sur une "accusation en matière pénale" de celles ayant un autre objet, ce qui peut justifier d'examiner l'ensemble de la problématique sous l'angle de l'art. 6 CEDH (arrêt de la CourEDH Jussila contre Finlande [GC], précité, § 45). Tel est le cas de l'interdiction de s'incriminer soi-même. A ce sujet, la CourEDH a, dans une affaire récente concernant la Suisse (arrêt Chambaz contre Suisse du 5 avril 2012, req. 11663/04, §§ 40 à 43; cf. aussi arrêt J.B. contre Suisse du 3 mai 2001, req. 31827/96, Rec. 2001-III §§ 47 s.), estimé contraire à l'art. 6 CEDH le fait pour le fisc d'avoir - dans le contexte d'une reprise d'impôt - infligé des amendes au contribuable au motif qu'il n'avait pas fourni des documents susceptibles de l'incriminer dans une éventuelle procédure pour soustraction d'impôt subséquente.

S'agissant du droit d'être entendu oralement au sens de l'art. 6 par. 1 CEDH, la situation n'est pas similaire. Si les procédures en rappel d'impôt et celles relatives à la soustraction fiscale procèdent indéniablement d'un même complexe de faits et sont souvent menées en parallèle, elles donnent lieu à des décisions distinctes qui peuvent

être dissociées sans difficulté. De surcroît, on n'est pas en présence d'un cas où le refus d'entendre le contribuable par oral dans le cadre de la détermination d'impôt léserait les garanties de ce même contribuable, tel le droit de ne pas s'auto-incriminer, dont il doit pouvoir bénéficier dans la procédure pénale en soustraction, puisqu'il va en tous les cas pouvoir exprimer sa position oralement en ce qui concerne l'infraction fiscale. C'est du reste essentiellement en lien avec les circonstances personnelles propres à influencer le montant de l'amende que l'audition peut s'avérer utile (cf. art. 175 al. 2, 2^e phrase, LIFD; arrêt 2C_851/2011 du 15 août 2012 consid. 3.3, in RF 67/2012 p. 759). Or, ces circonstances ne sont déterminantes que sur le plan de la procédure pénale. En l'espèce, le recourant 1 souligne d'ailleurs que l'audience qu'il sollicite n'a pas pour objectif principal de discuter du bien-fondé de l'évaluation des impôts, mais d'exposer ses circonstances personnelles. Par conséquent, il n'y a pas lieu d'étendre le droit à une audition orale découlant de l'art. 6 par. 1 CEDH qui s'applique aux décisions concernant les infractions fiscales, aux procédures de taxation menées parallèlement.