Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal
[img]
2C_110/2018
Arrêt du 28 février 2019
IIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Seiler, Président,
Zünd et Aubry Girardin.
Greffière : Mme Kleber.
Participants à la procédure
1. A.X.________,
2. B.X.________,
tous les deux représentés par BEAU HLB (Genève) SA,
recourants,
contre
Administration fiscale cantonale
du canton de Genève.
Objet
Impôts cantonaux et communaux et impôt fédéral direct des périodes fiscales 2008 à 2011,
recours contre l'arrêt de la Cour de justice
de la République et canton de Genève,
Chambre administrative, 4ème section,
du 12 décembre 2017 (A/1027/2015-ICCIFD).
Faits :
A.
Les époux B.X.________ et A.X.________ (ci-après: les contribuables) sont domiciliés à U.________ depuis 2003. Jusqu'en 2002, B.X.________ a été le directeur financier de la société D.________ LTD (ci-après: D.________), sise à T.________ et active dans le négoce international de produits dérivés du pétrole et de la pétrochimie. Selon le registre du commerce de U.________, les contribuables ont fondé la société E.________ Sàrl, qui a pour but de détenir des participations dans des entreprises commerciales, engagées notamment dans des activités de gestion de fortune et de services aux entreprises, ainsi que toutes les opérations financières, administratives ou toutes autres activités y relatives. En 2008, E.________ Sàrl est devenue une société holding administrée par B.X.________ et constituée de deux sociétés anonymes créées par celui-ci à U.________ en 2007.
B.X.________ a par ailleurs créé, le 28 mars 2003, à F.________ (RoyaumeUni), un "partnership" avec G.________ Limited, afin de continuer sa collaboration avec D.________ en tant qu'indépendant. Dénommé H.________ LP et détenu à 90% par B.X.________, ce "partnership" poursuivait des activités d'établissement de lignes de crédit bancaire en faveur de sociétés de négoce et l'optimisation de structures de sociétés.
Dans leurs déclarations fiscales 2008 à 2011, les contribuables ont notamment indiqué que B.X.________ disposait d'un établissement stable à F.________, soit un bureau où il se rendait régulièrement pour exercer son activité indépendante. De ce fait, les revenus et la fortune commerciale de H.________ LP n'étaient selon eux pas imposables en Suisse et ne devaient être retenus que pour le taux d'imposition.
B.
Par bordereaux des 19 et 20 novembre 2013, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale cantonale) a notifié aux contribuables les décisions de taxation pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) des périodes fiscales 2008 à 2011. Elle a notamment retenu que les bénéfices et fonds propres de H.________ LP étaient imposables en Suisse.
Les contribuables ont contesté les bordereaux par réclamations du 18 décembre 2013, qui ont été rejetées par décisions du 20 février 2015. Contre les décisions sur réclamation, les contribuables ont formé un recours auprès du Tribunal administratif de première instance de la République et canton de Genève, qui l'a rejeté par jugement du 19 septembre 2016. Par arrêt du 12 décembre 2017, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours des contribuables contre ce jugement.
C.
Agissant par la voie du recours en matière de droit public, les époux X.________ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 12 décembre 2017, de constater que B.X.________ a correctement reporté dans ses déclarations fiscales IFD et ICC pour les périodes fiscales 2008 à 2011 le profit net résultant de son activité indépendante réalisée par l'entremise de H.________ LP et la fortune commerciale y attachée comme non imposables en Suisse et de renvoyer le dossier à la Cour de justice pour qu'elle renvoie le cause à l'Administration fiscale cantonale, afin que celle-ci effectue une nouvelle taxation pour les années 2008 à 2011 pour les ICC et l'IFD.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants, ainsi que le dispositif de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt entrepris, de même qu'aux observations de l'Administration fiscale cantonale. Les recourants ont déposé des observations, en persistant dans leurs conclusions.
Considérant en droit :
1.
1.1. Le recours porte sur une décision finale (art. 90 LTF) d'une autorité judiciaire supérieure ayant statué en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), rendue dans une cause de droit public et qui ne tombe pas sous le coup d'une clause d'exception de l'article 83 LTF. Le recours en matière de droit public est par conséquent ouvert (cf. aussi art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
1.2. L'instance précédente a traité dans un seul arrêt de l'impôt fédéral direct et des impôts cantonal et communal, ce qui est admissible (ATF 135 II 260 consid. 1.3.1 p. 262 s). Partant, le dépôt d'un seul acte de recours est aussi autorisé, dans la mesure où le recourant s'en prend clairement aux deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.), ce qui est le cas en l'espèce.
1.3. Au surplus, le recours a été déposé dans les formes requises et en temps utile compte tenu des féries (cf. art. 42 al. 1 et 2, art. 46 al. 1 let. c et 100 al. 1 LTF), par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
1.4. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Conformément à l'art. 106 al. 2 LTF, il ne connaît de la violation des droits fondamentaux, ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (cf. ATF 142 I 99 consid. 1.7.2 p. 106; 141 I 36 consid. 1.3 p. 41). Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), hormis dans les cas visés à l'art. 105 al. 2 LTF. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). En l'espèce, il n'y a pas lieu de prendre en considération les pièces accompagnant le recours.
2.
Les recourants se plaignent d'arbitraire dans l'établissement et l'appréciation des faits.
2.1. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 142 II 355 consid. 6 p. 358; 139 II 373 consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. art. 106 al. 2 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 137 II 353 consid. 5.1 p. 356). Il y a arbitraire (art. 9 Cst.) dans l'établissement des faits ou l'appréciation des preuves si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 144 II 281 consid. 3.6.2 p. 287; 142 II 355 consid. 6 p. 358).
2.2. Les recourants reprochent à la Cour de justice de ne pas avoir mentionné le contenu exact des attestations qu'ils ont produites au sujet de la mise à disposition de bureaux à T.________, au Kazakhstan et à S.________ à trois consultants de H.________ LP. Ces attestations seraient déterminantes, car elles prouveraient de manière indubitable que H.________ LP exerçait ses activités commerciales de manière régulière dans des bureaux sis à l'étranger durant la totalité de la période litigieuse (2008 à 2011). Dans ce contexte, ils font également grief à l'instance précédente d'avoir retenu que ces bureaux se trouvaient au domicile des consultants, ce fait ne résultant d'aucune pièce selon eux.
2.3. La deuxième critique doit d'emblée être écartée. En effet, il résulte de l'arrêt entrepris que ce sont les recourants eux-mêmes qui ont indiqué au cours de la procédure que les consultants de H.________ LP travaillaient depuis leur domicile et ils ne prétendent pas, ni ne démontrent que l'arrêt querellé serait manifestement inexact sur ce point. De plus, la Cour de justice a seulement reproduit ces déclarations et n'a pas affirmé, contrairement à ce qu'allèguent les recourants, que des bureaux de H.________ LP se trouvaient au domicile des employés de l'entreprise.
2.4. La première critique relative aux attestations doit aussi être rejetée.
2.4.1. En effet, si l'on considère, comme les contribuables l'ont fait valoir devant les autorités fiscales cantonales, que H.________ LP disposait d'un établissement stable à F.________, le contenu des attestations fournies est sans pertinence, car déterminer les éventuelles activités déployées par le personnel de H.________ LP à T.________, S.________ ou au Kazakhstan ne renseigne aucunement sur l'existence d'un établissement stable à F.________. La Cour de justice pouvait donc, sans arbitraire, renoncer à reproduire ces attestations.
2.4.2. Par ailleurs, si l'on envisage, comme les recourants l'ont fait valoir - de manière contradictoire - devant les autorités judiciaires cantonales qu'il faut reconnaître la présence d'établissements stables en d'autres lieux que F.________, ces seules attestations ne sont pas non plus déterminantes.
Au sujet de la présence d'établissements stables en d'autres lieux que F.________, la Cour de justice a relevé que les recourants s'en prévalaient en se fondant sur le fait que des mandats de H.________ LP avaient été réalisés au Royaume-Uni (T.________), en Russie et au Kazakhstan par des consultants depuis leur domicile ou dans les locaux des clients. Or, ces seuls faits ne suffisent pas à constituer des établissements stables (cf. sur la définition de l'établissement stable,
infra consid. 3.3). Les recourants ne prétendent pas avoir avancé d'autres éléments de fait que des mandats réalisés depuis le domicile des consultants ou dans les locaux de clients en faveur de la présence d'établissements stables au Royaume-Uni, en Russie et/ou au Kazakhstan, qui figureraient notamment dans les attestations produites et qui auraient été ignorés par la Cour de justice. Dès lors que ces éléments ne sont pas suffisants, on ne voit pas en quoi la Cour de justice aurait arbitrairement établi les faits en ne citant pas in extenso ces attestations, ce d'autant que les recourants ont initialement invoqué F.________ comme unique lieu d'établissement stable de l'activité du contribuable développée au travers de H.________ LP.
2.5. Le grief tiré d'un établissement des faits arbitraire doit, sur le vu de ce qui précède, être rejeté. Dans ce qui suit, le Tribunal fédéral se fondera donc exclusivement sur les faits retenus dans l'arrêt entrepris.
I. Impôt fédéral direct
3.
Le litige porte sur la question de savoir si H.________ LP disposait d'un ou plusieurs établissements stables à l'étranger durant les périodes fiscales 2008 à 2011 pour son activité.
3.1. Selon l'
D'après l'art. 10 al. 1 LIFD, chacun des héritiers ou des associés ajoute à ses propres éléments imposables sa part du revenu de l'hoirie, de la société simple, de la société en nom collectif ou de la société en commandite. Les entités visées à l'art. 10 al. 1 LIFD sont les communautés organisées selon le droit suisse qui n'ont pas la personnalité juridique et ne constituent donc pas des sujets fiscaux indépendants (arrêt 2C_123/2014 du 30 septembre 2015 consid. 10.1, in RDAF 2015 II 563). La jurisprudence retient toutefois, en substance, que cette disposition s'applique également en relation avec l'attribution de revenus provenant d'une entité étrangère lorsque cette entité doit être considérée comme transparente d'un point de vue fiscal suisse. Pour savoir si tel est le cas, il convient d'examiner si cette entité possède ou non la personnalité juridique. Dans l'hypothèse où l'entité étrangère n'a pas la personnalité juridique, ses revenus sont alloués aux associés (cf. arrêts 2C_123/2014 du 30 septembre 2015 consid. 10.1; 2C_664/2013 du 28 avril 2014 consid. 5.1).
3.2. En l'occurrence, il résulte de l'arrêt entrepris que les recourants ne remettent pas en cause leur assujettissement illimité en Suisse, respectivement à U.________. Ils ne font pas non plus valoir que le partenariat H.________ LP aurait la personnalité juridique et ne remettent pas en cause, dans son principe, le fait que les revenus générés au travers de cette entité sont imputables au contribuable. Ils se prévalent toutefois de l'art. 6 al. 1
in fine LIFD pour obtenir l'exonération de ces revenus (et de la fortune pour les ICC).
3.3. Selon l'art. 6 al. 1
in fine LIFD, l'assujettissement illimité ne s'étend pas aux entreprises, aux établissements stables et aux immeubles situés à l'étranger.
La notion d'établissement stable recouvre, selon la définition qu'en donne l'art. 4 al. 2 LIFD, toute installation fixe dans laquelle s'exerce tout ou partie de l'activité d'une entreprise (cf. également l'art. 51 al. 2 LIFD pour les personnes morales) ou d'une personne exerçant une profession libérale. La notion d'établissement stable de l'art. 4 al. 2 LIFD s'inspire de celle que donne l'art. 5 par. 1 du Modèle de Convention fiscale OCDE concernant le revenu et la fortune (ci-après: le Modèle OCDE), qui peut donc, dans une certaine mesure, être utilisé, avec le commentaire qui l'accompagne, pour la définir (cf. PASCHOUD/DE VRIES REILINGH, in Commentaire romand de la loi sur l'impôt fédéral direct, 2
e éd. 2017, n
o 30 et n
o 32 ad art. 4 LIFD; DANIEL DE VRIES REILINGH, Le droit fiscal intercantonal et le droit fiscal international de la Suisse, 2011, p. 153 ss, p.155). A noter qu'en matière intercantonale en revanche, la définition de l'établissement stable diffère (cf. ATF 139 II 78 consid. 3.1.2 p. 86 s.), en ce sens que la jurisprudence retient qu'il faut entendre par établissement stable (notion qui n'est pas définie dans la LHID) toute installation fixe et permanente dans laquelle s'exerce une partie
quantitativement et qualitativement importante de l'activité technique et commerciale de l'entreprise (cf. ATF 134 I 303 consid. 2.2 p. 307; arrêts 2C_707/2016 du 23 mars 2018 consid. 2.4.5, in RDAF 2018 II 452; 2C_216/2014 du 15 décembre 2016 consid. 4.2 et les arrêts cités; 2C_199/2015 du 31 mai 2016 consid. 6.3).
Cela étant, quelle que soit la définition en cause, la reconnaissance d'un établissement stable implique une installation fixe. Cela signifie tout d'abord une installation physique, établie en un lieu précis. Il importe peu que l'entreprise soit propriétaire ou locataire de l'installation, mais il faut qu'elle ait à tout le moins un certain droit de disposition sur celle-ci (cf. DANIEL DE VRIES REILINGH, Manuel de droit fiscal international, 2e éd. 2014, p. 126-129; SCHREIBER/HONOLD/JAUN, in Kommentar zum Schweizerischen Steuerrecht, Internationales Steuerrecht, 2015, n
o 7 ad art. 5 MC OCDE; Commentaire OCDE, n
o 4.1 et 4.2 ad art. 5 par. 1 MC OCDE, cf. aussi arrêt 2P.9/1994 du 6 juin 1995 consid. 3a). L'installation doit ensuite, pour être qualifiée de fixe, être permanente; elle ne doit pas avoir un caractère temporaire ou provisoire (cf. ATF 139 II 78 consid. 3.1.1 p. 86; arrêts 2C_199/2011 du 14 novembre 2011 consid. 3.1; 2A.119/2007 du 13 août 2007 consid. 3.1, in RDAF 2008 II 356; 2A.409/1997 du 12 novembre 1999 consid. 2c; PASCHOUD/DE VRIES REILINGH,
op. cit., n
o 31 ad art. 4 LIFD; MARC VOGELSANG, Der Begriff der Betriebsstätte im schweizerischen und internationalen Steuerrecht, 2015, p. 306-308; DANIEL DE VRIES REILINGH,
op. cit., 2011, p. 153 ss, p. 158 s.).
La reconnaissance d'un établissement stable à l'étranger au sens de la LIFD suppose, comme autre condition, qu'une activité commerciale substantielle soit exercée dans l'installation (cf. ATF 139 II 78 consid. 3.2 p. 88 ss; arrêts 2C_1018/2015 du 2 novembre 2017 consid. 8.3.3.2, in RF 73/2018 p. 255; 2C_396/2016 du 14 novembre 2016 consid. 8.3; 2C_123/2014 du 30 septembre 2015 consid. 11.2). Une activité de gestion privée de fortune ne constitue par exemple pas une activité de nature commerciale (cf. arrêt 2C_707/2016 du 23 mars 2018 consid. 2.4.5, in RDAF 2018 II 452). De même, de simples tâches administratives ne relevant pas directement du but de la société ne sont pas assimilées à une activité commerciale (cf. arrêt 2C_123/2014 du 30 septembre 2015 consid. 11.4). La sobriété de la structure sur place en termes de locaux et de personnel, notamment au regard du chiffre d'affaires réalisé, ainsi que le caractère secondaire des activités qui y sont exercées, font, pour leur part, partie des éléments qui plaident en défaveur de l'existence d'une activité commerciale
substantielle (cf. ATF 139 II 78 consid. 3.2.1 p. 88 s.; arrêts 2C_1018/2015 du 2 novembre 2017 consid. 8.3.3.2; 2C_123/2014 du 30 septembre 2015 consid. 11.4; 2C_664/2013 du 28 avril 2014 consid. 6.3, in RF 69/2014 p. 557). Le fardeau de la preuve d'une activité substantielle à l'étranger incombe au contribuable, puisque la reconnaissance d'un établissement stable ou d'une entreprise à l'étranger diminue l'impôt (cf. ATF 140 II 248 consid. 3.5 p. 252; arrêts 2C_1018/2015 du 2 novembre 2017 consid. 8.3.3.2; 2C_738/2014 du 21 août 2015 consid. 2.4, résumé in Archives 84 p. 336). En cas de doute, la jurisprudence retient qu'il faut privilégier l'imposition en Suisse, le risque de double imposition étant alors, le cas échéant, limité par l'éventuelle convention de double imposition applicable (ATF 139 II 78 consid. 3.1.2 p. 87; arrêts 2C_1018/2015 du 2 novembre 2017 consid. 8.3.3.2 et les arrêts cités; 2C_123/2014 du 30 septembre 2015 consid. 11.3).
3.4. En l'espèce, selon les faits de l'arrêt entrepris, le contribuable a loué un local de 25m2 à F.________ et engagé un employé sur place. L'existence d'une installation fixe en ce lieu peut être admise, ainsi que l'ont du reste reconnu les autorités fiscales cantonales, le Tribunal administratif de première instance et la Cour de justice. En revanche, il résulte de l'arrêt attaqué que les contribuables n'ont pas démontré l'exercice d'une activité commerciale substantielle à F.________. Les recourants ne contestent pas ce constat devant le Tribunal fédéral. Ils se contentent en effet dans leur recours d'insister sur les activités déployées par des consultants de H.________ LP à T.________, en Russie ou au Kazakhstan, ce qui ne renseigne aucunement sur l'activité commerciale de H.________ LP à F.________, voire tend à confirmer l'absence d'activité commerciale substantielle en ce lieu. A défaut d'activité commerciale substantielle, c'est à juste titre que la Cour de justice a nié la présence d'un établissement stable à F.________.
3.5. De manière contradictoire par rapport à leurs premières déclarations et après que les autorités fiscales ont nié la présence d'un établissement stable à F.________, les recourants ont prétendu devant les autorités judiciaires cantonales qu'il fallait admettre des établissements stables au Royaume-Uni (T.________), à S.________ et au Kazakhstan.
Pour apporter la preuve d'établissements stables en ces différents lieux, les recourants se sont prévalus du fait que des employés/ consultants de H.________ LP réalisaient des mandats depuis leur domicile ou depuis le domicile de clients au Royaume-Uni (T.________), à S.________et au Kazakhstan. Or, les quelques mandats effectués depuis le domicile des consultants de H.________ LP et/ou dans des locaux mis à disposition par des clients à T.________, en Russie et au Kazakhstan ne permettent pas de conclure à des établissements stables en ces lieux. Les éléments avancés par les recourants ne prouvent en effet pas de manière suffisante une installation fixe en chacun de ces endroits, ainsi que l'a retenu à bon droit la Cour de justice. Celle-ci a en particulier relevé le caractère provisoire des lieux de travail décrits. On ajoutera qu'il n'est pas établi que H.________ LP pouvait disposer des locaux que les recourants citent et ce point est particulièrement douteux s'agissant des domiciles des consultants. Outre que la condition d'une installation fixe n'est pas réalisée, il convient de souligner que les contribuables n'ont pas prouvé que H.________ LP exerçait une activité commerciale substantielle en ces lieux. En l'espèce, la multitude de mandats exercés soit au domicile des consultants, soit chez des clients, dans différentes villes telle que décrite par les contribuables apparaît au reste difficilement conciliable tant avec la notion d'installation fixe qu'avec celle d'activité commerciale substantielle en chaque lieu.
3.6. En définitive, c'est de manière conforme au droit fédéral que les précédents juges ont retenu que l'assujettissement illimité des contribuables à l'impôt en Suisse s'étendait aux revenus réalisés au travers de H.________ LP. Ce résultat n'apparaît pas contraire à une convention de double imposition et les recourants ne le font au demeurant pas valoir. Ils ne critiquent par ailleurs pas les montants repris par l'Administration fiscale cantonale. C'est partant également à juste titre que la Cour de justice a confirmé les décisions des autorités précédentes quant aux reprises à effectuer sur le revenu imposable au titre de l'impôt fédéral direct des contribuables pour les années 2008 à 2011.
II. Impôts cantonal et communal
4.
4.1. S'agissant des ICC, le présent litige est régi par la loi genevoise sur l'imposition des personnes physiques - objet de l'impôt - assujettissement à l'impôt du 22 septembre 2000 (aLIPP-I) pour les périodes fiscales 2008 et 2009 et par la loi genevoise sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RS/GE D 3 08) pour les périodes fiscales 2010 et 2011 (cf. art. 72 al. 1 LIPP).
4.2. Selon les art. 2 al. 1 aLIPP-I et 2 al. 1 LIPP, les personnes physiques sont assujetties à l'impôt à raison de leur rattachement personnel lorsqu'elles sont domiciliées ou séjournent dans le canton. Comme en matière d'impôt fédéral direct, les sociétés n'ayant pas la personnalité juridique ne sont pas imposées comme telles, chacun des associés paie des impôts sur la part de capital et de revenu à laquelle il a droit (cf. art. 9 aLIPP-I; art. 9 LIPP). A l'instar de l'art. 6 al. 1 LIFD, les art. 5 al. 1 aLIPP-I et 5 al. 1 LIPP prévoient en outre que l'assujettissement fondé sur un rattachement personnel est illimité, mais ne s'étend pas aux entreprises, aux établissements stables et aux immeubles situés hors du canton. La notion d'établissement stable, figurant aux art. 3 al. 3 aLIPP-I et 3 al. 3 LIPP est enfin identique à celle du droit fédéral ("installation fixe dans laquelle s'exerce tout ou partie de l'activité d'une entreprise").
La réglementation cantonale est ainsi similaire à celle qui prévaut en matière d'IFD, tant pour les périodes fiscales 2008 et 2009 que 2010 et 2011. En conséquence, il peut être renvoyé, pour les ICC, aux considérants développés ci-dessus en matière d'impôt fédéral direct (cf. arrêt 2C_123/2014 du 30 septembre 2015 consid. 13). Le recours doit donc aussi être rejeté en ce qui concerne les ICC sur le revenu et la fortune des périodes fiscales 2008 à 2011.
5.
Ce qui précède conduit au rejet du recours tant en ce qui concerne l'impôt fédéral direct que les impôts cantonal et communal. Les recourants, qui succombent, doivent supporter les frais judiciaires, solidairement entre eux (
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct pour les périodes fiscales 2008 à 2011.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal pour les périodes fiscales 2008 à 2011.
3.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué à la mandataire des recourants, à l'Administration fiscale cantonale et à la Cour de justice de la République et canton de Genève, Chambre administrative, 4
ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 28 février 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber