Sony IMX378: ventilation complète du capteur de Google Pixel et de ses fonctionnalités

Présentation de l'IMX378

Nous avons contacté Sony pour en savoir plus sur le capteur IMX378 utilisé par les prochains téléphones Google Pixel et Pixel XL, ainsi que par le Xiaomi Mi 5S. Malheureusement, Sony n’était pas encore en mesure de distribuer la fiche technique du capteur Exmor RS IMX378, mais celle-ci s’est révélée extrêmement utile et nous a permis de nous fournir des informations inédites sur le IMX378.

Tout d'abord, le nom même était faux. Malgré les rumeurs selon lesquelles il ferait partie de la gamme de capteurs CMOS BSI (Backside Illuminated) Exmor R comme le IMX377 utilisé auparavant dans les Nexus 5X et 6P, notre contact chez Sony nous a informés que le IMX378 serait plutôt considéré comme faisant partie de la gamme de capteurs CMOS empilés BSI Exmor RS de Sony.

Bien que beaucoup de choses soient restées les mêmes entre l’IMX377 et l’IMX378, y compris la taille en pixels (1, 55 µm) et la taille du capteur (7, 81 mm), quelques fonctionnalités clés ont été ajoutées. Il s'agit désormais d'une conception empilée CMOS BSI, dotée de PDAF, de la technologie SME-HDR de Sony et d'une meilleure prise en charge de la vidéo à haute cadence (ralenti).

CMOS BSI empilé

L’éclairage arrière est en soi une fonctionnalité extrêmement utile qui est devenue presque la norme dans les smartphones phares ces dernières années, à commencer par le HTC Evo 4G en 2010. Elle permet à l’appareil photo de capter beaucoup plus de lumière (au prix de plus de bruit) en déplacer une partie de la structure qui reposait traditionnellement devant la photodiode sur des capteurs avant éclairés, derrière celle-ci.

Étonnamment, contrairement à la plupart des technologies de caméras, l'éclairage arrière a commencé à apparaître dans les téléphones avant les reflex numériques, en grande partie à cause des difficultés rencontrées pour créer de plus grands capteurs BSI. Le premier capteur BSI APS-C était le Samsung S5KVB2 intégré dans l'appareil photo NX1 de 2014, et le premier capteur plein cadre était le Sony Exmor R IMX251 qui avait été détecté dans le Sony α7R II de l'année dernière.

La technologie CMOS BSI empilée va encore plus loin en déplaçant davantage de circuits de la couche avant sur le substrat porteur derrière les photodiodes. Cela permet non seulement à Sony de réduire considérablement la taille du capteur d'image (ce qui permet d'avoir des capteurs plus grands dans le même empreinte au sol), mais également d'imprimer les pixels et les circuits séparément (même sur des processus de fabrication différents), réduisant ainsi le risque de défauts, améliorer les rendements et permettre une plus grande spécialisation entre les photodiodes et les circuits de support.

PDAF

L'IMX378 ajoute l'autofocus à détection de phase, que les téléphones Nexus de l'année dernière et l'IMX377 ne prenaient pas en charge. Il permet à la caméra d’utiliser efficacement les différences d’intensité lumineuse entre différents points du capteur pour déterminer si l’objet sur lequel la caméra tente de faire la mise au point est devant ou derrière le point de mise au point et ajuster le capteur en conséquence. Il s'agit d'une énorme amélioration à la fois en termes de vitesse et de précision par rapport à la mise au point automatique traditionnelle basée sur le contraste que nous avons vue sur de nombreux appareils photo dans le passé. En conséquence, nous avons assisté à une explosion absolue de téléphones utilisant PDAF, qui est devenu un mot à la mode en matière de marketing qui est considéré comme une pièce maîtresse du marketing par caméra dans l’industrie.

Bien que la mise au point ne soit pas aussi rapide que celle du PDAF à double photodiode du Samsung Galaxy S7 (également appelé «Dual Pixel PDAF» et «Duo Pixel Autofocus» ), elle permet à chaque pixel d'être utilisé pour la détection de phase en incluant deux photodiodes par pixel, la fusion de PDAF et de la mise au point automatique au laser devrait toujours constituer une puissante combinaison.

Taux élevé d'images par seconde

Récemment, on a beaucoup parlé de caméras haute cadence (à la fois pour les applications grand public et dans la réalisation de films professionnels). Le fait de pouvoir filmer à des cadences de prise de vue plus élevées peut être utilisé à la fois pour créer des vidéos incroyablement lisses à une vitesse normale (ce qui peut être fantastique pour les sports et autres scénarios à grande vitesse) et pour créer des vidéos très intéressantes lorsque vous ralentissez tout.

Malheureusement, il est extrêmement difficile de filmer des vidéos à des cadences élevées, et même lorsque le capteur de votre appareil photo peut filmer à des cadences plus élevées, le processeur de traitement de l'image du téléphone peut avoir du mal à suivre. C'est pourquoi, alors que l'IMX377 utilisé dans les Nexus 5X et 6P pouvait enregistrer des vidéos 720p à 300 Hz et 1080p à 120 Hz, nous n'avons vu que 120 Hz 720p du Nexus 5X et 240 Hz 720p du 6P. L'IMX377 était également capable de capter la vidéo 4 kHz à 60 Hz, malgré le fait que les périphériques Nexus étaient limités à 30 Hz.

Les téléphones Pixel sont tous deux capables de porter cette vidéo à 120 Hz 1080p et à 240 Hz 720p, en partie grâce aux améliorations apportées à l'IMX378, qui prévoit une augmentation des capacités allant jusqu'à 240 Hz à 1080p.

Le capteur est également capable de réaliser des prises de vues en rafale haute résolution plus rapidement, en progressant jusqu’à 60 Hz en sortie 10 bits et de 40 Hz en sortie 12 bits (respectivement 40 Hz et 35 Hz), ce qui devrait permettre de réduire le flou de mouvement et bougé lorsque vous utilisez HDR +.

SME-HDR

Traditionnellement, le HDR pour la vidéo était un compromis. Vous deviez soit réduire de moitié la fréquence d'images, soit réduire de moitié la résolution. En conséquence, de nombreux constructeurs ne l’ont même pas dérangé, Samsung et Sony étant l’un des rares à le mettre en œuvre. Même le Samsung Galaxy Note 7 est limité à l'enregistrement 1080p 30 Hz, en partie à cause du coût de calcul élevé de la vidéo HDR.

La première des deux principales méthodes traditionnelles pour la vidéo HDR, que Red Digital Cinema Camera Company appelle HDRx et que Sony appelle Digital Overlap HDR (DOL-HDR), fonctionne en prenant deux images consécutives, l'une plus sombre et l'autre plus claire, et fusionnant. ensemble pour créer une seule image vidéo. Bien que cela vous permette de conserver la résolution complète de l'appareil photo (et de définir des vitesses d'obturation différentes pour les deux images distinctes), cela peut souvent entraîner des problèmes en raison du décalage entre les deux images (en particulier pour les objets se déplaçant rapidement). De plus, il peut être très difficile pour le processeur de suivre, car avec DOL-HDR, le FAI du téléphone gère la fusion des trames séparées.

L’autre méthode traditionnelle, que Sony appelle Binning Multiplexed Exposure HDR (BME-HDR), définit un réglage d’exposition différent pour chaque paire de deux lignes de pixels du capteur afin de créer deux images à demi-résolution simultanément, qui sont ensuite fusionnées. dans un cadre HDR pour la vidéo. Bien que cette méthode évite les problèmes associés à HDRx, à savoir une réduction de la fréquence d'images, elle pose d'autres problèmes, notamment la réduction de la résolution et les limites de la modification de l'exposition entre les deux ensembles de lignes.

SME-HDR (Spatially Multiplexed Exposure) est une nouvelle méthode utilisée par Sony pour leur permettre de réaliser des prises de vue HDR à la résolution et à la fréquence d'images maximales que le capteur peut prendre en charge. Il s’agit d’une variante de Spatially Varying Exposure qui utilise des algorithmes exclusifs pour permettre à Sony de capturer les informations provenant des pixels sombres et clairs, disposés selon un motif de style en damier, et de déduire l’image en pleine résolution pour les images exposées à la lumière et aux ténèbres.

Malheureusement, Sony n’a pas été en mesure de nous donner d’explications plus détaillées sur le schéma exact, et il se peut qu’ils ne le fassent jamais - les entreprises ont tendance à jouer leur jeu très près de la poitrine lorsqu'il est question de technologie de pointe, comme celle que nous avons voir en HDR, même Google ayant son propre algorithme propriétaire pour les photos HDR appelé HDR +. Nous pouvons toutefois utiliser certaines informations accessibles au public pour comprendre comment elles peuvent être accomplies. Deux articles ont été publiés par Shree K. Nayar de l’Université Columbia (dont un en collaboration avec Tomoo Mitsunaga de Sony), qui contiennent différentes manières d’utiliser l’Exposition Spatialement Variable et différentes dispositions permettant de la réaliser. Vous trouverez ci-dessous un exemple de disposition avec quatre niveaux d’exposition sur un capteur d’image RGBG. Cette structure prétend pouvoir réaliser des images HDR de pleine résolution avec une seule capture avec une perte de résolution spatiale d’environ 20%, selon le scénario (le même accomplissement que Sony prétend pour SME-HDR).

Sony a déjà utilisé le SME-HDR dans quelques capteurs d'image, y compris dans l'IMX214, qui a connu un succès croissant récemment (utilisé dans l'Asus Zenfone 3 Laser, le Moto Z et le Xperia X Performance), mais il s'agit d'un nouveau ajout à l’IMX378 par rapport à l’IMX377 utilisé l’année dernière. Il permet au capteur de caméra de produire à la fois une résolution complète 10 bits et une vidéo 4k à 60 Hz avec le mode SME-HDR actif. Tandis qu'un goulot d'étranglement ailleurs dans le processus aboutira à une limite inférieure, il s'agit d'une amélioration fantastique par rapport à ce dont le IMX377 était capable et d'un signe de bonne chose à venir.

L’une des grandes améliorations de l’IMX378 par rapport à l’IMX377 est qu’il est capable de gérer davantage de traitement d’image sur puce, réduisant ainsi la charge de travail du FAI (bien que le FAI puisse toujours demander les données d’image RAW, selon la l'OEM décide d'utiliser le capteur). Il peut gérer de nombreuses petites choses telles que la correction des défauts et la mise en miroir localement, mais plus important encore, il peut également gérer le format BME-HDR ou SME-HDR sans impliquer le fournisseur de services Internet. Cela pourrait potentiellement être une différence majeure pour l'avenir en libérant des frais généraux pour le FAI sur les futurs téléphones.

Nous tenons à remercier une nouvelle fois Sony pour l’aide apportée à la création de cet article. Nous apprécions vraiment les efforts déployés par Sony pour assurer la précision et la profondeur de cette fonctionnalité, notamment en nous permettant de découvrir des informations inédites sur l'IMX378.

Cela dit, il est vraiment dommage qu’il soit si difficile d’accéder à certaines de ces informations, même à des informations de base sur les produits. Lorsque les entreprises tentent de mettre des informations sur leurs sites Web, celles-ci peuvent souvent être plutôt inaccessibles et incomplètes, en grande partie parce qu'elles sont souvent traitées comme une préoccupation secondaire des employés de l'entreprise, qui sont plus concentrés sur leur travail principal. Une personne dévouée chargée des relations publiques peut faire toute la différence pour rendre ce type d'informations disponible et accessible au grand public, et certaines personnes essaient de le faire pendant leur temps libre. Même sur l’article Sony Exmor Wikipedia lui-même, où au cours d’une paire de mois, une seule personne dans ses temps libres a jeté l’essentiel des bases pour le reprendre d’un article presque inutile de 1 715 octets qui était pratiquement le même depuis des années dans le Article d'environ 50 000 octets que nous voyons aujourd'hui avec 185 rédacteurs distincts. Un article qui est sans doute le meilleur dépôt d’informations en ligne sur la gamme de capteurs Sony Exmor, et nous pouvons constater une tendance très similaire sur d’autres articles. Un seul rédacteur dédié peut faire toute la différence en ce qui concerne la facilité avec laquelle les clients peuvent comparer différents produits et le degré d'instruction des consommateurs intéressés sur le sujet, ce qui peut avoir des effets de grande portée. Mais c'est un sujet pour une autre fois.

Comme toujours, nous nous demandons comment ces modifications matérielles affecteront les périphériques eux-mêmes. Il est clair que nous n'obtiendrons pas de vidéo HDR 4k 60 Hz (et que nous n'obtiendrons peut-être pas du tout de vidéo HDR, Google ne l’ayant pas encore mentionné), mais la prise de vue en pleine résolution plus rapide aidera probablement beaucoup au HDR +, et nous verrons le Les améliorations apportées aux nouveaux capteurs pénètrent dans le téléphone de manière similaire, mais de manière substantielle.

Alors que DXOMark indique que les téléphones Pixel ont des performances légèrement meilleures que les Samsung Galaxy S7 et HTC 10, les nombreux atouts qui ont donné aux téléphones Pixel une petite avance sont des améliorations logicielles majeures telles que HDR + (qui produit des résultats absolument fantastiques, et que DXOMark a dédié à l’ensemble section de leur examen à) et au système EIS spécial de Google (qui peut fonctionner en tandem avec OIS) qui échantillonne le gyroscope 200 fois par seconde pour fournir une des meilleures stabilisation d’image électronique que nous n’ayons jamais vue. Oui, les téléphones Pixel ont un excellent appareil photo, mais auraient-ils pu être encore meilleurs avec OIS et Dual Pixel PDAF ajoutés? Absolument.

Ne vous méprenez pas, comme je l’ai dit, les téléphones Pixel ont un appareil photo absolument époustouflant, mais vous ne pouvez pas vraiment me reprocher d’en vouloir davantage, en particulier lorsque le chemin à suivre pour ces améliorations est si clair (et lorsque les téléphones sont facturés au prix le plus bas). plein tarif phare, où vous attendez le meilleur du meilleur). Il y aura toujours une partie de moi qui en veut plus, qui veut une meilleure durée de vie de la batterie, des processeurs plus rapides, une meilleure durée de vie de la batterie, des écrans plus brillants et plus vifs, des haut-parleurs plus puissants, de meilleurs appareils photo, plus de stockage, une meilleure durée de vie de la batterie et, surtout, une meilleure vie de la batterie (encore). Cela étant dit, les téléphones Pixel possèdent de nombreuses petites fonctionnalités fantastiques qui pourraient être réunies pour créer un appareil vraiment prometteur, ce que je suis ravi de voir.