Pourquoi les benchmarks, finalement, on s’en fiche

A chaque sortie de smartphone c’est la même chose. Chaque année on a droit au jeu de celui qui aura la plus grosse. Bien souvent, avant même que les smartphones ne soient officiellement dévoilés, on voit déjà des benchmarks apparaître ici et là sur la toile.

Qui de tel ou tel constructeur aura su dompter au mieux le processeur dernier cri ? Combien de RAM sont nécessaires pour avoir le top du top ? Sur Antutu tel smartphone a fait tel score alors que l’autre a fait moins. Et blablabla, et blablabla. Les benchmarks sont certes un bon indicateur de puissance, mais finalement, on s’en fiche non ? Voici pourquoi selon nous il ne faut pas attacher trop d’importance aux benchmarks.

Les benchmarks sont parfois faussés

Loin de nous l’idée de crier à la théorie du complot mais il faut bien avouer que les benchmarks ne sont pas toujours des valeurs sûres. Les sociétés qui développent ces applications se financent parfois comme elles peuvent et il n’est pas rare de voir de grandes marques proposer un petit arrangement pour faire figurer leurs smartphones en tête des scores même si, techniquement, ils ne sont pas meilleurs.

L’autre point important, c’est que lors de l’analyse des performances, le processeur est souvent mis à rude épreuve pour le pousser au bout de ses retranchements. Les benchmarks sont bien souvent publiés dans des conditions optimales, sur des performances brutes. Le smartphone n’a jamais servi dans un usage quotidien. Pour un modèle commercialisé, utilisé chaque jour, les résultats sont souvent différents.

Sur Android, les benchmarks varient selon la ROM que vous installez

On a tendance à l’oublier, mais l’une des forces d’Android c’est que l’on peut installer la ROM que l’on veut. Et qui dit ROM dit performances qui diffèrent. Car entre un smartphone équipé d’une version d’Android pur par exemple et un modèle avec une surcouche ultra-lourde, les performances vont grandement différer.

De la même manière vos habitudes, le nombre d’applications installées, la mémoire interne occupée, le niveau d’autonomie etc. vont influer sur certains benchmarks. Il faut donc bien garder ses distances par rapport aux chiffres qui ne sont que des indicateurs finalement.

A-t-on vraiment besoin de toute cette puissance ?

Comparer les benchmarks c’est bien, mais à quoi ça sert au juste ? Finalement, à rien. Car une fois les résultats obtenus qu’est-ce qu’on en fait ? Pas grand chose à vrai dire. En fait les benchmarks sont de bons outils pour nous, testeurs, qui avons besoin de vérifier des ressentis lors d’un test d’un produit.

Par exemple, si nous trouvons tel ou tel produit un peu lent, nous allons vérifier tout cela avec les différentes applications de benchmarks pour confirmer ou infirmer nos impressions. Mais en dehors de cela, pour l’utilisateur il y a peu de choses à tirer des benchmarks.

Car clairement aujourd’hui, la plupart des smartphones commercialisés correspondent aux besoins de 99% des utilisateurs. Il n’y a pas besoin d’avoir le smartphone le plus puissant du marché pour pouvoir en profiter. Quelle différence entre la puissance d’un Galaxy S6 et celle d’un OnePlus X ou d’un Honor 7 ? Sur les benchmarks, la différence est importante, oui, mais en terme d’usage où est-elle la différence ?

nexus benchmarks

Un Nexus 5 avec Android pur est encore un excellent smartphone

Ce qui compte avant tout, c’est l’expérience utilisateur, pour certains le design, pour d’autres la qualité de l’appareil photo, pour d’autres encore l’autonomie ou la qualité de l’écran. Les benchmarks c’est le jeu de celui qui aura la plus grosse, pour justifier des prix exorbitants au passage.

Car finalement, en terme de puissance un smartphone avec un processeur de 2014 est largement suffisant pour la majorité des utilisateurs. Ce qu’il faut avant tout c’est bien cibler ses besoins et choisir son smartphone en conséquence. Les benchmarks, finalement, on s’en fiche.

   Suivez nous sur Facebook   


Vous aimerez peut être


Réagir à cet article

  • Spitfire

    Je ne vous comprends pas, vous mettez des benchs de tout smartphone puis vous dites ca sert a rien ^^’ ?

    • …lel

      Surtout que ce sont les premiers à dire « WOW IL EST TELLEMENT PUISSANT QU’ANTUT S’EST DÉSINSTALLE TOUT SEUL!!!! »

    • Michael

      ça reste des valeurs théorique intéressantes pour les technophiles que nous sommes, mais un bon technophile sait qu’entre la théorie et la pratique il y a des fois un monde, voir plus!

  • job13016

    Parce que les Benchs ne reflètent pas l’expérience utilisateur.

    Ceci dit, ça ne vous empêche pas d’en parler en permanence.
    Ca fait réagir et vous le savez.

    • Shem68

      Tu as tout dit :)

  • Venant de vous, cet articIe est tout simplement hilarant.

  • sachouba

    si nous trouvons tel ou tel produit un peu lent, nous allons vérifier tout cela avec les différentes applications de benchmarks pour confirmer ou infirmer nos impressions.

    « Ouh lala, ce smartphone rame sérieusement…
    […]Test Antutu
    Ah non, il fait 100 000 points sur Antutu, c’est donc mon cerveau qui ne fonctionne pas ! »

    En dehors de cette réflexion bizarre, un benchmark permet à l’utilisateur de savoir combien de temps un smartphone va pouvoir être utilisé avant d’être largué technologiquement.

    Chaque année c’est pareil, on parle de « débauche de puissance », mais 2 ans plus tard, les smartphones moyen de gamme contemporains des haut de gamme sont largués, et seuls les haut de gamme peuvent encore faire tourner les applications gourmandes du Play Store.
    Par exemple, à la sortie des smartphones sous Snapdragon 800/801, on pouvait lire que les smartphones sous Snapdragon 600 étaient largement suffisants pour toutes les utilisations d’un smartphone. Mais aujourd’hui, le codec H.265 se répand petit à petit, et seuls les S800/801 sont encore capables de lire ces vidéos en 1080p (en encore). De même pour les jeux 3D (ou 2D) gourmands, le traitement d’images, la vidéo 4K ou encore l’évolution de la vitesse des réseaux Wi-Fi et 4G (qui larguent les vieux CPU et puces réseau).
    Et je suis certain que dans quelques années, le Galaxy S6, doté de l’Exynos 7420, s’en tirera bien mieux que le LG G4 sous Snapdragon 808 (s’il n’a pas grillé d’ici là…) quand il s’agira d’utiliser des applications gourmandes, bien que ces processeurs soient « largement » suffisants aujourd’hui.

    • Michael

      Oui, mais ça c’était valable avant, quand il y avait des gouffres de performance énorme et que pour avoir un smartphone performant il fallait automatiquement prendre du HDG, maintenant un MDG à 350/400€ est généralement surpuissant déjà …

      Mon z avec son vieux s4 pro « pourri » fait encore tout tourner correctement et galère simplement sur les jeux gourmands, alors le mec avec un s650 peut dormir tranquille niveau perf, il n’aura peut être pas 4000fps en jeu, ou quelques textures moins belle mais il pourra jouer très longtemps à tout les jeux, ce n’est plus un problème comme avant !

    • slayers84

      Un simple moto g fait déjà tourner tranquillement beaucoup de choses alors je pense qu’un 7420 est tranquille longtemps ^^

      • Plumplum

        Je suis complètement d’accord pour les proc milieu de gamme…. Mais le 650/652 avec des cortex A72 en 28nm…
        Il faut se méfier de la puissance sur le papier… Si les performances diminuent de moitié en quelques minutes, ça change tout !
        Si Qualcomm voulait dénigrer les performances des A72 pour vanter celle de ses Kryo, il ne s’y prendrait pas autrement…
        Sauf que voilà, kirin 950 est déjà sorti… Et x20 est pour février… Dans la pratique (=ailleurs que sur geekbench une fois sur deux), je pense que ces A72 seront meilleurs que kryo.

        • Smoosies

          Oui mais il taperont pas dans les 100 000/150 000 points dans antutu, alors comment justifier les 400€ d’écart ?

          Honnêtement j’ai tendance à penser qu’Apple est rentrer dans le jeu ‘kikalaplusgrosse’ en partie pour ça.

          • Plumplum

            Apple est juste opportuniste…
            Quand les benchmarks étaient mauvais avec les puces A5, ils t’expliquaient que l’important c’était l’expérience utilisateur (ils n’ont pas complètement tort, mais c’était au détriment d’un vrai multitâche). Maintenant qu’ils sont bons, ils (les journaux spécialisés iOS) s’en servent.
            Mais de tout de façon, beaucoup d’acheteurs chez apple ne se soucient pas de ça… Bons benchmarks ou mauvais benchmarks, ils auraient acheté.
            D’ailleurs apparemment, les excellents benchmarks de A9 conduisent à des ventes inférieures aux attentes (ceux de A8 étaient déjà excellents il faut dire)

            C’est de bonne guerre, n’importe qui ferait pareil. Et aujourd’hui entre 6 et 6s, comme ils disent dans la pub presque « rien n’a changé », sauf les bench (je pense d’ailleurs que cette pub fait que certains s’interrogent et se demandent pourquoi changer… En plus on leur remet une couche sur siri qu’ils utilisent déjà… Je trouve qu’elle est mal fichue… Tout le monde n’a peut-être pas cette impression)

            Mais même si comme moi, on apprécie pas spécialement la marque à la pomme, eux ne te vendent pas que du benchmarks, ils te vendent des performances conformes et qui ne dégringolent pas au bout de quelques minutes…
            Quand tu as 1.8ghz au départ, tu en as autant au bout de 5 minutes.
            S810 vend du 2.0ghz et au bout de 5 minutes, tu as 960mhz!

            Vu la finesse de gravure, 650/652, c’est potentiellement ce même problème.
            Sur le papier le gouffre avec un Helio P10 est énorme, mais dans la réalité ? Si les A72 se coupent, P10 reprend l’avantage, les A53 à 2.0ghz étant stables

          • Smoosies

            100% d’accord. Hâte de voir la suite avec Mediatek et des très bon futur smartphone qui en découleront.

      • Smoosies

        Mon Moto G 4G 2013 est encore parfait de nos. Et je qui sûr qu’il tiendra plus d’un an encore, pas ml pour un smartphone acheté 150€. Bon j’aurais changé avant juste pour changer car j’aime ça.

        • slayers84

          Pareil j’ai toujours un moto g qui traîne en plus de mon note 4 et il fonctionne du tonnerre et je le trouve même encore plus rapide depuis qu’il est passer à Lollipop

          • Smoosies

            Le mien a CM13 et il se débrouille super bien.

  • Michael

    Effectivement, ça sert pas à grand chose, il y a bien trop de paramètres qui ne sont pas pris en compte pour les bench, mais le pire c’est d’essayer de comparer un bench sous android et sous IOS !

    Parce qu’en plus de la surcouche, de la part de mémoire employée et de l’utilisation du consommateur il faut en plus prendre en compte l’optimisation des applications et des jeux !

    Un jeu peut prendre 300mo de ram en moyenne sur android et en prendre 150 sous IOS, demander plus ou moins de ressource au GPU pour afficher une qualité égale et en plus de ça, un jeu peut être poussé plus loin sur un support ou un autre…

    C’est d’ailleurs pour ça, qu’un galaxy S6 avec un proc et un gpu au top, le tout couronné par un écran 2k de la mort qui tue arrive a se faire littéralement exploser par l’iphone 6 (et son « pauvre » 720p) sur certains jeu)
    Un bench peut pas anticiper ces paramètres, ni plus ni moins!

  • Atlas

    Parce-que l’iPhone éclate tous les autres téléphones, voilà pourquoi.
    C’était tellement important pour vous pendant des années sinon… ridicules.

    • Androphile

      Et c’était tellement peu important pour vous pendant des années aussi … ridicules.

      • Smoosies

        Entendre les Applien dire pendant des années que les benchmarks ne font pas tout, c’est l’optimisation… patati patata …

        Et dès qu’Apple rentre dans la course à la puissance, le formatage du cerveau s’opère en 2 secondes pour rentrer dans la danse. Et le pire c’est que leur premier discours était vrai.

        Mais au fond c’est qu’aujourd’hui on trouve des super téléphones à 200-300 €, donc il faut bien trouver un argument commercial pour vendre plus et plus cher.
        La puissance ça ne sert à rien et le doigt va de là à là… c’est juste de la logique hein!!

        • Atlas

          Ne retournons pas la réalité. Tout le monde dit bien que le premier discours est le vrai, les seuls qui ont changé d’avis sont les fanas du robot vert (oui c’est bien un robot et pas un androïde, le logo ne va pas avec le nom).

          • Smoosies

            Tu en dis des bêtises pour descendre Apple. Depuis quand une marque doit avoir le logo qui correspond à son nom, on va dire ça à Nike ou Adidas tiens…

            Il y a 6 mois on ne lisait pas ce genre de discours et encore moins d’article de comparaison sur la puissance. Depuis l’A9 (qui est très bon ce n’est pas le problème) vous êtes tout fier de sortir des commentaires JAILAPLUSGROSSE. Après ce n’est pas un mal, c’est juste rigolo tout autant que les mecs Android qui le disent… Comme quoi heureusement que les vestes sont réversibles de nos jours.

          • Atlas

            Tu es dans le déni. C’est bien pathétique.

          • Smoosies

            J’ai revendu mon S6 car il me convenait pas et je tourne sur Moto G 4G depuis 2013. J’ai travaillé chez un opérateur et je peux avoir des grosses ristournes sur les smartphones, pourtour mon Moto me convient tant qu’il reste fluide.

            Tu regarderais mes recherches d’infos ce portent sur du Mediatech (message avec Plum-Plum) car leur approche m’intéresse plus que les monstre de puissance d’Apple, Samsung, Huawei et Qualcomm… Et surtout surtout tu ne trouveras aucun commentaire du genre : « Parce-que l’iPhone éclate tous les autres téléphones, voilà pourquoi » et ne pas assumer mon retournement de veste. Ça va arriver t’inquiète pas, en attendant tu peux dénigrer les gens tu en devient encore plus drôle…

          • Atlas

            Tu n’as rien pigé.

          • Smoosies

            Oui voilà excuse bancale. Derrière ton commentaire il y avait sûrement de l’ironie pour te moquer des mec Android, mais j’ai un doute qu’il y est que de l’ironie. Le pro Athlas jamais crédible que je vois faire rire la toile un peu partout, merci pour ça.

          • Atlas

            Cool Raoul.

            Je m’en fout, j’ai des années de commentaires de fandroids qui se touchent sur les bench hihihi

          • Smoosies

            Alors ça fais quoi d’être comme eux au final ?

          • Atlas

            Tu radottes.

          • Smoosies

            Tu t’enfonce mais tu es tellement mignon quand t’es ridicule. Je t’aime bien, jamais crédible et tjrs à te faire descendre tellement tu sors de bêtises, mais tu reste la tête haute. Bon soldat. (Ah oui retient Moto G 150€ loin des benchmark, iPhone 6 800€ et dans la course de kikalaplugrosse cf tes commentaires, oh je redote la véritéah bah non j’ai toute ma raison quoi un mot utilisé hors de son contexte mais non jamais de la part d’Atlas il sait tout il a un iPhone)…. Merci, merci à toi.

          • Atlas

            Et là tu délires.

          • Smoosies

            Bah non je m’amuse, c’est pas le but des bêtises que tu sors ? Désolé, c’est ce que j’avais compris en lisant tes commentaires et les réponses qu’on te fais. Je ne vois pas ce qu’un troll peu attendre de plus.

          • Atlas

            Je suis impressionné par le niveau de mal au cul dans tes commentaires. Ça a vraiment l’air de t’énerver cette histoire de benchmarks.

          • Atlas

            Et le fait que tu radotes autant prouves bien comme tu tenais au benchmarks et que tu as mal au cul maintenant. Vous vous êtes mis dans cette situation tout seuls.

            Enfin l’important est qu’enfin vous disiez que les bench ne valent pas grand chose, mieux vaut tard que jamais.

          • sudden

            Et alors ? Qu’est ce que ça peut te foutre ? T’es pas fana Android alors qu’elle est l’intérêt de venir tailler Android sur un site spécialisé Android ? Tu kiffe passer pour un rageux ou un pur hâters ? Et qu’est ce que cela t’apporte en réalité dans ta vie que de te comporter ainsi ?

          • Atlas

            « Qu’est ce que ça peut te foutre ?  »
            ben rien. C’est juste que je trouve vraiment ridicule que des gens essaient de retourner la situation en révisant l’histoire.

            J’ai toujours dit que ce qui compte c’est l’expérience et pas les benchmarks.

      • Atlas

        MDR mais ça l’est toujours hehe ta tentative de retourner la situation est pathétique. Les seuls qui passent pour des idiots sont bien les fandroids!

        • Androphile

          je ne retourner aucunement la situation, mais c’est le fait d’entendre le terme éclater qui me fait sourire : on dirait un enfant qui se vante pcq son papa est le plus fort.

          • Atlas

            Sur les benchmark qui vous plaisent tant il n’y a pas photo. Tes tentatives d’attaque sont ridicules. Pas la peine de pleurer si c’est vous qui pendant des années avez dit que c’était super important !

          • Androphile

            c’est toi qui est ridicule avec ton attitude juvénile.
            Réponds à ma question, sais tu me dire comment se fait il que le SoC d’Apple est « meilleur » que ses concurrents aujourd’hui ?

          • Atlas

            Pourquoi mettre des guillemets.
            D’après vos propres benchmarks, le A9 est pratiquement toujours le premier.

            A part ça, les A sont très bons en puissance par Watt.

          • Androphile

            Oui c’est un fait qu’il soit toujours le premier et même presque normal.
            La raison à cela est très simple : c’est tout bêtement parceque les concurrents n’ont pas sortis de nouveaux SoC à cette période !

            Habituellement, Samsung et Qualcomm font 2 SoC Haut de gamme dans l’année pour être à niveau face au nouveau Ax d’Apple (un en début d’année et l’autre en Septembre/Octobre), mais ne l’ont pas fait cette année. (exemple chez Qualcomm : S4/S4 Pro, S600/S800, S801/S805, S810/?)

            D’ailleurs, ce fut une mauvaise surprise quand on a appris que le Note 5 et S6 Edge Plus ne se contenterait que du 7420.

            Ils ne l’ont pas fait cette année, peut être pcq ils sous estimés Apple, ou aussi pour ne pas à avoir un SoC trop proche en perf du prochain, si en plus les nouveautés du Galaxy s7 sont minces ….

          • Atlas

            Donc pour toi les bench sont super importants.

          • Androphile

            je ne fais rien de bien méchant avec mon téléphone, voir je ne joue jamais.
            Mais pour moi c’est juste un moyen de mesurer l’écart entre les générations de phone, rien de plus.

          • Atlas

            Donc les bench ne valent pas grand chose pour comparer des téléphones.

          • Androphile

            Si je viens de te dire que c’est un outil de mesure des performances d’une génération à une autre.
            Par exemple, sans Bench difficile de savoir qu’il ya peu de différences entre Galaxy S4 LTE-A et Galaxy S5 (S800 vs S801)

        • sudden

          Lol… non les seuls qui passent pour des idiots sont bien les trollers Android et fanboys apple dans ton genre qui s’acharne a vouloir dévaloriser la concurrence sur leur propre site… Je comprends pas le concept ni l’intérêt que cela peut apporter mais apparemment tu jubile à pratiquer le bashing Android donc je sais très bien lequel de nous deux est un idiot…

          • Atlas

            Peut-être, mais je peux dire du bien d’Android aussi.
            Par exemple je pense que les trois boutons de navigation sont parfaits et resteront ainsi (au niveau fonctionnel) pendant très longtemps. Apple est coincé avec son seul bouton qui prend de la place et donne beaucoup de caractère au telephone.

  • Smartviser

    Les benchmarks sont à lire avec du recul, c’est une réelle base informative pour des clients recherchant certaines caractéristiques d’un smartphone ou tablette.
    Il existe des solutions de test se basant sur l’expérience utilisateur, pou refléter au mieux notre usage quotidien, Les Numériques testent leurs appareils de cette façon d’ailleurs ;)

  • Doc Kingo

    Haha tellement vrai !

  • Doc Kingo

    Bah si, de grande performances sont utiles, par pour le moment, mais pour l’avenir, car moi j’aime pas changer mon smartphone, donc je m’assure d’avoir le meilleur du moment pour qu’il dure au moins 2 ans a faire tourner tout les jeux et apps a venir sans soucis. C’est comme les carte graphique et processeur PC ^^ une 750 gtx peut faire tourner tout les jeux d’aujourd’hui mais je pris une 970gtx pour l’avenir et non pas pour le moment !
    J’avais un S3 aprés en 2013 un Note 3 (qui fait tourner tout les jeux gourmand sans soucis) et 2016 j’ai pris le Note 5!

  • psgced

    Oui enfin à la différence qu’on achète pas juste un smartphone pour ses composants

    D’ailleurs quasiment personne le fait
    Souvent ce sont Des critères complètement subjectif comme le design, l’OS, la marque, la tendance…

  • bibousiq

    Sauf que les benchmarks continueront toujours à avoir du succès pour une simple raison: même s’ils n’en ont ni besoin, ni conscience, il y a beaucoup de personnes qui veulent être sûres d’avoir le smartphone le plus puissant qui soit. Forcément, on veut toujours ce qui se fait de mieux !