Benchmarking de quelques QR code arts
Alors que plusieurs artistes vont présenter des QR codes originaux à Vannes ce week-end du 10 et 11 juin, je me suis livré à un petit exercice de comparaison de décodage de ces codes originaux par 14 décodeurs (7 sur iPhone 3GS, et 7 sous Android 2.1). Comme je l’explique dans un des commentaires du billet de QR dress code qui nous informe de ce Gala, plusieurs de ces codes ne respectent pas suffisamment la norme QR code pour être correctement décodés. C’est le cas notamment quand le module noir entouré d’une bande noire dans le secteur sud-est (quand les 3 grands carrés de calage sont en haut et à gauche) n’est pas correctement visible. C’est en effet lui qui permet en théorie de calculer le degré de déformation (anamorphisme notamment) du code.
Voici les résultats (les noms des images sont donnés plus bas). Les conditions du benchmarking ont été les suivantes : même éclairage direct pour tout le monde, chaque code est présenté au moins 10 secondes au scan.
Le nombre de réussite par décodeur (ou pour une image donnée) est indiqué en bas de colonne (respectivement en bout de ligne), suivi du pourcentage de réussite.
Je m’attendais à un meilleur résultat de la part des lecteurs de type flashcode, qui m’ont souvent étonné par leur rapidité. J’ai été très agréablement surpris par le lecteur de myelefant. Il est intéressant de comparer les résultats similaires de certains lecteurs, qui doivent partager le même moteur… Noter à ce sujet que je suis l’auteur du lecteur initial de bookbeo sous android (pas la prochaine), qui partage la même bibliothèque logicielle QR code que barcode scanner. Pourquoi un des codes Boidron n’est pas repéré par ma propre version, je n’en sais rien !
Bien sûr, il est toujours possible d’avoir d’autres résultats (moins bons ou meilleurs) dans d’autres conditions. Je peux certifier que mes conditions ont été identiques pour ces 182 tests, et que j’ai testé tous ces lecteurs sur des QR codes normaux pour référence (au cas où).
identite-visuelle-BTC-qr-code
img_01
MORPH01
novella-qr-code-collaboratif-2
qr_boidron_com_bouteille
qr_fleur_boidron
qrcode-BTC1
qrcode-btc2
qrcode-btc4
qr-code-QR1337-img_1604
qr-code-QR1337-img_1605
qr-code-set-vannes-expo
voilier-DCNS-QR
Super ton billet et très utile. Peut-être pourrait-il être complété avec i-nigma et QRafter sur ton iPhone. Merci pour ce travail. Je te fais suivre les tests sur HTC Sense Android2.3 et BB9800
Bonsoir, test très intéressant, « tomber » sur un QR code design qui ne peut être scanné est toujours pénible… je me demande toujours ce qu’un utilisateur pas forcément très au fait de la technologie QR code va penser, a priori « le QR code… ça ne marche pas ». Peu vont à mon avis penser « je vais chercher une autre appli pour voir ».
Les mauvaises expériences (QR code qui ne peut être scanné, site non mobile…) ne sont pas bénéfiques pour l’adoption des QR codes par le plus grand nombre.
Cependant votre test me semble présenter quelques défauts :
- tel que présenté ici, il n’est pas reproductible.
Les conditions, par exemple support et éclairage, peuvent jouer sur la qualité de lecture.
- il existe une variabilité pour les android : liée au modèle du téléphone (les caractéristiques techniques des caméras) Le test avec un iphone 3g aurait donné, à mon avis, des résultats différents d’avec le 3gs
- il faudrait réaliser le même test plusieurs fois (plus de 20 chacun) pour voir s’il n’existe pas de variabilité.
- Le temps 10 secondes me pose problème. Les applications de lecture ont un temps de réaction différent, qui ne joue pas au final sur la capacité de lecture. Les 10 secondes seront parfois courtes pour BarcodeScanner par exemple. Ce lecteur est très complet (WIFI, EVENTS…), pas intrusif (pas de renvoi vers un serveur pour des fins « statistiques ») mais il est un peu lent. Pour lui, les 10 secondes c’est un peu court à mon avis.
Je ne pense pas qu’il existe de personnalisation idéale, qui satisfasse toutes les applications de lecture (avec toutes les combinaisons OS/caméra possibles).
Si l’on souhaite une parfaite lecture il faut peu (ou pas) de modification du QR code.
Lorsque je réalise des personnalisations, je teste (évidemment) avec plusieurs applications : BarcodeScanner (si le résultat est trop lent, j’essaie d’améliorer) Neoreader, Mobiletag (dont les versions donnent des résultats TRES différents), Quickmark et i-nigma.
i-nigma me semble d’ailleurs le grand absent de votre test. Cette application est très souvent très performante pour les QR codes design (et elle est souvent conseillée par les designers…) disponible pour iphone, android et de nombreux modèles…
Il faudrait certainement tester les QR codes avec un logiciel (des services le propose aussi) qui permet de connaître la perte de données engendrée par la personnalisation …
En conclusion je pense qu’il n’existe pas de test parfait (il faut essayer avec un maximum d’applications si possible avec plusieurs types de téléphones, dont un blackberry qui « coince » assez facilement – caméra ? ) car il est impossible de connaître les conditions de lecture par l’utilisateur final :
- quelles sont les caractéristiques de son téléphone ?
- quelle application va-t-il utiliser ?
- est-il patient ?
- conditions d’éclairages ?
- etc.
Après avoir pris un maximum de précautions reste au final le choix : prendre le risque que certains utilisateurs ne puissent scanner le QR code ou pas ?
Autre remarque sur votre choix de QR codes :
- le QR code collaboratif fonctionnait IRL , la photo doit jouer. (c’est d’ailleurs peut-être le cas pour d’autres la différence écran/papier pourrait avoir une influence)
- le btc-2 c’est lequel que vous scannez ??
- pour le boidron… un tout petit rien le fait marcher (avec BarcodeScanner) … le « quatrième carré » (comme vous l’expliquez… trop souvent martyrisé) Avec un rond légèrement plus grand cela fonctionne…
En tout cas, bravo pour la patience, j’ai toujours en tête le test des applications du point de vue du support des fonctionnalités… mais je n’ai pas encore trouvé le temps (et le courage…)
Pascal @eQRoeil
Merci pour vos commentaires.
Oui, pour i-nigma, je l’ai, mais il ne doit pas être au même endroit que mes autres applis, et je l’ai oublié du coup. L’idée du test était surtout de montrer que ces tests sont nécessaires, et bien sûr normalement on en fait plus (mais sur moins de codes à la fois). Pascal, vos remarques sont toutes très justes.
10 secondes : c’est déjà beaucoup pour quelqu’un qui n’aurait pas l’habitude de patienter. C’est vrai que barcode scanner nécessite parfois un peu plus de temps (vu tout ce qu’il fait en arrière-plan). J’ai d’ailleurs laissé dans ma version du lecteur bookbeo la visualisation des points de recherche, qui montre qu’il est en train de se passer quelque chose.
Conditions de test : mon éclairage était celui d’une pièce normale. Ce n’était pas un éclairage extérieur, et effectivement pour le code collaboratif cela doit marcher en IRL. Le truc c’est que si cela ne marche pas à l’écran, ceux qui testent sur écran sont déçus. Il suffit souvent de retoucher les contrastes de la photo pour s’en sortir.
J’ai également fait des tests avec des logiciels en ligne, mais soit ils ne marchaient pas, soit ils ne décodaient pas. C’est à revoir. J’ai également des bibliothèques de décodage sur une machine linux, mais je ne les ai pas utilisés ici.
Tout à fait OK pour le commentaire de variabilité android. D’ailleurs, le code source de ZXing en fait mention.
Pour le btc-2, j’ai oublié d’expliquer le choix que j’ai fait : je scannais tous les codes et laissait le décodeur m’en présenter un. Normalement c’est ce que doit faire le décodeur en présence de plusieurs codes.
Je suis bien d’accord que certains codes pourraient mieux marcher avec une toute petite modification. Le btc-4 pourrait certainement avoir de meilleurs résultats avec une garde plus importante sur le côté droit, et un alignment pattern plus visible.
Ce benchmark (qui m’a juste pris une grosse heure pour les 400 tests environ effectués (182 combinaisons code/décodeur plus des tests de contrôle ; en moyenne chaque présentation de code a été faite 2 fois, au cas où, donc faut multiplier les actions par 2)), peut lui même être benchmarké ! Autrement dit, que d’autres fassent de même sur la même base de codes, cela pourrait être intéressant.
Bonjour et Bravo pour vos recherches
Je tenais à préciser que les exemples présents sur votre page de BTC (BTC1, BTC2 et BTC4), n’avaient qu’un sens artiste et qu’ils n’étaient nullement destinés à un usage grand public(visible uniquement sur la page FB de Culture QR. Espace librement artistique d’Hervé)
D’ailleurs Hervé le dit bien :
Pas sur qu’il soit flashable avec tous les lecteurs du marché, mais c’est pas forcément le but de cet espace » Culture QR »
Merci et bon QR
Thank you,
This is very helpful feedback. I spend a lot of time testing my codes and artwork on several readers, so it was nice to hera see that the readers that I was weak on are ones I have not heard of or used.
There is an interesting question here I ask. 2 actually.
1. Should readers that function not as well, be upgraded?
2. What is the intention of the artist ?
and
3. If some of the better readers evolved to be better then then the standard, what new standard should we adapt. Since I cannot control what reader someone has, how much of it is my responsibility to work at the lowest common denominator vs. that person learning about standards and getting a better app.
Again, great article. Thank you for including some of my work in this piece.
Patrick Donnelly, QrArts
Intéressant…
Il y a encore un peu de marge pour toucher la perfection.
Merci pour votre travail.
Benoit
Bonjour,
pourquoi Qrafter, un des meilleurs lecteurs de QR Code n’est-il pas testé??
Merci,
Gilles
Parce que je ne l’avais pas sur mes mobiles quand j’ai fait ces tests. J’ai prévu une autre séance de tests sur ce même ensemble de codes, ainsi que d’autres tests à publier.
Bonjour, oublier i-nigma et qrafter dans ce test, c’est vraiment dommage.
Les deux étant reconnu comme les plus efficaces (cf qrdresscode).
Pour le test sur le QRcode de la novela, ce n’est pas sur cette photo, ni sur un ecran qui fallait scanner le code. Il fallait être présent physiquement pour scanner ce QR ….un grand moment. En réduisant ces 2 m2 des pixels a un pauvre jpeg tu risques de rendre ton test « peu intelligent ». Cette oeuvre participative était bien lisible (IRL) une fois terminée. Une vraie expérience a vivre avec son mobile pour plus de 250 participants, qui découvraient pour la plupart d’entre eux les QRcodes.
En tout cas bravo pour toutes vos recherches.
Jack
Jack, ce que j’ai surtout voulu faire, c’est montrer que 1) certains QR code arts passent mal parce qu’ils vont au-delà de la norme, et 2) éveiller ceux qui créent des codes, ou leurs clients, à la nécessité de faire des tests. C’est un test (qui a ses limites, comme tous les benchmarks, et je sais de quoi je parle, car du benchmark de services télécoms j’en ai fait un paquet) qui pourrait être celui de quelqu’un ayant quelques applis sous la main et voulant voir de quoi retourne ces codes, après avoir découvert le billet de qrdresscode.
Bien sûr que le QR code novela était visible en grand, et sûrement avec un autre éclairage que celui d’un écran. Dans ce cas précis, il faudrait publier une photo avec des contrastes retravaillés. Je pense que le défaut vient du coup de flash qui se reflète dans une partie du code. Qu’aucun décodeur ne s’en sorte est bien la preuve que la photo pourrait être retravaillée pour que l’on puisse flasher ce code du web aussi (et peut-être même sur la reproduction photographique IRL).
L’essentiel, dans tout ça, est de publier des benchmarks. Et comme je le disais dans un précédent commentaire, je compte en publier un autre avec d’autres décodeurs, dont i-nigma et qrafter. Notez cependant que, la plupart du temps, les décodeurs proposés sont ceux fondés sur flashcode. On peut supposer qu’ils sont très répandus aujourd’hui. Au tout début, c’était surtout quickmark, et ma (probablement vieille) version de quickmark lite a eu du mal à s’en sortir. S’il existe quelque part une étude donnant les stats d’installation et d’utilisation des décodeurs 2D, je suis preneur. Je ne l’ai pas encore trouvée. Je voudrais la faire, mais ça coûte pas mal d’argent à monter, si on veut faire cela sérieusement.
Bonjour
Pour tester le QR NOVELA
http://www.flickr.com/photos/qriouscode/5573326659/in/set-72157626254478081
Jack
Leave your response!
Twitter: AymericPM
Mots-clefs
Archives
Derniers billets
Derniers commentaires
Twitter: AymericPM
Rubriques