Astell Kern SP1000 CU, SS ou Onyx? That’s the question

[Kooka]

A propos de l'utilité des tests comparatifs en aveugle (histoire de "rassurer" Popof94 sur le sens de sa démarche) :

http://hc.nextgeneration.free.fr/electr ... heorie.htm

Un mot sur les tests comparatifs

Fin 2000 un test comparatif a été réalisé à Berlin avec 300 étudiants amateurs de Hi-Fi dont un grand nombre venait du conservatoire de musique.

Lors du test en aveugle les réponses se sont réparties de façon aléatoire et aucune différence réelle n'a été mise en évidence lors de la comparaison de câble de HP ou de modulation.

Par contre, dans le test où l'on montrait les câbles que l'on branchait sur des prises factices qui ne servaient pas à la reproduction musicale, un pourcentage important d'auditeurs a entendu des différences !

Il faut croire que certains n'entendent que ce qu'ils voient, d'autre n'entendent que ce qui a coûté cher.

[Popof94]

Interessant

[ZeDuK]

On connait le protocole du test berlinois ?
Sérieux, ça tourne un peu en boucle ici.

[Kooka]

En boucle ? Non...

Tout le monde est finalement d'accord sur le fait de pérenniser ce test et Dave a récemment proposé un super protocole "qui déchire"

Reste à trouver une version Cu si j'ai bien tout suivi, Popof94 ayant le reste :

Testeurs c’est tout bon, c’est le matériel qui pose problème.
Qui connaît quelqu’un sur Paris ou région parisienne qui aurait un cu et serait intéressé de participer?

Ça avance bien !!

[DaveStarWalker]

Je pense que cela peut-être intéressant, même si cela n'est pas la panacée non plus.

Ceci dit, le postulat (ou le contre-postulat plutôt, si l'on part du principe que les 2 ou 3 dap sonnent tous pareil) de départ est couillu

[Kooka]

Je ne pense pas qu'il y ait de panacée en la matière. Juste des solutions "moins pires" que d'autres, plus acceptables, tout au mieux...

[lordtaylor]

Sinon vous pouvez gagner du temps : il n'y a pas de différences assez significatives pour être décelées à l'aveugle mais celui que chacun trouve le plus beau sonnera mieux que les autres lorsque que l'auditeur le regarde en l'écoutant. Psycho acoustique mon amour. plaisanterie à part. C'est une très bonne initiative ces histoires de tests abx. Même si à la fin on verra juste que c'est trois bons appareils et que ce test n'a pas vraiment d'intérêt important ... Je préférerai sp1000 vs un dap à 200 euros... Bon courage les amis.

[MrLocoLuciano]

À l'aveugle, pas ABX...

[lordtaylor]

Ahh j'ai pas tout lu... Alors à l'aveugle ça vaut pas trop le coup je préfère vous le dire surtout si tout le monde se connait. J'ai déjà fait de l'abx en double aveugle et de l'aveugle sans abx . Les tests en double aveugle abx sont toujours scientifiquement plus efficaces et retenus comme étant les meilleurs en acoustique pour accuser d'une différence ou d'une amélioration (les deux sont corrélés dans l'abx).

[Kooka]

Si à l'occasion tu peux aussi faire un comparatif entre les différents FW d'un même DAP, comme pour le Sony NW-WM1Z.
Je veux monter sur Paris pour faire le cobaye...

(je n'ai pas spécialement d'avis sur le sujet, mais j'aimerai bien "savoir", donc voilà, je propose !)

[Murl0c]

J'ai bien peur que ce test ne se réalise pas à cause des échauffements (prévisibles) qu'il y a eu sur ce topic.
Ce phénomène s'est produit a de nombreuses reprises sur d'autres forums audiophiles, et les tests ont été annulés pour les mêmes raisons (pression/ras le bol des volontaires).

Je pense qu'il est préférable de ne pas demander l'avis à la communauté, d'effectuer l'essai, de le publier, puis d'éventuellement tirer partie de certaines remarques / critiques pertinentes, pour les prochaines fois.

C'est d'ailleurs ce que Popof et ses invités font d'habitude, et le résultat, les CRs, est infiniment plus riche pour le forum que ces débats qui n'en finissent plus sur le protocole.

[Kooka]

A propos des questions sur la "méthode" : Recommandation UIT-R BS.1116-3 (02/2015) Méthodes d'évaluation subjective des dégradations faibles dans les systèmes audio https://www.itu.int/dms_pubrec/itu-r/re ... !PDF-F.pdf

Domaine d'application
La présente Recommandation est destinée à être utilisée pour évaluer des systèmes qui introduisent des dégradations si infimes qu'elles ne sont pas décelables sans contrôle rigoureux des conditions d'expérimentation et sans analyse statistique appropriée. Si elle était appliquée à des systèmes qui introduisent des dégradations relativement importantes et aisément décelables, elle entraînerait une dépense excessive de temps et d'effort et pourrait donner des résultats moins fiables que ceux obtenus avec un essai plus simple. La présente Recommandation constitue la référence de base pour les autres Recommandations, qui, elles, peuvent introduire des conditions particulières supplémentaires ou des spécifications plus souples que celles définies dans la présente Recommandation.

[...]

Il faut définir et organiser avec soin les expériences pour assurer qu'aucun facteur non contrôlé n'affecte les essais d'écoute, ce qui créerait des ambiguïtés. Si, par exemple, la séquence d'éléments sonores utilisée est la même pour tous les participants à un essai d'écoute, on ne peut avoir la certitude que les jugements qu'ils ont portés ne tiennent pas davantage à la séquence qu'aux divers niveaux de dégradation présentés. Il faut donc que les conditions d'essai soient telles qu'elles ne fassent apparaître que les effets des facteurs indépendants.
Au cas où il serait probable que les dégradations éventuelles et d'autres caractéristiques soient distribuées de façon homogène tout au long de l'essai d'écoute, il faudrait que la présentation des conditions d'essai soit rendue tout à fait aléatoire.
S'il peut y avoir non-homogénéité, il faudra en tenir compte dans la façon de présenter les conditions d'essai. Par exemple, si les éléments à évaluer sont de difficulté variable, il faudra présenter les stimulus dans un ordre aléatoire, au cours d'une séance ou d'une séance à l'autre.
De même, on organisera les essais d'écoute de façon que les participants ne soient pas fatigués au point que leurs appréciations soient moins précises. Sauf si la correspondance entre son et image est importante, il est préférable que l'évaluation des systèmes audio s'effectue sans les images associées.
Il est très important d'inclure des contrôles appropriés. Il s'agit généralement d'insérer des éléments audio non dégradés sans que les participants puissent les déceler. Les différences entre l'appréciation de ces stimulus de contrôle et de ceux qui peuvent être dégradés permettent de conclure que les notes sont bien des évaluations des dégradations.
On reviendra par la suite sur ces considérations. Il ne faut pas oublier que la conception et la réalisation des expériences mais aussi l'analyse statistique sont des questions complexes et qu'une Recommandation comme celle-ci ne saurait donner que des directives très générales. Il est recommandé de faire appel à des spécialistes de la conception des expériences et des statistiques avant de commencer à organiser des essais

[...]

4 Méthode d'essai
Pour effectuer des évaluations subjectives dans le cas de systèmes qui présentent de faibles dégradations, il faut choisir une méthode appropriée. On estime que la méthode de «doublement aveugle à triple stimulus et référence dissimulée» est particulièrement sensible, stable et permet de détecter avec précision les faibles dégradations. Il faudra donc l'utiliser pour ce type d'essai.
Sous la forme préférée et la plus sensible de cette méthode, il n'y a qu'un participant à la fois et il est libre de choisir un stimulus parmi trois («A», «B», «C»). La référence connue est toujours présente comme stimulus «A». La référence dissimulée et l'objet de l'essai sont disponibles simultanément mais sont attribués au hasard des essais aux stimulus «B» et «C».
Le participant est prié d'évaluer la dégradation de «B» comparé à «A» et de «C» comparé à «A» selon l'échelle continue de dégradation à 5 notes. L'un des stimulus, «B» ou «C», ne devrait pas se distinguer du stimulus «A»; l'autre peut présenter une dégradation. Toute différence décelée entre la référence et les autres stimulus doit être interprétée comme une dégradation.
Dans cette méthode préférée, dès que le participant a fini de noter l'essai, il doit être possible de passer à l'essai suivant. On peut répéter l'extrait jusqu'à ce que le participant ait fourni son évaluation. C'est donc lui qui définit le rythme de la procédure d'essai.

[...]


4.2 Phase de notation
Au début de la première séance réelle de notation de la journée, il faut présenter oralement à chaque participant les instructions pour les essais, complétés de préférence par des documents écrits. On peut effectuer à titre d'exemple plusieurs comparaisons juste avant le début des présentations pour la notation.
Comme la mémoire auditive à long et moyen terme n'est pas fiable, la procédure d'essai ne devra faire appel qu'à la mémoire à court terme. On y parvient au mieux avec une méthode de commutation quasi instantanée (voir la Note 1) associée au système à triple stimulus que décrit la Pièce jointe 3. Ce type de commutation exige une coordination temporelle très précise des stimulus.
NOTE 1 – Une commutation rigoureusement instantanée peut créer des défauts si les signaux des stimulus successifs ne sont pas les mêmes. On préférera une commutation quasi instantanée avec, par exemple, un délai de 40 ms en cas de disparition/changement/réapparition.
Dans les évaluations les plus critiques, un seul participant intervient à la fois. Ce n'est qu'ainsi qu'il peut, en toute liberté, passer d'un stimulus à l'autre dans la méthode à trois stimulus. Il est essentiel qu'il ait cette faculté pour explorer librement toutes les comparaisons entre les stimulus de chaque essai.
Il est préférable qu'il puisse effectuer les commutations entre stimuli sans information visuelle, les yeux fermés s'il le veut, pour mieux se concentrer et être moins distrait. Il ne faut pas que la commutation introduise le moindre bruit parasite (comme des «clics»), car ce genre de parasite risque de perturber gravement le processus d'évaluation.
Une séance de notation ne devrait pas durer plus de 20 à 30 min mais si, comme cela a été préconisé, le rythme des essais est laissé à la discrétion des participants, la durée variera de façon arbitraire de l'un à l'autre. D'après l'expérience acquise, il semble qu'il ne faut pas prévoir plus de 10 à 15 essais par séance pour obtenir la durée voulue. La fatigue des participants est de nature à affecter sérieusement la validité des jugements portés. Pour l'éviter, il sera prévu pour chaque participant et entre les séances successives, un repos de durée égale ou inférieure à celle de la séance.

Je pense que ce document de l'Union Internationale des Communications peut être un point de départ intéressant pour être le plus rigoureux possible dans les essais.

PS : il existe aussi Méthode d'évaluation subjective du niveau de qualité intermédiaire des systèmes audio https://www.itu.int/dms_pubrec/itu-r/re ... !PDF-F.pdf tout aussi intéressant...

[Kooka]

Désolé, je double-post pour un autre document intéressant sur le sujet : Élaboration d'une méthode de test pour l'évaluation subjective de la qualité des sons spatialisés http://sylvain-marchand.info/Publicatio ... gousse.pdf

Résumé
Aujourd’hui, les technologies de captation et de restitution sonore se développent dans le but de diffuser des scènes avec un rendu spatialisé. Avant leur diffusion, les extraits so- nores peuvent être évalués en terme de qualité par des méthodes recommandées par l’Union Internationale des Télécommunications (évaluation des codecs de compression, procédés de prise ou restitution sonore...). Cependant, ces standards d’évaluation montrent certaines faiblesses notamment en ce qui concerne les attributs de qualité à évaluer. La dimension spatiale n’est pas prise en compte spécifiquement. Dans ce travail, une méthodologie dé- diée à l’évaluation de la qualité de l’audio spatialisé est mise en place notamment pour répondre aux biais identifiés. De par l’utilisation d’une catégorisation libre et d’une analyse multidimensionnelle, vingt huit attributs ont été catégorisés en trois familles d’attributs : le Timbre, l’Espace et les Défauts. Ces trois attributs généraux ont été inclus dans un test d’écoute. Celui-ci se déroule en deux phases : l’évaluation de la qualité globale suivie de l’évaluation des trois attributs simultanément sur une même interface. Les tests sont réalisés sans référence explicite, le fichier original constitue une référence cachée. De plus, trois signaux audio, dit ancrages, spécifiques à chacun des trois attributs ont été définis puis superposés pour définir un ancrage unique triplement dégradé. La méthode a été testée à la fois sur un système de restitution au casque avec des contenus binauraux mais également sur un système multicanal 5.1. L’évaluation de stimuli de qualité intermédiaire est préconisée ainsi que des contenus présentant un effet spatial prononcé. L’évaluation multicritère a montré son intérêt dans certaines conditions et permet ainsi d’identifier les caractéristiques qui sont dégradées. Les attributs Défauts et Timbre ont montré un poids influant sur la qualité globale tandis que le poids de l’attribut Espace est plus discutable.

Morceau choisi :

Les attributs hédoniques (plaisant, gênant...) font référence aux préférences d’une personne, à ce qu’elle aime ou n’aime pas (Bech, 1999). Les jugements hédoniques sont connus pour biaiser les tests d’écoute (Zielinski, 2006). Pour une meilleure évaluation d’extraits sonores, il faut être le plus objectif possible dans sa subjectivité. Si un auditeur a une préférence pour un extrait sonore, il ne doit pas pour autant l’évaluer systématiquement supérieur aux autres.

Les définitions des attributs portent à confusion et elles ne sont pas toujours identiques selon les études (Le Bagousse et al., 2010). Par exemple, la définition de richesse par Koivuniemi et Zacharov (2001) est “the homogeneity of the timbre” et Lorho (2005a) décrit la richesse comme une “combination of harmonics and dynamics perceived in a sample”. Cela peut donc engendrer des biais lors de tests d’évaluation. Cheminée et Dubois (2009) ont procédé à une analyse linguistique au sujet du vocabulaire utilisé sur la manière dont les pianistes parlent des sons de pianos. Il semble que les pianistes aient un vocabulaire commun. Cependant les adjectifs n’ont pas le même sens chez eux et dans un dictionnaire, parfois ils ne sont pas recensés, même s’ils paraissent compréhensibles comme par exemple le terme percussif. Ils ont souligné également que l’emploi du terme clair est différent selon le contexte. Il peut signifier : défini, sec/dur ou lumineux. Choisel et Wickelmaier (2007) ont défini la clarté ainsi : “plus le son est clair, plus il est possible de percevoir les détails de celui-ci”. Pour Lorho (2005a), la clarté décrit “si le son parait clair ou sourd”. Les définitions peuvent sembler similaires mais peuvent être interprétées différemment par les sujets. De plus, il est impossible d’inclure tous ces attributs (tableau II.1) dans un test d’évaluation de la qualité. Le test durerait trop longtemps et la complexité pour les testeurs serait trop importante. La définition de catégories plus générales mais représentant, chacune, un axe perceptif à part entière permettrait de répondre à ces problèmes.

Je recommande particulièrement la lecture du chapitre II - Les attributs de qualité, à partir de la page 33.

[DaveStarWalker]

A part les 3 phrases et demi surlignées en gras, on fait quoi par rapport au... reste ?



Et donc moi je proposerai un protocole trop compliqué ?



Bon allez hop, citation n°2 de ma signature (de moi, sorry )

"Avec les câbles et autres étrangetés audiophiles : si certaines personnes ici se sentent l'âme de (vrais) scientifiques ; qu'elles investissent des milliers d'euros dans divers matériels de mesures et infrastructures, et consacrent 40 ans de leur vie à mener les études qu'elles estiment enfin sérieuses sur ces questions (financé par le CNRS, sinon "on" dira que c'est de la recherche privée commercialement orientée... ) ; et l'on aura alors - peut-être - un début de réponse "

A vous de jouer Houston !!

[Kooka]

A part les 3 phrases et demi surlignées en gras, on fait quoi par rapport au... reste ?

On le lit, en entier, je l'ai fait. Mais c'est long...

J'ai proposé quelques passages "clés" de ma lecture, j'invite qui le souhaite à tout lire pour se faire son propre avis sur ces parutions scientifiques (par exemple le second : c'est une Thèse de Doctorat).