Derrière chaque robot se cache un humain

Pourquoi les employés d'Amazon écoutent parfois les conversations des utilisateurs avec Alexa et ce que cela nous dit sur la technologie qui alimente les appareils intelligents

Amazone

Des centaines d'évaluateurs humains à travers le monde, de la Roumanie au Venezuela, écouter des clips audio enregistrés des haut-parleurs Amazon Echo, généralement à l'insu des propriétaires, Bloomberg rapporté la semaine dernière. Nous savions qu'Alexa écoutait ; maintenant nous savons que quelqu'un d'autre l'est aussi.

Cette équipe d'examen mondiale affine le logiciel d'Amazon Echo en écoutant des clips d'utilisateurs posant des questions à Alexa ou en émettant des commandes, puis en vérifiant si Alexa a répondu de manière appropriée. L'équipe annote également des mots spécifiques avec lesquels l'appareil a du mal lorsqu'il est adressé avec différents accents.

Selon Amazon, les utilisateurs peuvent se retirer du service, mais ils semblent être inscrits automatiquement. Amazon dit que ces enregistrements sont anonymisés, que toute information d'identification est supprimée, et que chacun de ces échanges enregistrés n'a eu lieu qu'après que les utilisateurs se soient engagés avec l'appareil en prononçant le mot de réveil. Mais dans les exemples de Bloomberg Le rapport de - une femme entendue chanter sous la douche, un enfant criant à l'aide - les utilisateurs semblent ignorer l'appareil.

Nous avons des garanties techniques et opérationnelles strictes, et avons une politique de tolérance zéro pour les abus de notre système, a déclaré Amazon dans une déclaration envoyée par courrier électronique à Bloomberg , en notant que seul un très petit échantillon d'enregistrements est annoté.

La révélation nous en dit long sur le fonctionnement réel des appareils intelligents. Les haut-parleurs compatibles Alexa peuvent interpréter la parole et le font, mais Amazon s'appuie sur des conseils humains pour rendre Alexa, enfin, plus humaine, pour aider le logiciel à comprendre différents accents, reconnaître les noms de célébrités et répondre à des commandes plus complexes. C'est le cas de nombreux produits basés sur l'intelligence artificielle. Ce sont des prototypes. Ils ne peuvent qu'approcher leurs fonctions promises tandis que les humains aident à ce que les chercheurs de Harvard ont appelé le paradoxe de l'automatisation le dernier kilomètre. Les progrès de l'IA, écrivent les chercheurs, créent des emplois temporaires tels que le marquage d'images ou l'annotation de clips, même si la technologie est censée supplanter le travail humain. Dans le cas de l'Echo, les travailleurs du concert sont payés pour améliorer son logiciel de reconnaissance vocale, mais ensuite, lorsqu'il sera suffisamment avancé, il sera utilisé pour remplacer l'hôtesse dans le hall d'un hôtel.

Un article de 2016 par des chercheurs de l'Université de Stanford utilisé un système de vision par ordinateur déduire, avec une précision de 88 %, l'affiliation politique de 22 millions de personnes en fonction de la voiture qu'elles conduisent et de l'endroit où elles vivent. Les sondages traditionnels nécessiteraient un personnel complet, un budget conséquent et des mois de travail. Le système a terminé la tâche en deux semaines. Mais d'abord, il devait savoir ce qu'était une voiture. Les chercheurs ont payé des travailleurs via la plate-forme Mechanical Turk d'Amazon pour marquer manuellement des milliers d'images de voitures, afin que le système apprenne à différencier les formes, les styles et les couleurs.

Cela peut être un réveil brutal pour les propriétaires d'Amazon Echo, mais les systèmes d'IA nécessitent d'énormes quantités de données catégorisées, avant, pendant et après le lancement du produit. L'état idéal est une boucle de rétroaction : l'Echo fonctionne correctement, les données vocales des clients sont collectées et utilisées pour améliorer le service, puis de plus en plus de personnes l'achètent à mesure qu'il s'améliore et davantage de données sont collectées, ce qui l'affine davantage. Cela est vrai pour des types très différents de produits d'IA.

Par exemple, les travailleurs humains regarder et marquer manuellement images téléchargées à partir des produits Ring d'Amazon, des caméras de surveillance que les propriétaires peuvent installer sur leurs sonnettes et leurs porches. Facebook IA de modération de contenu s'appuie sur des milliers de personnes à travers le monde qui enseignent aux logiciels ce qui est répréhensible dans différents contextes. Une autre boucle : les humains signalent le contenu, l'IA s'améliore pour le détecter, de plus en plus de personnes utilisent Facebook car cela devient plus sûr et l'IA devient plus intelligente à mesure que plus de contenu est signalé. Dans tous les cas, la Silicon Valley voudrait nous faire croire que l'IA est suffisamment intelligente pour remplacer les humains, alors qu'en réalité elle ne fonctionne qu'en raison du rôle du travail humain caché dans la création et le maintien de ces boucles. L'IA est toujours une collaboration homme-machine. Il peut accomplir des exploits incroyables, mais rarement seul.

Astra Taylor, scénariste et réalisatrice de documentaires qui étudie ce qu'elle appelle la mascarade de l'automatisation, note que les entreprises ont tout intérêt à masquer le rôle des humains dans le dernier kilomètre de l'automatisation. Si la « friction » consiste en fait à savoir qu'il s'agit d'un être humain de l'autre côté de votre haut-parleur intelligent, dit-elle, alors c'est un malaise auquel nous devons faire face.

le Bloomberg Le rapport présentait également un récit déchirant de l'équipe mondiale d'Amazon ayant entendu ce qui aurait pu être une agression sexuelle ou une rencontre violente. Les travailleurs ont signalé à Bloomberg que les supérieurs d'Amazon leur ont dit d'ignorer les sons et de ne pas déposer de rapport de police. (Lorsqu'il a été contacté pour commenter, Amazon a fait référence L'Atlantique aux déclarations mettant l'accent sur le cryptage et la sécurité de son stockage en nuage.) Taylor note qu'il s'agit d'un autre des paradoxes de l'automatisation : pour rendre les machines plus intelligentes, les humains qui les entraînent doivent agir de manière plus stupide.

Ce qui est si tragique dans cette pièce, c'est qu'elle oblige aussi les humains à être moins intelligents, moins empathiques, dit-elle. Ils doivent être entraînés essentiellement à dire : « Oh, ce n'est pas pertinent. Je vais être moins humain, moins affecté par ça.

Taylor soutient que cacher le travail humain signifie que les gens agissent davantage comme des machines, sans éthique personnelle ni empathie. Dans un cas plus extrême, obscurcir les humains signifie supprimer complètement le choix. En février, L'interception a signalé que Google avait passé un contrat avec le ministère de la Défense pour augmenter les drones du gouvernement systèmes de vision par ordinateur, outrageant les employés. Les drones équipés de systèmes de vision par ordinateur sont capables de voir leurs cibles, mais ils ont encore besoin de raffinement et de précision. Google a donc engagé des centaines de travailleurs humains pour marquer manuellement les éléments et aider à créer son ensemble de données. Selon L'interception rapport, ils n'avaient aucune idée de l'utilisation de leur travail.

Les humains font partie de ce qui fait fonctionner tout système d'IA, et ils apportent avec eux tout leur bagage humain stupide : problèmes de confidentialité et d'écoute, biais potentiels, préférences et jugements individuels. Cela ne sert pas toujours l'intérêt de rendre la société sans friction, intelligente ou pratique. Mais cacher leur rôle – essentiellement essayer de rendre les systèmes homme-machine qui conçoivent l'IA moins humains – ne sert que la fiction de la Silicon Valley selon laquelle l'IA est puissante, rationnelle et impénétrable ; la même fiction que l'industrie raconte d'elle-même. Exposer le travail humain de la technologie de pointe révèle les deux.