Certaines des entreprises travaillant sur les dernières avancées en matière d'intelligence artificielle se concentrent désormais sur la quantification des progrès qu'elles ont réalisés et sur l'analyse comparative de certains aspects de l'évolution de l'intelligence artificielle au fil du temps. Il existe de nombreuses raisons pour lesquelles les entreprises effectuent ce type d’analyse. En général, ils tentent de comprendre jusqu’où l’intelligence artificielle a évolué, comment elle s’applique à nos vies et comment elle affectera les marchés.
Certaines entreprises réfléchissent et surveillent leurs progrès en matière d’intelligence artificielle pour déterminer comment les nouvelles technologies peuvent affecter les libertés civiles ou comment elles pourraient créer de nouvelles réalités économiques. Selon l'approche de l'entreprise, ces types d'analyse peuvent consister à tenter de comprendre comment les données des utilisateurs peuvent circuler à travers les systèmes, à comprendre comment les interfaces fonctionneront ou à déterminer les capacités dont disposent les entités d'intelligence artificielle et comment elles pourraient utiliser ces capacités.
En ce qui concerne les méthodes, les entreprises qui tentent d'évaluer l'intelligence artificielle peuvent se concentrer sur la décomposition d'informations abstraites – par exemple, un article de Wired cite le projet AI Index, dans lequel travaillent des chercheurs comme Ray Perrault, qui travaille au laboratoire à but non lucratif SRI International. sur un aperçu détaillé de ce qui se passe dans le domaine de l'intelligence artificielle.
«C'est quelque chose qui doit être fait, en partie parce qu'il y a tellement de folie autour de l'avenir de l'IA», déclare Perrault dans l'article, commentant la motivation pour entreprendre ce type de projet.
En expliquant le fonctionnement de l’analyse comparative de l’intelligence artificielle, certains experts expliquent que les ingénieurs ou d’autres parties pourraient tenter de procéder à des « tests approfondis » pour les projets d’intelligence artificielle, par exemple en essayant de « tromper » ou de « vaincre » les systèmes d’intelligence artificielle. Ce type de description va vraiment au cœur de la manière dont les entreprises peuvent véritablement surveiller et évaluer l’intelligence artificielle. Une façon d’y réfléchir est d’appliquer les mêmes types d’idées que celles que les programmeurs utilisaient autrefois pour déboguer les systèmes de code linéaire.
Le débogage des systèmes de code linéaire consistait à trouver les endroits où le système fonctionnerait bien – où un programme planterait, où il se bloquerait, où il fonctionnerait lentement, etc. Il s'agissait de trouver où les erreurs logiques arrêteraient ou perturberaient un projet, où une fonction ne fonctionnerait pas correctement ou où il pourrait y avoir un événement utilisateur involontaire.
Quand on y pense, les tests modernes de l’intelligence artificielle peuvent être une entreprise similaire sur un plan très différent – parce que les technologies de l’intelligence artificielle sont plus cognitives que linéaires, que les tests prennent une forme très différente, mais les humains sont toujours à la recherche des « bugs ». » – les façons dont ces programmes peuvent avoir des conséquences inattendues, les façons dont ils peuvent agir et nuire aux institutions humaines, etc. Dans cet esprit, bien qu'il existe de nombreuses méthodes divergentes pour créer un indicateur de vitesse ou une référence pour les progrès de l'intelligence artificielle, les types de Les tests rigoureux décrits ci-dessus donneront généralement aux humains un aperçu unique du chemin parcouru par l’intelligence artificielle et de ce qui doit être fait pour qu’elle continue à fournir plus de points positifs sans développer plus de points négatifs.