Les entreprises peuvent arrêter des projets de chatbots d’intelligence artificielle pour de nombreuses raisons, mais les plus probables peuvent être regroupées en quelques catégories. Premièrement, les entreprises peuvent arrêter les technologies de chatbot si elles agissent d’une manière qui pourrait les mettre mal à l’aise, par exemple en promouvant des discours répréhensibles. Alternativement, les entreprises peuvent arrêter un projet de chatbot s'il commence à démontrer une sensibilité et une capacité qui ne peuvent pas être facilement contrôlées ou qui peuvent constituer une sorte de menace éventuelle pour la santé et la sécurité publiques.
Nous avons ces deux scénarios documentés dans l’histoire récente. L'expérience de Microsoft avec le chatbot Tay a pris fin lorsque Tay a commencé à adopter certaines des pires caractéristiques de ses homologues humains : des commentaires racistes et agressifs et des activités généralement répréhensibles, dont une grande partie a été clairement apprise ou même répétée directement par les utilisateurs.
Dans une étude de cas très différente, une configuration de chatbot lancée par Facebook a été fermée lorsque les scientifiques ont observé deux chatbots communiquer entre eux d'une manière quelque peu exclusive à l'observation humaine. Certains ont affirmé que les entités chatbot avaient commencé à « parler selon une sorte de code » qui leur était plus pratique et moins transparent pour leurs gestionnaires humains. Ceci est un exemple de cette préoccupation très réelle concernant l’intelligence artificielle en général – à mesure que nous faisons de grands progrès dans la progression d’une intelligence artificielle forte, les humains doivent agir pour contenir et contrôler tout exemple de mise en œuvre de l’IA afin de s’assurer qu’ils ne se croisent pas. frontières. Il existe un grand nombre de préoccupations éthiques et de problèmes de sécurité qui doivent être résolus grâce à une intelligence artificielle forte, et c'est l'une des principales raisons pour lesquelles certains chatbots ou autres projets d'intelligence artificielle pourraient à l'avenir être arrêtés par les parties prenantes qui ont construit et les a soutenus à travers un certain processus.