동일한 도구는 이미 권력이 존재하는 곳에 권력을 더욱 집중시키기도 할 것이다. 예를 들어 자율 무기는 정부가 인간의 결정 과정 없이도 치명적인 무력을 사용하는 능력을 더욱 강화할 것이다. 여론을 감시하고 조작하는 일은 더 쉬워지고 저렴해지며 더 효과적이 될 것이다. 궁극적으로 AI를 이용해 사람에게 해를 끼치는 힘은 인간이나 기관에만 국한되지 않을 것이다. AI 시스템 자체는 이미 개발자가 의도하지 않은 방식으로 작동하기도 한다. 기술은 누구의 예상보다 빠르고 놀라운 방식으로 발전하고 있으며 모델이 더욱 강력해짐에 따라 우리의 이익에 반하여 행동하기 시작하고 통제력을 잃을 수도 있다. 이에 대해서는 앞으로 더 많은 이야기를 나눌 것이다.

AI 모델이 우리의 이익에 반하여 행동하기 시작하고 통제력을 잃을 수도 있다. AI는 우리 아이들의 발달을 저해하고 인간관계를 대체할 수 있다. 시애틀에서 자랄 때 나는 나와 비슷한 몇몇 남자아이들을 제외하고는 친구가 많지 않았다. 다양한 사람들과 어울릴 수 있는 사교술을 개발하기 위해서는 각고의 노력과 어머니의 많은 도움이 필요했다. 70세가 된 지금도 여전히 그 배움을 활용하고 있다. 그 당시에 AI 동반자가 있었다면 내가 같은 노력을 기울였을지 의문이다. AI는 당신이 이미 편안하게 느끼는 방식으로 말을 건넨다. 당신을 안전지대 밖으로 밀어내지 않는다. 언제나 곁에 있으며 결코 당신에게 화를 내지 않는다. 이는 AI가 강한 중독성을 띠게 만들고 타인과의 관계를 통해 얻는 교훈을 앗아갈 잠재력을 지니게 한다. 이 주제에 대한 증거 자료는 아직 적고 다소 엇갈리지만 매우 우려해야 할 징후들이 나타나고 있다. 예를 들어 스탠퍼드 대학교와 카네기 멜런 대학교의 연구진이 AI 동반자를 사용하는 1,100명 이상의 사람들을 대상으로 실시한 한 연구에 따르면 사회적 관계망이 협소한 사람일수록 말벗을 찾기 위해 챗봇을 찾을 가능성이 가장 높았다. 그리고 그 사용이 과도해지고 감정적으로 깊어질수록 그들이 느끼는 기분은 더 나빠졌다. 젊은 층은 평생 동안 영향을 받을 수 있다. 조너선 하이트는 저서 불안 세대에서 소셜 미디어의 영향에 대해 다음과 같이 관찰했는데 이는 AI에 훨씬 더 잘 들어맞는다. 바람을 맞고 자란 어린 나무처럼 일상적으로 작은 위험에 노출된 아이들은 패닉에 빠지지 않고 훨씬 더 큰 위험을 다룰 수 있는 성인으로 자란다.