(1) Chúng ta sẽ ngày càng dựa vào các thuật toán để đưa ra các quyết định cho mình, nhưng ít có khả năng các thuật toán sẽ bắt đầu điều khiển chúng ta một cách có ý thức. Chúng sẽ không có chút ý thức nào cả.

(2) Khoa học giả tưởng có khuynh hướng nhầm lẫn trí thông minh với ý thức và cho rằng để bắt kịp hoặc vượt qua trí thông minh của con người, máy tính sẽ phát triển ý thức. Cốt truyện cơ bản của gần như mọi bộ phim và tiểu thuyết về AI(1) xoay quanh cái giây phút kỳ diệu khi một máy tính hay một robot có được ý thức. Một khi điều đó xảy ra, hoặc là nhân vật chính con người đem lòng yêu robot, hoặc robot cố gắng giết sạch con người; thỉnh thoảng cả hai xảy xa cùng lúc.

Nhưng trên thực tế, không có lý do gì để cho rằng trí tuệ nhân tạo sẽ có được ý thức vì trí thông minh và ý thức là hai thứ rất khác nhau. Trí tuệ là khả năng giải quyết vấn đề. Ý thức là khả năng cảm nhận những thứ như đau, vui, yêu và giận. Chúng ta có xu hướng nhầm hai thứ với nhau vì ở con người trí tuệ đi đôi với ý thức. Con người giải quyết hầu hết các vấn đề bằng cách cảm nhận mọi thứ. Tuy nhiên, máy tính lại giải quyết các vấn đề theo một cách rất khác.

(3) Có một số con đường khác nhau dẫn đến trí tuệ cao và chỉ vài con đường trong số đó bao gồm việc có được ý thức. Cũng như máy bay bay nhanh hơn chim mà không bao giờ cần mọc lông, máy tính có thể giải quyết vấn đề tốt hơn con người rất nhiều mà không bao giờ cần phát triển cảm giác. Đúng, AI sẽ phải phân tích các cảm giác của con người một cách chính xác để chữa bệnh cho họ, nhận dạng những kẻ khủng bố, gợi ý bạn đời và tìm đường đi lối lại trên một con phố đầy người đi bộ. Nhưng nó có thể làm vậy mà không cần bất cứ cảm xúc gì của riêng nó cả. Một thuật toán không cần cảm thấy vui, giận hay sợ hãi để nhận ra các dạng thức sinh hóa khác nhau của những con linh trưởng đang vui, đang giận hay đang sợ hãi. Dĩ nhiên, không phải hoàn toàn không có khả năng AI phát triển các cảm giác của riêng nó. Chúng ta vẫn không biết đủ nhiều về ý thức để chắc chắn về điều đó. […]

(4) Thực sự là chúng ta không hề biết tiềm năng tối đa của con người là gì vì chúng ta biết quá ít về tâm trí con người. Thế nhưng chúng ta không đầu tư nhiều vào việc khám phá tâm trí con người; thay vào đó, ta tập trung vào tăng tốc độ kết nối Internet và tính hiệu quả của các thuật toán Big Data(2). Nếu không cẩn thận, chúng ta sẽ trở thành những con người hạ cấp sử dụng sai những máy tính cao cấp để tàn phá bản thân và thế giới.