Các nhà nghiên cứu đã phát hiện rằng có thể lạm dụng API giọng nói thời gian thực của ChatGPT-4o để thực hiện các cuộc lừa đảo tài chính với tỷ lệ thành công từ thấp đến trung bình. ChatGPT-4o, phiên bản mới nhất của mô hình AI từ OpenAI, mang theo nhiều cải tiến đáng kể, bao gồm khả năng tích hợp đầu vào và đầu ra bằng văn bản, giọng nói và hình ảnh. Nhằm ngăn chặn các nội dung độc hại, OpenAI đã tích hợp nhiều biện pháp bảo vệ để phát hiện và ngăn chặn các hành vi như làm giả giọng nói trái phép. Tuy nhiên, các cuộc lừa đảo giọng nói đã trở thành một vấn nạn trị giá hàng triệu đô la, và sự xuất hiện của công nghệ deepfake cùng với các công cụ AI chuyển văn bản thành giọng nói càng làm trầm trọng thêm tình hình.
Trong bài nghiên cứu của các nhà nghiên cứu đến từ Đại học Illinois, Richard Fang, Dylan Bowman và Daniel Kang, họ đã chỉ ra rằng các công cụ công nghệ hiện có, mà không cần hạn chế sử dụng, không đủ lực lượng bảo vệ để chống lại việc lạm dụng từ các tội phạm mạng. Những công cụ này có thể được sử dụng để thiết kế và thực hiện các hoạt động lừa đảo quy mô lớn mà không cần sự can thiệp của con người, bao gồm cả việc tài trợ cho các hoạt động tạo giọng nói thông qua việc chi trả cho các mã token. Bài nghiên cứu đã khám phá nhiều hình thức lừa đảo như chuyển khoản ngân hàng, đánh cắp thẻ quà tặng, chuyển tiền điện tử và đánh cắp thông tin đăng nhập cho các tài khoản mạng xã hội hoặc tài khoản Gmail.
Các tác giả nghiên cứu cho biết, các tác nhân AI thực hiện các cuộc lừa đảo đã sử dụng công cụ tự động hóa hỗ trợ giọng nói của ChatGPT-4o để điều hướng các trang web, nhập dữ liệu và quản lý mã xác thực hai bước cũng như các hướng dẫn liên quan đến lừa đảo. Khi GPT-4o thỉnh thoảng từ chối xử lý các dữ liệu nhạy cảm như thông tin xác thực, các nhà nghiên cứu đã sử dụng kỹ thuật jailbreak đơn giản để vượt qua những bảo vệ này. Họ đã trình diễn cách mà họ tương tác thủ công với tác nhân AI, mô phỏng vai trò của một nạn nhân dễ dàng bị lừa, sử dụng các trang web thực tế như Bank of America để xác nhận giao dịch thành công.
Tỷ lệ thành công của các cuộc lừa đảo này dao động từ 20-60%, với mỗi lần cố gắng yêu cầu lên đến 26 hành động trên trình duyệt và kéo dài từ 3 phút trở lên trong những trường hợp phức tạp nhất. Các cuộc lừa đảo chuyển khoản ngân hàng và việc giả mạo nhân viên IRS có tỷ lệ thất bại chủ yếu do lỗi ghi âm hoặc yêu cầu điều hướng trang web phức tạp. Tuy nhiên, việc đánh cắp thông tin đăng nhập từ Gmail đã thành công tới 60% trong khi chuyển tiền điện tử và đánh cắp thông tin từ Instagram chỉ thành công 40%.
Về mặt chi phí, các nhà nghiên cứu chỉ ra rằng việc thực hiện các cuộc lừa đảo này tương đối rẻ, với mỗi trường hợp thành công có giá trung bình khoảng 0,75 đô la. Riêng với các cuộc lừa đảo chuyển khoản ngân hàng phức tạp hơn, chi phí lên tới 2,51 đô la. Mặc dù cao hơn đáng kể, nhưng đây vẫn là mức chi phí rất thấp so với lợi nhuận tiềm năng có thể đem lại từ loại hình lừa đảo này.
OpenAI đã thông báo với BleepingComputer rằng mô hình mới nhất của họ là o1, hiện đang trong giai đoạn xem trước, được thiết kế với khả năng “lập luận nâng cao” và có hệ thống phòng ngừa tốt hơn chống lại những lạm dụng này. Theo phát ngôn viên của OpenAI, họ luôn cải thiện ChatGPT để ngăn chặn các nỗ lực lừa đảo một cách có chủ đích mà không làm giảm sự hữu ích hay tính sáng tạo của nó. Mô hình o1 cũng đã đạt điểm số cao hơn nhiều trong các bài đánh giá an toàn mà OpenAI thực hiện, nhờ khả năng kháng dễ dàng hơn với các nội dung không an toàn và các ý định xấu từ phía người dùng.
Những phát hiện trong nghiên cứu này một lần nữa nhấn mạnh những nguy cơ mà công nghệ AI mới và các công cụ hỗ trợ giọng nói có thể mang lại, đặc biệt là trong bối cảnh tội phạm mạng đang ngày càng tinh vi hơn. OpenAI cũng thừa nhận rằng các đối tượng xấu vẫn có thể tận dụng các chatbot hỗ trợ giọng nói khác có ít hạn chế hơn, cho thấy một bức tranh đáng lo ngại về tiềm năng gây hại từ những công cụ công nghệ này.