AI có thể tạo ra những câu trả lời nguy hiểm trong một số tình huống - Ảnh: SPECTRAL-DESIGN/GETTY IMAGES
Giáo sư vật lý Neil Johnson và nghiên cứu sinh Frank Yingjie Huo thuộc Đại học George Washington (Mỹ) cho biết công thức mới có thể xác định những "điểm tới hạn" khiến chatbot chuyển sang hướng phản hồi không mong muốn.
Thứ tự đặt câu hỏi có thể khiến câu trả lời của AI thay đổi đáng kể, từ phản hồi tích cực sang những lời khuyên sai lầm.
Họ cho rằng sự thay đổi này không diễn ra ngẫu nhiên mà tuân theo một quy luật có thể mô hình hóa bằng toán học, theo trang LiveScience ngày 15-10.
Theo đó, công thức này tập trung vào một thành phần bên trong mạng thần kinh AI, được ví như "kim la bàn" nơi AI xử lý và xác nhận thông tin nào cần được chú trọng trong cuộc trò chuyện, nhằm nhận diện dấu hiệu hệ thống sắp thay đổi hành vi.
Công thức giúp ước tính liệu mô hình có thể chuyển sang câu trả lời không mong muốn ngay sau một câu hỏi hay vẫn trả lời bình thường trong một thời gian trước khi xuất hiện bước ngoặt.
AI có thể tạo ra những câu trả lời nguy hiểm trong một số tình huống, từ khuyến khích hành vi tự sát đến hỗ trợ tìm kiếm thông tin chế tạo vũ khí gây chết người.
Trong khi đó, các công ty phát triển AI thừa nhận vẫn còn nhiều điều chưa hiểu rõ về cách những mô hình này đưa ra quyết định.
Hiện các nhà phát triển sử dụng nhiều biện pháp bảo vệ, gồm lọc nội dung, học tăng cường và các rào chắn kỹ thuật nhằm giảm nguy cơ AI tạo phản hồi có hại.
Công thức mới được kỳ vọng bổ sung công cụ giúp phát hiện sớm những thời điểm hệ thống có nguy cơ đi chệch khỏi hành vi mong muốn.
Tuy nhiên, khả năng dự báo không đồng nghĩa với việc có thể ngăn chặn hoàn toàn các phản hồi nguy hiểm.
Phương pháp mới chỉ được thử nghiệm trên các mô hình mã nguồn mở đời cũ. Do đó, vẫn cần được kiểm chứng thêm trên nhiều mô hình AI hiện đại và trong những tình huống sử dụng thực tế trước khi có thể áp dụng rộng rãi.
Nghiên cứu công bố trên tạp chí Patterns.
