Computer use — cho trợ lý điều khiển máy tính

Computer use cho trợ lý xem màn hình và thao tác các ứng dụng trên máy đang chạy RexAPF Desktop: đọc cửa sổ, chụp ảnh cửa sổ, nhấp chuột và gõ phím. Tính năng tắt sẵn, bạn bật nó trong Cài đặt › Điều khiển máy tính.

#Tính năng hoạt động thế nào

Khi bật, mọi cuộc trò chuyện có thêm bộ công cụ điều khiển máy tính. Trợ lý thường làm theo vòng lặp:

1. Tìm đúng ứng dụng và cửa sổ cần thao tác.
2. Lấy ảnh chụp và cây phần tử mới nhất của cửa sổ đó.
3. Nhấp, gõ phím hoặc cuộn dựa trên phần tử hay toạ độ vừa đọc.
4. Đọc lại trạng thái cửa sổ để kiểm tra kết quả.

Trợ lý ưu tiên thao tác ở chế độ nền, không kéo cửa sổ lên trước, để bạn vẫn làm việc khác được trong lúc đó.

#Bật điều khiển máy tính trên macOS

macOS yêu cầu hai quyền trước khi RexAPF đọc được cửa sổ và gửi thao tác:

1. Mở mục cài đặt

   Mở Cài đặt, chọn Điều khiển máy tính ở danh sách bên trái.

2. Bật công tắc

   Bật Dùng điều khiển máy tính. Trong lúc khởi động, mục hiện Đang khởi động….

3. Xin cấp quyền

   Ở phần Quyền trên macOS, nhấn Xin cấp quyền. macOS hiện hộp thoại xin quyền của chính nó, mỗi quyền một lần.

4. Cho phép trong Cài đặt hệ thống

   Với quyền còn Chưa cho phép, nhấn Mở Cài đặt cạnh quyền đó. macOS mở đúng mục Trợ năng hoặc Ghi màn hình trong Quyền riêng tư & Bảo mật. Bật RexAPF trong danh sách.

5. Kiểm tra lại

   Quay lại RexAPF và nhấn Kiểm tra lại. Khi đủ quyền, mục hiện Đã cấp đủ quyền.

Mục cài đặt tự đọc lại trạng thái khi cửa sổ RexAPF được chọn lại và sau mỗi thao tác. Nếu bạn đổi quyền trong lúc vẫn đang ở RexAPF, nhấn Kiểm tra lại.

#Bật trên Windows

Windows không cần cấp thêm quyền. Mở Cài đặt › Điều khiển máy tính và bật Dùng điều khiển máy tính là đủ.

#Giao việc cho trợ lý

Sau khi bật, mở một phiên và mô tả việc cần làm trên máy, ví dụ:

Mở ứng dụng Ghi chú, tạo ghi chú mới tên "Họp thứ Hai" và chép 3 ý chính từ tin nhắn ở trên vào đó.

Một vài lưu ý khi giao việc:

• Nêu rõ tên ứng dụng và kết quả mong muốn để trợ lý chọn đúng cửa sổ.
• Không đưa mật khẩu cho trợ lý. Nếu ứng dụng cần đăng nhập, hãy tự đăng nhập trước.
• Ứng dụng khác hoặc chính bạn có thể thay đổi màn hình trong lúc trợ lý làm việc. Trợ lý đọc lại trạng thái trước mỗi bước, nhưng bạn nên tránh thao tác cùng cửa sổ đó.

#Xử lý sự cố

#Bài liên quan