Khi AI có thể tự hành động, ai kiểm soát AI?

Trong bối cảnh AI đang chuyển từ công cụ hỗ trợ sang các hệ thống có khả năng tự lập kế hoạch, ra quyết định và trực tiếp thực hiện hành động, bài toán kiểm soát quyền hạn, giám sát hành vi và xác định trách nhiệm trở nên cấp thiết hơn bao giờ hết. Phóng viên Báo Đại biểu Nhân dân đã có cuộc trò chuyện với ông Vũ Mạnh Kiểm, Phó Giám đốc Công nghệ nền tảng, Trung tâm An toàn thông tin (VNPT) về những ranh giới cần thiết để AI có thể tự chủ nhưng vẫn nằm trong vùng kiểm soát an toàn của con người.

Khi AI chuyển từ chỗ chỉ đưa ra câu trả lời sang có khả năng tự lập kế hoạch, ra quyết định và thực hiện hành động, theo ông, ranh giới nào cần được đặt ra để AI không vượt quá quyền hạn của mình?

Ông Vũ Mạnh Kiểm - Phó Giám đốc Công nghệ nền tảng, Trung tâm An toàn thông tin VNPT.

Trong mỗi lĩnh vực, mỗi công việc thì mức độ tham gia của AI sẽ khác nhau. Có những công việc AI chỉ là hỗ trợ ở mặt ngoài, có những công việc AI sẽ tham gia sâu, còn người chỉ duyệt kết quả đồng ý hoặc từ chối, có những công việc cho phép AI tự động hành động hoàn toàn. Do đó yếu tố ngữ cảnh đóng vai trò quan trọng trong việc AI được làm gì. Theo tôi, về nguyên tắc thì ranh giới nên được đặt ra theo 3 lớp:

Lớp 1: Xác định quyền hạn AI được phép làm gì.

Như đã phân tích ở trên, tùy từng bài toán thì xác định các quyền hạn, dữ liệu AI được phép xử lý, can thiệp, dựa trên nguyên tắc đặc quyền tối thiểu, không cung cấp thừa.

Lớp 2: Xác định mức độ rủi ro, cho phép hành động nào AI được phép tự quyết định, hành động nào con người phải review.

Các hành động rủi ro thấp thì cho phép AI tự quyết định. Với những hành động rủi ro cao thì con người phải review.

Lớp 3: Giám sát và truy vết hành động của AI - AI đã làm gì và tại sao lại làm vậy.

Tôi cho rằng nguyên tắc cốt lõi là: AI cần được trao quyền để hành động nhưng không được trao quyền để tự mở rộng quyền hạn của mình, con người phải quyết định và nghiêm túc xác định AI được phép làm tới đâu.

Trong một hệ thống AI có khả năng tự hành động, nếu AI đưa ra quyết định sai hoặc gây ra hậu quả ngoài dự kiến, trách nhiệm thuộc về ai: người phát triển, đơn vị triển khai hay người sử dụng?

Rất khó để quy trách nhiệm cho một lớp duy nhất, lớp trước phải xây dựng cơ chế đúng thì lớp sau mới triển khai và sử dụng đúng được. Do đó từ người phát triển, đơn vị triển khai và người dùng đều phải thực hiện nghiêm túc, chuẩn chỉ trong vai trò, trách nhiệm của mình và phải chịu trách nhiệm trong phạm vi tương ứng:

Người phát triển: Chịu trách nhiệm về những rủi ro xuất phát từ thiết kế, mô hình, thuật toán, cơ chế bảo vệ và những giới hạn mà họ phải biết, phải xây dựng ngay từ đầu.
Đơn vị triển khai: Chịu trách nhiệm về cách AI được đưa vào môi trường thực tế: cấp quyền gì, kết nối với hệ thống nào, dữ liệu nào được phép truy cập và có thiết lập các cơ chế giám sát, phê duyệt hay không.
Người sử dụng: Chịu trách nhiệm đối với cách họ sử dụng hệ thống, đặc biệt khi họ vượt qua các cảnh báo, cố tình sử dụng sai mục đích hoặc trao cho AI những quyền mà họ không được phép trao. Không nghiêm túc review những quyết định có mức ảnh hưởng cao.

Vì vậy, tôi cho rằng nguyên tắc quan trọng nhất là “responsibility follows control” – trách nhiệm phải đi cùng quyền kiểm soát. Ai kiểm soát phần nào của hệ thống thì phải chịu trách nhiệm tương ứng với phần đó.

Có một nghịch lý là càng trao nhiều quyền cho AI để tăng hiệu quả, chúng ta càng khó kiểm soát những gì AI thực hiện. VNPT đang nhìn nhận bài toán “trao quyền nhưng vẫn kiểm soát” này như thế nào?

Nguyên tắc mà VNPT áp dụng là “tự chủ có kiểm soát”, do đó chúng tôi đặt ra bài toán phải “kiểm soát” AI ngay từ đầu, trên nền tảng đó chúng tôi mới thực hiện trao quyền theo nguyên tắc:

Trao quyền theo ngữ cảnh, trao đặc quyền tối thiểu phù hợp với bài toán.
Phân loại hành động của AI theo mức độ rủi ro, cho phép tự động ở các hành động rủi ro thấp. Bắt buộc phải có người review và chịu trách nhiệm ở các hành động rủi ro cao.
Không cho phép AI được quyết định quyền hạn của mình, không cho phép leo thang đặc quyền.
Xây dựng đầy đủ công cụ, đội ngũ và quy trình để đáp ứng các yêu cầu trên.

Về mặt an toàn thông tin, AI tự hành có thể tạo ra những “điểm mù” mới nào mà các hệ thống bảo mật truyền thống khó phát hiện hoặc kiểm soát?

Theo tôi có 4 điểm mù mà AI tự hành tạo ra khiến các hệ thống bảo mật truyền thống khó phát hiện cũng như kiểm soát:

Thứ nhất, điểm mù về hành vi. AI có bộ não thông minh, để đạt được một yêu cầu thì nó có nhiều cách thực thi khác nhau, phương án này thất bại thì AI sẽ sử dụng phương án khác cho tới khi đạt được mục đích đề ra, đôi khi nó rất sáng tạo, kết hợp nhiều chuỗi hành động với nhau. Các hệ thống bảo mật truyền thống thường kiểm soát hành vi riêng lẻ, chúng gặp nhiều khó khăn để hiểu ý định của chuỗi hành vi đó.

Thứ hai, điểm mù về quyền hạn. Một AI Agent có thể được cung cấp rất nhiều công cụ và dữ liệu khác nhau. Có những hành động dùng quyền hạn này là hợp lệ, nhưng hành động khác lại là bất thường. Việc không hiểu rõ về hành vi và mục đích khiến việc kiểm soát về quyền hạn cũng khó khăn theo.

Thứ ba, điểm mù về dữ liệu và ngữ cảnh. AI thường có “trí nhớ” đi kèm, một hành động ở thời điểm này có thể bị ảnh hưởng bởi ngữ cảnh và các kết quả của giai đoạn trước. Các hệ thống bảo mật truyền thống chưa thể hiểu được “trí nhớ” này nên nó cũng khó hiểu về hành động của AI.

Thứ tư, điểm mù về AI-to-AI và Agent-to-Agent. Các hệ thống AI có khả năng liên kết, trao đổi với nhau. Mỗi Agent có một suy nghĩ và hành động, và khi chúng kết hợp với nhau thì độ phức tạp về hiểu và kiểm soát sẽ tăng lên nhiều lần.

Nếu AI có thể tự truy cập dữ liệu, gọi API, thực hiện giao dịch hoặc tương tác với các hệ thống khác, đâu là những lớp kiểm soát tối thiểu cần có trước khi cho phép AI thực hiện hành động trong môi trường thực?

Theo tôi, trước khi cho phép AI thực hiện hành động trong môi trường thực, tối thiểu phải có 6 lớp kiểm soát.

Một là Identity & Access Control – AI là ai và được phép làm gì?
Mỗi Agent phải có danh tính riêng, quyền hạn riêng và áp dụng nguyên tắc least privilege. Không nên để AI sử dụng trực tiếp tài khoản có quyền quá lớn hoặc dùng chung credential với con người.

Hai là Policy & Guardrails – hành động nào được phép?
Phải có chính sách rõ ràng về những gì AI được làm, không được làm, được làm trong điều kiện nào. Đặc biệt phải có deny-by-default đối với những hành động nhạy cảm.

Ba là Data Control – AI được nhìn thấy và đưa dữ liệu đi đâu?
Cần kiểm soát dữ liệu đầu vào, context, RAG, file, API response và dữ liệu AI đưa ra ngoài. Đây là nơi DLP và data classification phải được tích hợp trực tiếp vào luồng AI.

Bốn là Action Control – kiểm soát tool và API.
Không nên để Agent gọi trực tiếp mọi API mà nó biết. Cần có một lớp trung gian kiểm tra tool nào được gọi, tham số gì, đối tượng nào bị tác động và hành động đó có phù hợp với policy hay không.

Năm là Human-in-the-Loop – con người phải giữ quyền quyết định với hành động rủi ro cao.
Không phải mọi hành động đều cần con người phê duyệt. Nhưng với những hành động như chuyển tiền, xóa dữ liệu, thay đổi chính sách bảo mật, cấp quyền hoặc tác động đến hệ thống production, cần có approval hoặc step-up authentication.

Sáu là Monitoring, Audit & Kill Switch – phải nhìn thấy và có khả năng dừng AI.
Chúng ta phải ghi nhận được Agent đã suy luận gì, gọi tool nào, sử dụng dữ liệu nào và tạo ra hành động gì. Đồng thời phải có rate limit, anomaly detection, rollback và một “kill switch” để dừng Agent ngay khi phát hiện hành vi bất thường.

Nếu gom lại thành một nguyên tắc đơn giản, tôi cho rằng một AI Agent chỉ nên được phép thực hiện hành động khi thỏa mãn: “Đúng danh tính – đúng quyền – đúng ngữ cảnh – đúng dữ liệu – đúng hành động – và có khả năng dừng.”

Theo ông/bà, có nên thiết kế một cơ chế “phê duyệt của con người” đối với mọi hành động quan trọng của AI, hay có thể để AI tự quyết trong một phạm vi nhất định? Làm thế nào để xác định được phạm vi đó?

Như đã phân tích ở trên, mỗi dự án cần có bước phân tích rủi ro, trên cơ sở đó sẽ cung cấp cơ chế khác nhau cho AI hành động. Tôi cho rằng nên chia hành động của AI thành 3 vùng.

Vùng 1 – AI được tự quyết.
Những hành động có rủi ro thấp, có thể đảo ngược và tác động trong phạm vi hẹp thì AI có thể tự động thực hiện. Ví dụ: tổng hợp báo cáo, phân tích log, truy vấn dữ liệu đã được phân quyền hoặc đề xuất phương án xử lý.

Vùng 2 – AI được thực hiện nhưng phải có điều kiện.
Với các hành động có mức rủi ro trung bình, AI có thể tự thực hiện nhưng phải nằm trong các giới hạn được định trước: giới hạn số lượng, phạm vi dữ liệu, thời gian, ngân sách hoặc chỉ được gọi một số API nhất định. Hệ thống phải giám sát và có khả năng rollback.

Vùng 3 – Bắt buộc con người phê duyệt.
Những hành động có tác động lớn, liên quan đến dữ liệu nhạy cảm, tài chính, quyền truy cập, thay đổi hệ thống production hoặc khó đảo ngược thì AI chỉ được đề xuất; quyết định cuối cùng phải thuộc về con người.

Vậy làm thế nào xác định ranh giới?

Theo tôi, không nên dựa vào cảm tính mà phải xây dựng một Risk Score cho từng hành động, dựa trên một số yếu tố: mức độ nhạy cảm của dữ liệu, phạm vi tác động, mức độ quyền hạn, khả năng gây thiệt hại, khả năng đảo ngược và mức độ chắc chắn của AI.

Trong thực tế triển khai AI tại doanh nghiệp, đâu là sai lầm phổ biến nhất khiến con người vô tình trao cho AI nhiều quyền hơn mức cần thiết?

Theo tôi, sai lầm phổ biến nhất là doanh nghiệp cấp quyền cho AI theo “khả năng kỹ thuật” thay vì theo “nhu cầu thực tế của từng nhiệm vụ”

Các kỹ sư thường triển khai tính năng trước mà ít khi phân tích rủi ro, vì tính gấp gáp của dự án, nhiệm vụ mà quá trình đánh giá An toàn thông tin, đánh giá rủi ro có thể bị xem nhẹ hoặc bỏ qua, vô tình cung cấp nhiều quyền hơn mức cần thiết cho AI.

VNPT đang nghiên cứu hoặc triển khai những giải pháp nào để giám sát hành vi của các hệ thống AI, phát hiện bất thường và có thể can thiệp khi AI thực hiện hành động ngoài dự kiến?

VNPT đang xây dựng một lớp “AI Security” mới, kết nối năng lực AI với năng lực ATTT/SOC.

Với AI tự hành, chúng ta không thể chỉ giám sát server, network hay API như cách truyền thống. Chúng ta phải giám sát chính hành vi của AI: AI đang nghĩ gì, AI đang làm gì, sử dụng quyền gì, truy cập dữ liệu nào, gọi công cụ nào và chuỗi hành động đó có còn nằm trong chính sách được phép hay không.

Đây cũng là hướng VNPT đang quan tâm trong quá trình phát triển hệ sinh thái AI. VNPT đã chính thức thành lập VNPT AI và xác định AI là năng lực cốt lõi, đồng thời VNPT có nền tảng về hạ tầng dữ liệu, AI và năng lực an toàn thông tin để triển khai các hệ thống ở quy mô lớn.

Về giải pháp, chúng tôi đang tiếp cận theo mô hình nhiều lớp.

Lớp thứ nhất là AI Discovery & Risk Assessment — phải biết trong doanh nghiệp đang có những AI nào, Agent nào đang được sử dụng, chúng được kết nối với dữ liệu và hệ thống nào, có những quyền gì và mức độ rủi ro ra sao. Đây là bước rất quan trọng vì nếu không biết AI đang tồn tại ở đâu thì không thể bảo vệ nó.

Lớp thứ hai là AI Guardrails — đây là lớp kiểm soát nằm trên đường đi của hành động AI. Trước khi AI gọi một tool, truy cập dữ liệu hay thực hiện một API call, hệ thống có thể kiểm tra identity, policy, context, dữ liệu và mức độ rủi ro để quyết định Allow, Block hoặc Require Approval.

Lớp thứ ba là AI Runtime Monitoring — không chỉ nhìn một request đơn lẻ mà theo dõi chuỗi hành động của Agent. Ví dụ, một truy vấn database có thể hoàn toàn bình thường, một API call cũng bình thường, nhưng nếu AI liên tục đọc dữ liệu nhạy cảm rồi gửi kết quả ra một hệ thống bên ngoài thì tổng thể chuỗi hành động đó lại là bất thường.

Lớp thứ tư là tích hợp với năng lực SOC/XDR/DLP hiện có. Khi phát hiện hành vi bất thường, hệ thống không chỉ cảnh báo mà có thể thực hiện phản ứng: hạn chế quyền, chặn tool/API, yêu cầu xác thực hoặc chuyển sang con người phê duyệt. VNPT hiện cũng có năng lực triển khai SOC, giám sát và phát hiện mối đe dọa trong các hệ thống thực tế.

Và điểm tôi cho rằng quan trọng nhất là khả năng can thiệp theo thời gian thực.

Nếu AI đang thực hiện một chuỗi hành động bất thường, chúng ta không thể chờ đến cuối ngày mới xem log. Hệ thống phải có khả năng Detect → Decide → Enforce ngay tại thời điểm AI hành động.

Vì vậy, hướng chúng tôi nhìn nhận là: không chỉ bảo vệ AI, mà phải kiểm soát được AI khi AI đang hành động.

Mục tiêu cuối cùng là tạo ra một “vùng tự chủ an toàn” cho AI: trong vùng đó AI được phép tự động hành động để tạo ra năng suất; khi vượt khỏi vùng đó, hệ thống phải tự động chặn, giảm quyền hoặc chuyển quyền quyết định về con người.

*Xin cảm ơn ông về những chia sẻ đầy tâm huyết!

Trọng Nghĩa