Trí tuệ nhân tạo
NLU (Natural Language Understanding) là gì?
Natural language understanding (NLU) là một khái niệm kỹ thuật trong chủ đề rộng hơn về xử lý ngôn ngữ tự nhiên. NLU là quá trình chịu trách nhiệm dịch các từ ngữ tự nhiên của con người sang định dạng mà máy tính có thể diễn giải. Về cơ bản, trước khi máy tính có thể xử lý dữ liệu ngôn ngữ, nó phải hiểu dữ liệu đó. Các kỹ thuật cho NLU bao gồm việc sử dụng cú pháp chung và các quy tắc ngữ pháp để cho phép máy tính hiểu được ý nghĩa và ngữ cảnh của ngôn ngữ tự nhiên của con người. Mục tiêu cuối cùng của các kỹ thuật này là máy tính sẽ có được sự hiểu biết “trực quan” về ngôn ngữ, có thể viết và hiểu ngôn ngữ giống như cách con người làm, mà không cần liên tục tham chiếu đến định nghĩa của từ.
Định nghĩa NLU (Natural Language Understanding)
Có nhiều kỹ thuật mà các nhà khoa học máy tính và chuyên gia NLP sử dụng để cho phép máy tính hiểu ngôn ngữ của con người. Hầu hết các kỹ thuật này thuộc loại “phân tích cú pháp”. Các kỹ thuật phân tích cú pháp bao gồm:
- lemmatization
- stemming
- phân đoạn từ
- parsing
- phân đoạn hình thái học
- phân tách câu
- gắn nhãn từ loại
Các kỹ thuật phân tích cú pháp này áp dụng các quy tắc ngữ pháp cho nhóm từ và cố gắng sử dụng các quy tắc này để suy ra ý nghĩa. Ngược lại, NLU hoạt động bằng cách sử dụng các kỹ thuật “phân tích ngữ nghĩa”. Phân tích ngữ nghĩa áp dụng các thuật toán máy tính vào văn bản, cố gắng hiểu ý nghĩa của từ trong ngữ cảnh tự nhiên của chúng, thay vì dựa vào các phương pháp dựa trên quy tắc. Tính đúng/sai ngữ pháp của một cụm từ không nhất thiết tương quan với tính hợp lệ của cụm từ đó. Có thể có những cụm từ đúng ngữ pháp nhưng vô nghĩa, và những cụm từ sai ngữ pháp nhưng có ý nghĩa. Để phân biệt các khía cạnh có ý nghĩa nhất của từ, NLU áp dụng nhiều kỹ thuật khác nhau nhằm nắm bắt ý nghĩa của một nhóm từ với ít sự phụ thuộc hơn vào cấu trúc và quy tắc ngữ pháp. NLU là một lĩnh vực đang phát triển và thay đổi, và nó được coi là một trong những vấn đề khó của AI. Nhiều kỹ thuật và công cụ khác nhau đang được phát triển để cung cấp cho máy móc sự hiểu biết về ngôn ngữ con người. Hầu hết các hệ thống NLU đều có một số thành phần cốt lõi chung. Một bộ từ vựng cho ngôn ngữ là cần thiết, cũng như một số loại trình phân tích cú pháp văn bản và quy tắc ngữ pháp để hướng dẫn việc tạo ra các biểu diễn văn bản. Hệ thống cũng yêu cầu một lý thuyết về ngữ nghĩa để cho phép hiểu các biểu diễn đó. Có nhiều lý thuyết ngữ nghĩa khác nhau được sử dụng để diễn giải ngôn ngữ, như phân tích ngữ nghĩa ngẫu nhiên hoặc ngữ nghĩa ngây thơ. Các kỹ thuật NLU phổ biến bao gồm:
Named Entity Recognition là quá trình nhận dạng “thực thể có tên”, là những người, địa điểm/vật quan trọng. Named Entity Recognition hoạt động bằng cách phân biệt các khái niệm và tham chiếu cơ bản trong một văn bản, xác định các thực thể có tên và phân loại chúng vào các danh mục như địa điểm, ngày tháng, tổ chức, con người, tác phẩm, v.v. Các mô hình có giám sát dựa trên quy tắc ngữ pháp thường được sử dụng để thực hiện các nhiệm vụ NER. Word-Sense Disambiguation là quá trình xác định ý nghĩa, hoặc nghĩa, của một từ dựa trên ngữ cảnh mà từ đó xuất hiện. Phân giải nhập nhằng nghĩa từ thường sử dụng các bộ gắn nhãn từ loại để đặt từ mục tiêu vào ngữ cảnh. Các phương pháp có giám sát của phân giải nhập nhằng nghĩa từ bao gồm việc sử dụng máy vector hỗ trợ và học dựa trên bộ nhớ. Tuy nhiên, hầu hết các mô hình phân giải nhập nhằng nghĩa từ là các mô hình bán giám sát sử dụng cả dữ liệu được gắn nhãn và không được gắn nhãn.
Ví dụ về NLU (Natural Language Understanding)
Các ví dụ phổ biến về NLU bao gồm Lập luận Tự động, Định tuyến Vé Tự động, Dịch Máy và Hỏi Đáp. Lập luận Tự động Lập luận tự động là một lĩnh vực nhằm cung cấp cho máy móc một loại logic hoặc lập luận. Đó là một nhánh của khoa học nhận thức nỗ lực đưa ra các suy luận dựa trên chẩn đoán y tế hoặc giải quyết các định lý toán học một cách lập trình/tự động. NLU được sử dụng để giúp thu thập và phân tích thông tin và đưa ra kết luận dựa trên thông tin đó. Định tuyến Vé Tự động NLU thường được sử dụng để tự động hóa các nhiệm vụ dịch vụ khách hàng. Khi một phiếu hỗ trợ khách hàng được tạo ra, chatbot và các máy móc khác có thể diễn giải bản chất cơ bản của nhu cầu khách hàng và chuyển hướng họ đến đúng bộ phận. Các công ty nhận được hàng nghìn yêu cầu hỗ trợ mỗi ngày, vì vậy các thuật toán NLU rất hữu ích trong việc ưu tiên hóa các phiếu và cho phép các đại lý hỗ trợ xử lý chúng theo những cách hiệu quả hơn. Dịch Máy Rất khó để dịch chính xác lời nói hoặc văn bản từ ngôn ngữ này sang ngôn ngữ khác. Trên thực tế, dịch máy là một trong những vấn đề khó nhất trong NLP và NLU. Nhiều hệ thống dịch máy dựa vào các quy tắc ngôn ngữ để dịch giữa các ngôn ngữ, nhưng các nhà nghiên cứu đang theo đuổi những cách tinh vi hơn để dịch giữa các ngôn ngữ. Dịch máy NLU cố gắng cho phép dịch chính xác hơn bằng cách bảo toàn ngữ cảnh và thông tin ngữ nghĩa liên quan đến văn bản mục tiêu. Các hệ thống dịch máy chính xác nhất kết hợp các quy tắc ngôn ngữ với các thuật toán trích xuất ý nghĩa ngữ nghĩa. Hỏi Đáp Nhận dạng giọng nói sử dụng các kỹ thuật NLU để cho phép máy tính hiểu các câu hỏi được đặt bằng ngôn ngữ tự nhiên. NLU được sử dụng để cung cấp cho người dùng thiết bị một phản hồi bằng ngôn ngữ tự nhiên của họ, thay vì cung cấp cho họ một danh sách các câu trả lời có thể có. Khi bạn hỏi một trợ lý kỹ thuật số một câu hỏi, NLU được sử dụng để giúp máy móc hiểu các câu hỏi, chọn các câu trả lời phù hợp nhất dựa trên các đặc điểm như các thực thể được nhận dạng và ngữ cảnh của các câu lệnh trước đó.
