Ứng Dụng AI vào Thực Tế: LinkedIn Kết Hợp LLMs, LangChain và Jupyter Notebooks để Tối Ưu Hóa Prompt Engineering

Trong bối cảnh trí tuệ nhân tạo (AI) đang ngày càng phát triển, việc khai thác tối đa tiềm năng của các mô hình AI sinh tạo (Generative AI) đòi hỏi các doanh nghiệp phải tìm ra phương pháp tối ưu để tạo ra các prompt (lệnh) hiệu quả. Prompt engineering, hay kỹ thuật thiết kế prompt, đã trở thành một lĩnh vực quan trọng, giúp các tổ chức đạt được kết quả tốt nhất từ các mô hình AI. LinkedIn, mạng lưới chuyên nghiệp hàng đầu thế giới, đã có một cách tiếp cận sáng tạo để giải quyết thách thức này, kết hợp các công nghệ tiên tiến như Large Language Models (LLMs), LangChain và Jupyter Notebooks để xây dựng một “sân chơi” cho việc hợp tác và tối ưu hóa prompt engineering.

Bài toán Đặt ra: Vượt qua Rào cản Giữa Người Dùng Kỹ Thuật và Phi Kỹ Thuật

LinkedIn, với hơn 1 tỷ người dùng, cũng đối mặt với những thách thức tương tự như nhiều tổ chức khác khi triển khai AI sinh tạo: làm sao để thu hẹp khoảng cách giữa người dùng kỹ thuật và người dùng không chuyên về kỹ thuật. LinkedIn nhận thấy rằng, việc ứng dụng AI sinh tạo không chỉ dành cho người dùng cuối mà còn phục vụ cho người dùng nội bộ. Thay vì chỉ chia sẻ các prompt qua bảng tính hoặc các kênh nhắn tin, LinkedIn đã xây dựng một hệ thống cho phép người dùng thuộc các lĩnh vực khác nhau cùng làm việc và thử nghiệm.

Giải pháp Đột phá: “Sân Chơi” Prompt Engineering Hợp Tác

LinkedIn đã phát triển một “sân chơi” (playground) cho phép các chuyên gia kỹ thuật và người dùng không chuyên hợp tác để tạo ra các prompt hiệu quả nhất. Hệ thống này kết hợp sức mạnh của LLMs, LangChain và Jupyter Notebooks. Cách tiếp cận này đã giúp LinkedIn cải thiện sản phẩm Sales Navigator, đặc biệt là tính năng AccountIQ, giúp giảm thời gian nghiên cứu công ty từ 2 giờ xuống còn 5 phút.

Thách Thức Tổ Chức Khi Triển Khai Gen AI Trong Một Doanh Nghiệp Kỹ Thuật

LinkedIn không hề xa lạ với thế giới máy học (ML) và AI. Trước khi ChatGPT xuất hiện, LinkedIn đã xây dựng một bộ công cụ để đo lường tính công bằng của mô hình AI. Tuy nhiên, Gen AI (Generative AI) lại khác biệt. Nó không đòi hỏi kỹ sư phải sử dụng và có thể truy cập rộng rãi hơn. Đó là cuộc cách mạng mà ChatGPT đã tạo ra. Việc xây dựng các ứng dụng được hỗ trợ bởi Gen AI không hoàn toàn giống như xây dựng một ứng dụng truyền thống.

Theo Ajay Prakash, kỹ sư phần mềm của LinkedIn, trước đây, các kỹ sư sẽ nhận được một bộ yêu cầu sản phẩm từ bộ phận quản lý sản phẩm, sau đó họ sẽ tiến hành xây dựng sản phẩm. Tuy nhiên, với Gen AI, các nhà quản lý sản phẩm có thể thử nghiệm các ý tưởng khác nhau để xem điều gì khả thi và hiệu quả. Trái ngược với ML truyền thống, vốn không dễ tiếp cận đối với nhân viên không có chuyên môn kỹ thuật, Gen AI dễ dàng hơn cho tất cả mọi người.

Prompt engineering truyền thống thường tạo ra các nút thắt cổ chai, với các kỹ sư đóng vai trò là người gác cổng cho bất kỳ thay đổi hoặc thử nghiệm nào. Cách tiếp cận của LinkedIn thay đổi điều này bằng cách cung cấp giao diện thân thiện với người dùng thông qua Jupyter Notebooks tùy chỉnh, vốn thường được sử dụng cho các tác vụ khoa học dữ liệu và ML.

Kiến trúc của “Sân Chơi” Prompt Engineering LinkedIn

Không ngạc nhiên khi nhà cung cấp LLM mặc định được LinkedIn sử dụng là OpenAI. Xét cho cùng, LinkedIn là một phần của Microsoft, công ty lưu trữ nền tảng Azure OpenAI.

Lukasz Karolewski, quản lý kỹ thuật cấp cao của LinkedIn, giải thích rằng việc sử dụng OpenAI thuận tiện hơn vì nhóm của ông có quyền truy cập dễ dàng hơn trong môi trường LinkedIn/Microsoft. Ông lưu ý rằng việc sử dụng các mô hình khác sẽ yêu cầu các quy trình đánh giá pháp lý và bảo mật bổ sung, điều này sẽ mất nhiều thời gian hơn để cung cấp chúng. Ban đầu, nhóm ưu tiên việc xác thực sản phẩm và ý tưởng hơn là tối ưu hóa cho mô hình tốt nhất.

LLM chỉ là một phần của hệ thống, hệ thống này còn bao gồm:

• Jupyter Notebooks cho lớp giao diện;
• LangChain để điều phối prompt;
• Trino cho các truy vấn data lake trong quá trình thử nghiệm;
• Triển khai dựa trên container để dễ dàng truy cập;
• Các thành phần UI tùy chỉnh cho người dùng không chuyên về kỹ thuật.

Cách Thức Hoạt Động của “Sân Chơi” Prompt Engineering Hợp Tác của LinkedIn

Jupyter Notebooks đã được cộng đồng ML sử dụng rộng rãi trong gần một thập kỷ như một cách để giúp xác định các mô hình và dữ liệu bằng cách sử dụng giao diện ngôn ngữ Python tương tác.

Karolewski giải thích rằng LinkedIn đã lập trình sẵn Jupyter Notebooks để giúp chúng dễ tiếp cận hơn đối với người dùng không chuyên về kỹ thuật. Các notebook bao gồm các thành phần UI như hộp văn bản và nút giúp mọi người dùng dễ dàng bắt đầu. Các notebook được đóng gói theo cách cho phép người dùng dễ dàng khởi chạy môi trường với các hướng dẫn tối thiểu và không cần thiết lập môi trường phát triển phức tạp. Mục đích chính là cho phép cả người dùng kỹ thuật và không chuyên về kỹ thuật thử nghiệm các prompt và ý tưởng khác nhau để sử dụng Gen AI.

Để thực hiện điều này, nhóm cũng tích hợp quyền truy cập vào dữ liệu từ data lake nội bộ của LinkedIn. Điều này cho phép người dùng kéo dữ liệu một cách an toàn để sử dụng trong các prompt và thử nghiệm.

LangChain đóng vai trò là thư viện để điều phối các ứng dụng Gen AI. Khung này giúp nhóm dễ dàng xâu chuỗi các prompt và bước khác nhau, chẳng hạn như tìm nạp dữ liệu từ các nguồn bên ngoài, lọc và tổng hợp đầu ra cuối cùng.

Mặc dù LinkedIn hiện không tập trung vào việc xây dựng các ứng dụng dựa trên tác nhân hoàn toàn tự động, nhưng Karolewski cho biết ông coi LangChain là nền tảng để có khả năng di chuyển theo hướng đó trong tương lai.

Cách tiếp cận của LinkedIn cũng bao gồm các cơ chế đánh giá nhiều lớp:

• Kiểm tra mức độ liên quan dựa trên nhúng để xác thực đầu ra;
• Phát hiện tác hại tự động thông qua các trình đánh giá dựng sẵn;
• Đánh giá dựa trên LLM bằng cách sử dụng các mô hình lớn hơn để đánh giá các mô hình nhỏ hơn;
• Tích hợp các quy trình đánh giá của chuyên gia.

Từ Hàng Giờ Đến Vài Phút: Tác Động Thực Tế Của “Sân Chơi” Prompt Engineering

Hiệu quả của phương pháp này được thể hiện thông qua tính năng AccountIQ của LinkedIn, tính năng này đã giảm thời gian nghiên cứu công ty từ hai giờ xuống còn năm phút.

Sự cải thiện này không chỉ là về xử lý nhanh hơn — nó thể hiện một sự thay đổi cơ bản trong cách các tính năng AI có thể được phát triển và tinh chỉnh với sự đóng góp trực tiếp từ các chuyên gia trong lĩnh vực này.

Chúng tôi không phải là chuyên gia trong lĩnh vực bán hàng, Karolewski nói. Nền tảng này cho phép các chuyên gia bán hàng trực tiếp xác thực và tinh chỉnh các tính năng AI, tạo ra một vòng phản hồi chặt chẽ mà trước đây không thể thực hiện được.

Mặc dù LinkedIn không có kế hoạch mở mã nguồn “sân chơi” prompt engineering Gen AI của mình do tích hợp sâu với các hệ thống nội bộ, nhưng cách tiếp cận này mang lại bài học cho các doanh nghiệp khác muốn mở rộng quy mô phát triển AI. Mặc dù việc triển khai đầy đủ có thể không khả dụng, nhưng các khối xây dựng cơ bản tương tự — cụ thể là LLM, LangChain và Jupyter Notebooks — có sẵn cho các tổ chức khác để xây dựng một cách tiếp cận tương tự.

Cả Karolewski và Prakash đều nhấn mạnh rằng với Gen AI, điều quan trọng là tập trung vào khả năng tiếp cận. Điều quan trọng nữa là cho phép cộng tác đa chức năng ngay từ đầu.

Chúng tôi đã nhận được rất nhiều ý tưởng từ cộng đồng và chúng tôi đã học được rất nhiều điều từ cộng đồng, Lukasz nói. Chúng tôi chủ yếu tò mò những người khác nghĩ gì và họ đang mang chuyên môn từ các chuyên gia về chủ đề vào các nhóm kỹ thuật như thế nào.

Tóm Tắt và Bài Học Kinh Nghiệm

Bài học rút ra từ LinkedIn cho thấy rằng việc xây dựng một môi trường hợp tác, dễ tiếp cận cho prompt engineering có thể mang lại những lợi ích đáng kể cho các tổ chức đang muốn khai thác sức mạnh của AI sinh tạo. Bằng cách kết hợp các công nghệ như LLMs, LangChain và Jupyter Notebooks, LinkedIn đã tạo ra một “sân chơi” cho phép các chuyên gia kỹ thuật và người dùng không chuyên cùng nhau thử nghiệm, học hỏi và tối ưu hóa các prompt. Điều này không chỉ giúp cải thiện hiệu quả và năng suất mà còn thúc đẩy sự đổi mới và khám phá các ứng dụng mới của AI trong nhiều lĩnh vực khác nhau.

Lời khuyên cho các tổ chức khác:

• Tập trung vào khả năng tiếp cận: Đảm bảo rằng các công cụ và nền tảng prompt engineering dễ sử dụng cho tất cả mọi người, bất kể trình độ kỹ thuật của họ.
• Khuyến khích sự hợp tác: Tạo ra một môi trường nơi các chuyên gia từ các lĩnh vực khác nhau có thể làm việc cùng nhau để chia sẻ ý tưởng và kiến thức.
• Thử nghiệm và lặp lại: Khuyến khích người dùng thử nghiệm các prompt khác nhau và học hỏi từ những kết quả thu được.
• Đo lường và đánh giá: Theo dõi và đánh giá hiệu quả của các prompt để xác định những gì hoạt động tốt và những gì cần cải thiện.

Với sự phát triển không ngừng của AI, prompt engineering sẽ tiếp tục đóng vai trò quan trọng trong việc giúp các tổ chức khai thác tối đa tiềm năng của công nghệ này. Cách tiếp cận sáng tạo của LinkedIn là một ví dụ điển hình về cách xây dựng một hệ thống hiệu quả và bền vững cho việc phát triển và triển khai các ứng dụng AI.