.webp&w=3840&q=95)
How we engineered RAG to be 50% faster
Tips from latency-sensitive RAG systems in production
स्मार्ट आर्किटेक्चर और गार्डरेल्स के माध्यम से नियंत्रित AI अनुभव बनाना
सफल एंटरप्राइज AI सिर्फ नवीनतम तकनीक के बारे में नहीं है—यह AI प्रिमिटिव्स पर आधारित सही आर्किटेक्चर और नियंत्रण के बारे में है। ऑफ-द-शेल्फ LLMs शक्तिशाली हैं, लेकिन वे बिजनेस लॉजिक, ब्रांड गाइडलाइन्स और सुरक्षा सिद्धांतों का गहरा ज्ञान नहीं रखते। यह कस्टम अनुभव केवल प्रॉम्प्ट्स, LLMs, गार्डरेल्स, टूल्स और अन्य बिल्डिंग ब्लॉक्स की एक प्रणाली को सावधानीपूर्वक आर्किटेक्ट और टेस्ट करके ही प्राप्त किया जा सकता है ताकि जेनरेटिव AI व्यवहार को एंटरप्राइज नियमों का पालन करने के लिए निर्देशित किया जा सके।
जब कन्वर्सेशनल वॉइस AI का निर्माण करते हैं, तो डेवलपर्स मल्टी-मोडल, वॉइस-टू-वॉइस मॉडल्स के साथ काम कर सकते हैं, या वे ASR (ट्रांसक्रिप्शन), LLMs, और TTS के घटक भागों को जोड़ सकते हैं। विशिष्ट उपयोग मामलों वाले एंटरप्राइज के लिए, बाद वाला अक्सर अधिक व्यावहारिक हो सकता है।
"एक एंटरप्राइज सेटिंग में, AI अक्सर केवल LLMs के साथ नहीं किया जा सकता," फेलिक्स सु, स्केल के GenAI प्लेटफॉर्म के इंजीनियरिंग प्रमुख, बताते हैं। "एक जटिल प्रणाली को बिजनेस लॉजिक का पालन करने, ब्रांड इमेज बनाए रखने और सख्त गार्डरेल्स के भीतर संचालित करने के लिए डिज़ाइन किया जाना चाहिए। ये व्यवहार प्रत्येक एंटरप्राइज के लिए कस्टम होते हैं, इसलिए इन प्रणालियों को LLMs के ऊपर लागू करना अधिक व्यावहारिक है, बजाय इसके कि उनके अंतर्निहित व्यवहार पर पूरी तरह से निर्भर रहें। जबकि मल्टी-मोडल क्षमताओं को हाल ही में सीधे मॉडल्स में शामिल किया गया है, इन मॉडल्स को महत्वपूर्ण उत्पादन उपयोग मामलों में अपनाने की गति अपेक्षा से धीमी रही है। यह उनके मोडालिटी में जनरेशन और इनपुट्स और आउटपुट्स के बीच नियंत्रण की कमी के कारण है। TIME AI के मामले में, STT और TTS का उपयोग करके हमने टेक्स्ट-आधारित LLMs के इनपुट्स को नियंत्रित किया और हमारे सिस्टम के आउटपुट्स को कस्टम गार्डरेल्स का उपयोग करके सुरक्षित किया। यह तकनीक अक्सर सीधे मल्टी-मोडल LLMs का उपयोग करने की तुलना में अधिक व्यावहारिक हो सकती है।"
TIME AI अनुभव का निर्माण करते समय, स्केल ने TIME के लेखों के कॉर्पस को ऑन-डिमांड पुनर्प्राप्ति के लिए नॉलेज बेस में इंडेक्स किया, बिजनेस लॉजिक को सिस्टम प्रॉम्प्ट्स की एक श्रृंखला में एन्कोड किया, और GenAI आउटपुट्स को भ्रम और सुरक्षा और ब्रांड गाइडलाइन्स के उल्लंघनों से सुरक्षित किया। इस प्रणाली के ऊपर, उन्होंने ElevenLabs कन्वर्सेशनल AI ऑर्केस्ट्रेशन प्लेटफॉर्म से एक आवाज के साथ अनुभव को जीवंत किया।
TIME AI के हालिया लॉन्च ने पाठकों को TIME की पत्रकारिता, जिसमें उनका प्रतिष्ठित पर्सन ऑफ द ईयर कवरेज शामिल है, के बारे में प्राकृतिक बातचीत में शामिल होने की अनुमति दी। इस कार्यान्वयन को अनगिनत अन्य चैटबॉट्स से अलग करने वाली बात सिर्फ इसका ज्ञान नहीं है—यह आवाज है।
"आवाज का उपयोग वास्तव में इसे एक अच्छा पंची एहसास देता है," सु ने कहा। "इसके बिना, यह सिर्फ एक और चैट बॉट के रूप में खो जाता है। हम चाहते थे कि एजेंट एक लाइव रीडिंग पार्टनर की तरह महसूस हो, जो ऑफ-स्क्रिप्ट कन्वर्सेशनल डीप डाइव्स के लिए उपलब्ध हो।" इस कार्यान्वयन ने AI विकास में स्केल AI की विशेषज्ञता को ElevenLabs के कन्वर्सेशनल AI प्लेटफॉर्म के साथ मिलाया, एक ऐसा अनुभव तैयार किया जो आश्चर्यजनक रूप से मानव जैसा महसूस होता है जबकि सामग्री और ब्रांड आवाज पर सख्त नियंत्रण बनाए रखता है।
जो एंटरप्राइज बड़े पैमाने पर कन्वर्सेशनल AI को लागू करना चाहते हैं, उनके लिए स्केल AI और ElevenLabs के साथ सहयोग एक सिद्ध मार्ग प्रदान करता है। स्केल AI मजबूत गार्डरेल्स के साथ नियंत्रित, सुरक्षित मल्टी-मोडल AI सिस्टम्स के निर्माण में गहरी विशेषज्ञता लाता है, जबकि ElevenLabs सर्वोत्तम-इन-क्लास वॉइस तकनीक प्रदान करता है जिसे इन सिस्टम्स में सहजता से एकीकृत किया जा सकता है।
जबकि TIME का कार्यान्वयन पत्रकारिता पर केंद्रित है, वही आर्किटेक्चर विभिन्न एंटरप्राइज उपयोग मामलों में लागू किया जा सकता है, विशेष रूप से ग्राहक सेवा और समर्थन में। ग्राहक बुनियादी चैटबॉट्स से थक चुके हैं क्योंकि वे अधिक आकर्षक, मानव-समान इंटरैक्शन की मांग करते हैं।
इस पोस्ट में योगदान देने के लिए फेलिक्स का धन्यवाद। आप फेलिक्स सु को LinkedIn और X पर पा सकते हैं, और आप TIME के साथ उन्होंने जो कन्वर्सेशनल AI वॉइस अनुभव बनाया है, उसे उनके पर्सन ऑफ द ईयर 2024 पर अनुभव कर सकते हैं, साथ ही 2021, 2022 और 2023 के पर्सन ऑफ द ईयर के लिए भी।
डेवलपर्स हमारे डॉक्यूमेंट्स का उपयोग करके कन्वर्सेशनल AI के साथ शुरुआत कर सकते हैं, और जो व्यवसाय उत्पादन में विश्वसनीय कन्वर्सेशनल वॉइस समाधान लागू करना चाहते हैं, वे ElevenLabs और स्केल की एंटरप्राइज सॉल्यूशंस टीम से संपर्क कर सकते हैं।
Tips from latency-sensitive RAG systems in production
Eagr.ai transformed sales coaching by integrating ElevenLabs' conversational AI, replacing outdated role-playing with lifelike simulations. This led to a significant 18% average increase in win-rates and a 30% performance boost for top users, proving the power of realistic AI in corporate training.
ElevenLabs द्वारा संचालित एजेंट्स