gemini-robotics-er-2-streaming-preview মডেল এন্ডপয়েন্টটি একটি ডেডিকেটেড স্ট্রিমিং এন্ডপয়েন্ট প্রদান করে যা লাইভ এপিআই (Live API)- এর সাথে ইন্টিগ্রেট করে, এবং আপনার অ্যাপ্লিকেশন ও রোবটের মধ্যে রিয়েল-টাইম, দ্বিমুখী মিথস্ক্রিয়া সক্ষম করে। এটি এমন এজেন্টদের জন্য উপযুক্ত যাদের দ্রুত ফিডব্যাক লুপ এবং পরিবেশের প্রতি প্রতিক্রিয়াশীল সাড়া প্রয়োজন।
ব্যবহারের ক্ষেত্র
- বহু-রোবট সমন্বয় : একাধিক রোবট একটি সাধারণ সেশনের মাধ্যমে কাজের অবস্থা সম্পর্কে যোগাযোগ করে এবং উপ-কাজ অর্পণ করে।
- নিরবচ্ছিন্ন পর্যবেক্ষণ : এমন রোবট যা কোনো দৃশ্য পর্যবেক্ষণ করে এবং নির্দিষ্ট ঘটনা ঘটলে, যেমন কোনো পাত্র পূর্ণ হয়ে গেলে, সেই অনুযায়ী কাজ সম্পাদন করে।
- গুদাম ও লজিস্টিকস : পিক-অ্যান্ড-প্যাক এজেন্ট যারা পণ্য দৃশ্যত যাচাই করেন, প্যাকিংয়ের অগ্রগতি পর্যবেক্ষণ করেন এবং ভুল সংশোধন করেন।
প্রযুক্তিগত বিবরণ
নিম্নলিখিত সারণিতে লাইভ এপিআই-এর প্রযুক্তিগত বিবরণ তুলে ধরা হলো:
| বিভাগ | বিস্তারিত |
|---|---|
| ইনপুট পদ্ধতি | অডিও (র 16-বিট PCM অডিও, 16kHz, লিটল-এন্ডিয়ান), ছবি (JPEG <= 1FPS), টেক্সট |
| আউটপুট পদ্ধতি | পাঠ্য |
| প্রোটোকল | স্টেটফুল ওয়েবসকেট সংযোগ (WSS) |
একটি এজেন্টিক সেটআপ তৈরি করুন
Live API-এর উপর ভিত্তি করে নির্মিত প্রতিটি রোবোটিক্স এজেন্ট তিনটি ধাপ অনুসরণ করে:
- রোবটের সক্ষমতাগুলোকে টুল হিসেবে ঘোষণা করুন। রোবটের প্রতিটি কাজ—যেমন দিক নির্ণয় করা, ধরা, কথা বলা—একটি নাম, বিবরণ এবং প্যারামিটার স্কিমা সহ একটি ফাংশন ডিক্লারেশন হয়ে ওঠে। শারীরিক কাজগুলোর ক্ষেত্রে অবশ্যই
"behavior": "BLOCKING"ব্যবহার করতে হবে, যাতে মডেলটি পরবর্তী পদক্ষেপ নেওয়ার আগে রোবটের কাজ শেষ হওয়ার জন্য অপেক্ষা করে। - একটি স্থায়ী সেশনে মাল্টিমোডাল ইনপুট স্ট্রিম করুন। একটি
live.connectসেশন খুলুন এবং কাজটি চলাকালীন তা খোলা রাখুন। আপনার রোবটের সেন্সর থেকে ভিডিও ফ্রেম, অডিও বা টেক্সট আসা মাত্রই পাঠিয়ে দিন। - একটি রিসিভ লুপের মাধ্যমে টুল কলগুলো পরিচালনা করুন। প্রতিবার মডেল যখন কোনো অ্যাকশন নির্বাচন করে, তখন এটি একটি
tool_callমেসেজ পাঠায়। আপনার রিসিভ লুপটি আপনার রোবট SDK-এর ফাংশনটি এক্সিকিউট করে এবং একটিtool_responseফেরত পাঠায়। সেশনটি খোলা থাকে এবং মডেলটি ফলাফলের উপর ভিত্তি করে পরবর্তী অ্যাকশনটি বেছে নেয়।