ข้อผิดพลาดและวิธีแก้ไข API ของ Openrouter ทั่วไป

1. การละเลยส่วนเกิน 20% ในต้นทุนรวม

ผู้ให้บริการรวมเรียกเก็บเงินคุณมากกว่าอัตราพื้นฐานของผู้ให้บริการ สร้างภาษีแฝงบนโทเค็นทุกตัว คุณจ่ายราคาดิบจากผู้ให้บริการบวกกับค่าธรรมเนียมบริการ ซึ่งมักอยู่ที่ประมาณ 20% ส่วนเพิ่มนี้ใช้กับทั้งโทเค็นอินพุตและเอาต์พุต เมื่อคุณขยายไปยังคำขอหลายพันรายการ ส่วนเพิ่ม 20% นี้จะสะสมกลายเป็นการใช้จ่ายที่สูญเปล่าอย่างมาก คุณอาจคิดว่าจ่าย $0.10 ต่อหนึ่งล้านโทเค็น แต่ต้นทุนจริงคือ $0.12 ซึ่งลดอัตรากำไรของคุณหากคุณขายต่อ API access นอกจากนี้ยังทำให้งบประมาณการทดสอบของคุณช้าลงระหว่างการพัฒนา นักพัฒนาจำนวนมากไม่ทราบว่าตนเองกำลังจ่ายสำหรับโครงสร้างพื้นฐานเปลี่ยนเส้นทางที่ไม่จำเป็น ผู้ให้บริการโดยตรงมักเสนอราคาโทเค็นดิบโดยไม่ต้องมีชั้นนี้ คุณประหยัดเงินได้โดยการตัดคนกลางออก การประหยัดเกิดขึ้นทันทีและโปร่งใส คุณรู้ exact ว่าจ่ายต่อโทเค็นเท่าไร ไม่มีค่าธรรมเนียมบริการแฝงที่ทำให้ต้นทุนบิดเบือน การวางแผนงบประมาณของคุณจะแม่นยำขึ้น คุณสามารถคาดเดาค่าใช้จ่ายได้อย่างแม่นยำ ซึ่งสำคัญสำหรับแอปพลิเคชันที่ใช้ปริมาณมาก

2. การตีความการนับโทเคนและหน้าต่างบริบทผิด

หน้าต่างบริบทถูกแชร์ระหว่าง input และ output ของคุณ ไม่ใช่ถังแยกต่างหาก คุณต้องคำนวณ token ทั้งหมดที่ใช้ในคำขอเดียว หากขีดจำกัดบริบทคือ 128k คุณไม่สามารถส่ง input 100k tokens แล้วคาดหวัง output 128k ได้ พื้นที่ที่เหลือมีเพียง 28k tokens เท่านั้น การเกินขีดจำกัดนี้จะทำให้เกิดการตัดทอนหรือข้อผิดพลาด บาง API คิดค่า token ที่ถูกตัดทอน บางแห่งคิดค่าสำหรับหน้าต่างทั้งหมดที่จองไว้ ตรวจสอบเอกสารสำหรับโมเดลการคิดราคาเฉพาะเสมอ คุณควรนับ token ท้องถิ่นก่อนส่งคำขอ สิ่งนี้ป้องกันค่าใช้จ่ายที่ไม่คาดคิด นอกจากนี้ยังรับประกันว่าข้อมูลของคุณจะพอดีกับขีดจำกัด เอกสารขนาดใหญ่ต้องการกลยุทธ์การแบ่งส่วนที่เหมาะสม คุณสามารถแบ่งข้อความออกเป็นส่วนย่อยที่เล็กลง ประมวลผลแต่ละส่วนแยกกัน สิ่งนี้ทำให้หน้าต่างบริบทจัดการได้ง่ายขึ้น ลดเวลาแฝงและค่าใช้จ่าย คุณยังคงควบคุมการไหลของข้อมูลได้ วิธีการนี้สำคัญมากสำหรับการสนทนาที่ยาวนาน การสะสมประวัติการใช้บริบทอย่างรวดเร็ว คุณต้องตัดข้อความเก่าออกเพื่อให้อยู่ในขีดจำกัด สิ่งนี้รับประกันประสิทธิภาพที่สม่ำเสมอ ป้องกันความล้มเหลวฉับพลัน

3. การมองข้ามผลกระทบของ VAT และภาษีขาย

ภาษีแตกต่างกันไปตามสถานที่ของคุณและสถานะการจดทะเบียนของผู้ให้บริการ ตัวรวมมักเพิ่มภาษีขายเหนือค่าธรรมเนียมบริการ ซึ่งหมายความว่าคุณต้องจ่ายภาษีบนส่วนต่างราคา อัตราภาษีที่มีประสิทธิภาพเพิ่มขึ้นอย่างมีนัยสำคัญ คุณอาจเห็นภาษี 7% บนราคาพื้นฐาน จากนั้นเพิ่มค่าธรรมเนียมอีก 20% ภาษีใช้กับยอดรวม สร้างผลกระทบทบต้น บิลสุดท้ายของคุณสูงกว่าที่คาด ผู้ให้บริการบางรายไม่เก็บภาษีในบางภูมิภาค บางรายเก็บภาษีแบบสากล คุณต้องรู้ว่าผู้จดทะเบียนอยู่ที่ใด ซึ่งส่งผลต่อการบัญชีและการยื่นภาษีของคุณ คุณควรคำนวณต้นทุนที่แท้จริงรวมภาษี เพื่อช่วยคุณประมาณการงบประมาณได้อย่างแม่นยำ คุณสามารถเลือกผู้ให้บริการที่มีประสิทธิภาพด้านภาษี ผู้ให้บริการโดยตรงมักมีโครงสร้างภาษีที่เรียบง่าย คุณจ่ายภาษีเฉพาะบริการ ไม่มีภาษีบนส่วนต่าง ทำให้การติดตามทางการเงินของคุณง่ายขึ้น ลดภาระการบริหาร คุณรู้แน่ชัดว่าคุณต้องจ่ายเท่าไหร่

4. สมมติว่าข้อจำกัดอัตราเป็นสากล

อัตราจำกัดการใช้งานขึ้นอยู่กับผู้ให้บริการและโมเดลเฉพาะ คุณไม่สามารถสันนิษฐานว่าอัตราจำกัดเดียวกันใช้กับทุกเอนด์พอยต์ได้ โมเดลบางตัวอนุญาตให้ส่ง 60 คำขอต่อนาที ในขณะที่บางตัวอนุญาตเพียง 10 คำขอ อัตราจำกัดอาจแตกต่างกันไปตามระดับบริการ คุณอาจมีระดับฟรีที่มีอัตราจำกัดเข้มงวด ในขณะที่ระดับที่เสียเงินเสนอปริมาณงานที่สูงขึ้น คุณควรตรวจสอบการใช้งานของคุณอย่างใกล้ชิด การเกินอัตราจำกัดจะทำให้เกิดข้อผิดพลาด 429 ซึ่งขัดจังหวะการทำงานของแอปพลิเคชันของคุณ คุณต้องนำลอจิกการลองใหม่มาใช้พร้อมการหน่วงเวลาแบบทวีคูณ เพื่อป้องกันไม่ให้เซิร์ฟเวอร์รับภาระมากเกินไป และเพื่อให้การทำงานราบรื่น คุณควรทดสอบอัตราจำกัดในช่วงการพัฒนา และทราบอัตราจำกัดปัจจุบันของคุณเพื่อวางแผนกลยุทธ์การปรับขนาดตามนั้น คุณสามารถกระจายคำขอผ่านคีย์หลายรายการ ซึ่งช่วยเพิ่มปริมาณงานรวมและให้ความทนทานหากคีย์ใดคีย์หนึ่งถูกจำกัดความเร็ว คุณจึงรักษาความน่าเชื่อถือได้ ซึ่งเป็นสิ่งสำคัญสำหรับระบบในสภาพแวดล้อมการผลิต ช่วยหลีกเลี่ยงการหยุดทำงาน และทำให้ผู้ใช้ของคุณพึงพอใจ

5. Using the Wrong Model ID or Endpoint

ผู้ให้บริการรวมใช้รหัสโมเดลที่ซับซ้อนซึ่งแมปไปยังผู้ให้บริการต่างๆ คุณต้องใช้รหัสที่ถูกต้องสำหรับโมเดลเป้าหมาย โครงสร้างของจุดปลาย (endpoint) อาจแตกต่างกันเล็กน้อย ผู้ให้บริการบางรายใช้ /v1/chat/completions ผู้ให้บริการอื่นใช้ /v1/completions คุณต้องจับคู่จุดปลายกับประเภทโมเดล การใช้จุดปลายที่ผิดทำให้เกิดข้อผิดพลาด คุณสูญเสียโทเค็นไปกับคำขอที่ล้มเหลว คุณควรตรวจสอบเอกสาร API ทดสอบด้วยคำขอขนาดเล็กก่อน สิ่งนี้ยืนยันว่าจุดปลายใช้งานได้ จากนั้นคุณสามารถขยายการใช้งานของคุณได้ คุณหลีกเลี่ยงความล้มเหลวที่ไม่คาดคิด คุณมั่นใจในความเข้ากันได้กับไลบรารีไคลเอนต์ของคุณ คุณใช้รูปแบบ SDK มาตรฐานของ OpenAI ซึ่งทำให้การเปลี่ยนผู้ให้บริการทำได้ง่ายขึ้น คุณเปลี่ยนเพียง URL พื้นฐาน โค้ดอื่นๆ ยังคงเหมือนเดิม ซึ่งลดเวลาในการพัฒนา และทำให้การบำรุงรักษาง่ายขึ้น คุณสามารถเปลี่ยนผู้ให้บริการได้ง่ายหากจำเป็น คุณคงความยืดหยุ่นไว้ ซึ่งเป็นข้อได้เปรียบหลักของ API มาตรฐาน

6. การไม่จัดการข้อผิดพลาดการสตรีมอย่างราบรื่น

การตอบแบบสตรีมอาจหยุดกลางคัน ปัญหาเครือข่ายทำให้การส่งข้อมูลบางส่วน การจัดการข้อผิดพลาดเหล่านี้อย่างนุ่มนวลเป็นสิ่งจำเป็น อย่าละทิ้งข้อมูลบางส่วนที่รับมา หากเป็นไปได้ให้บันทึกข้อมูลไว้ ลองเรียกใช้คำขอใหม่หากจำเป็น สิ่งนี้รับประกันความสมบูรณ์ของข้อมูล คุณสามารถสร้างการตอบกลับเต็มรูปแบบได้ คุณให้ประสบการณ์ผู้ใช้ที่ดีขึ้น ผู้ใช้เห็นเนื้อหาทันที พวกเขาไม่ต้องรอการสร้างข้อมูลทั้งหมด สิ่งนี้ลดความล่าช้าที่รับรู้ คุณควรจัดการเหตุการณ์ SSE อย่างถูกต้อง วิเคราะห์แต่ละส่วนเมื่อมาถึง ตรวจสอบโครงสร้างข้อมูล สิ่งนี้ป้องกันข้อผิดพลาดในการวิเคราะห์ข้อมูล คุณรับประกันว่าการตอบกลับนั้นถูกต้อง คุณสามารถบันทึกข้อผิดพลาดเพื่อการแก้ไขข้อบกพร่อง สิ่งนี้ช่วยให้คุณระบุรูปแบบได้ คุณปรับปรุงความน่าเชื่อถือเมื่อเวลาผ่านไป คุณสร้างแอปพลิเคชันที่แข็งแกร่ง สิ่งนี้จำเป็นสำหรับฟีเจอร์แบบเรียลไทม์ คุณรักษาการเชื่อมต่อให้ทำงานอยู่ คุณจัดการทรัพยากรอย่างมีประสิทธิภาพ สิ่งนี้ลดภาระบนเซิร์ฟเวอร์ มันปรับขนาดได้ดีกว่าภายใต้แรงกดดัน

7. ไม่ปรับให้เหมาะสมสำหรับประสิทธิภาพการเรียกใช้ฟังก์ชัน

Function calling เพิ่ม Overhead ให้กับคำขอแต่ละครั้ง คุณส่งสคีมาฟังก์ชันและข้อความผู้ใช้ โมเดลจะวิเคราะห์สคีมา มันสร้างการเรียกใช้ฟังก์ชัน สิ่งนี้ใช้โทเค็นเพิ่มเติม คุณควรลดขนาดสคีما ลบฟิลด์ที่ไม่จำเป็น รักษาคำอธิบายให้กระชับ สิ่งนี้ลดจำนวนโทเค็นอินพุต นอกจากนี้ยังทำให้การวิเคราะห์เร็วขึ้น คุณควรแคชสคีมาฟังก์ชัน อย่าส่งสคีมาเหล่านั้นซ้ำทุกครั้ง คำขอนี้ช่วยประหยัดโทเค็นและเวลา คุณควรทดสอบการเรียกใช้ฟังก์ชันอย่างละเอียด เพื่อให้แน่ใจว่าโมเดลเข้าใจรูปแบบ ใช้ตัวอย่างเพื่อแนะนำโมเดล สิ่งนี้ปรับปรุงความแม่นยำ คุณลดข้อผิดพลาดในการดำเนินการฟังก์ชัน คุณได้รับผลลัพธ์ที่คาดหวัง คุณสามารถเชื่อมโยงการเรียกใช้ฟังก์ชันสำหรับงานที่ซับซ้อน สิ่งนี้ต้องการการจัดการสถานะอย่างระมัดระวัง คุณติดตามประวัติการสนทนา คุณส่งบริบทที่ถูกต้อง สิ่งนี้รับประกันความต่อเนื่อง คุณสร้างเอเยนต์ที่ซับซ้อน สิ่งนี้ใช้ประโยชน์จากพลังเต็มรูปแบบของ API

8. ความเข้าใจผิดระหว่างการชำระเงินล่วงหน้าและแบบจ่ายตามการใช้งาน

เครดิตแบบเติมเงินจะล็อกเงินทุนของคุณไว้จนกว่าจะใช้งาน การใช้งานตามปริมาณจะเรียกเก็บเงินหลังจากใช้งานแล้ว โดยทั่วไปเครดิตแบบเติมเงินมักมาพร้อมโบนัส คุณจะได้รับเครดิตเพิ่มเติมสำหรับการเติมเงินจำนวนมากขึ้น ซึ่งช่วยลดต้นทุนต่อหน่วยจริงของคุณ ควรเลือกเครดิตแบบเติมเงินหากคุณใช้งาน API เป็นประจำ คุณไม่ต้องจ่ายขั้นต่ำรายเดือน คุณจ่ายเฉพาะสิ่งที่ใช้งานจริง ข้อผิดพลาดในระบบเครดิตแบบเติมเงินไม่เสียค่าใช้จ่าย คุณไม่ต้องจ่ายสำหรับคำขอที่ล้มเหลว ซึ่งช่วยประหยัดเงิน คุณสามารถติดตามการใช้จ่ายได้อย่างแม่นยำ คุณทราบยอดคงเหลือตลอดเวลา คุณควบคุมกระแสเงินสดได้ ซึ่งเหมาะสำหรับสตาร์ทอัพ คุณสามารถจัดการงบประมาณได้อย่างtight คุณสามารถเติมเงินเมื่อต้องการได้ คุณไม่สูญเสียเครดิตเลย มันไม่หมดอายุ ซึ่งให้ความยืดหยุ่น คุณสามารถใช้งาน API ในจังหวะของคุณเอง ซึ่งลดความเสี่ยงทางการเงิน คุณใช้จ่ายเฉพาะสิ่งที่ต้องการ