BGE-M3
Free.ai (self-hosted)
·
embeddings
·
~100 Тоглоомын тэмдэгт call
BGE-M3 нь a Хуваалцах нь BAAI-ийн бүтээсэн. Хамгийн хүчтэй нь Text embeddings, semantic search. Free.ai GPU дээр өөрийн хосттой — таны өдөр тутмын токен нөөц (100 токен дуудлага бүрт)-ийн эсрэг үнэгүй ажиллана. MIT - Free.ai дээр худалдааны зорилгоор ашиглах зөвшөөрөлтэй.
API- ээр ашиглах
OpenAI-тай нийцсэн REST API. түлхүүр үүсгэж, энэ загварыг секундэд дуудна.
curl -X POST https://api.free.ai/v1/image/generate/ \
-H "Authorization: Bearer sk-free-..." \
-H "Content-Type: application/json" \
-d '{"model":"bge-m3","prompt":"your prompt here"}'Заримдаа асуудаг асуултууд
BGE-M3 нь текстийг утга агуулсан нягт вектор (хөлсөгч тооны жагсаалт) болгон хувиргаж өгдөг. Энэхүү функцийг семантик хайлт, багцлах, зөвлөмж, олж авах- нэмэгдүүлсэн үүсгэх (RAG) болон "энэ текст нь энэ тексттэй адилхан уу" гэсэн асуултанд хариулах зорилгоор ашиглана.
Жишээ нь 384, 768, 1024, эсвэл 1536 хэмжээсүүд загвараас хамаарна. BGE-M3 нь 1024-dim, OpenAI Ada нь 1536-dim-ийг гаргана. API хариулт нь хэмжээсийг агуулдаг тул векторын өгөгдлийн сан зөв индексийг сонгоно.
Шинэ үеийн нийлэг загварууд (Free.ai дээрх олон сонголтуудыг багтаасан) 100+ хэл дээр сургагджээ. Хэл хоорондын олж авах ажил - Англиар хайх, Испаниар тохирох баримтууд.
Модельээс хамааран 512- 8192 тэмдэгт. Хэт урт бичлэгийг тасална - өргөтгөл оруулахаасаа өмнө урт баримтыг параграф болгон хуваана.
BGE-M3 нь бидний GPU дээр ажилладаг бөгөөд хамгийн хямд хэрэгсэлүүдийн нэг юм - өдөр тутмын үнэгүй нөөцөөс дуудлага бүрт ~100 токен авч болно. $5 = 200K токен.
Тийм - POST strings list to /v1/embeddings/ and BGE-M3 returns vector list in the same order. Batch size up to 2048 per request.
L2- нийцсэн - косинус адилтгал = цэг үржүүлэг. Хэрэв та өөр зайны метрикийн хувьд түүхий векторыг хүсвэл 'normalize=false' - ийг өгнө үү.
Any - Pinecone, Weaviate, Qdrant, Chroma, pgvector, FAISS, LanceDB. BGE-M3 нь JSON- ийн хөдөлгөөнт тоог эргүүлж өгдөг; DB- ийн загварыг хэзээ ч харахгүй.
Тийм ээ - POST to /v1/embeddings/ with model="BGE-M3". OpenAI-тай нийцсэн хариултын хэлбэр, одоогийн үйлчлүүлэгчдийн сангууд өөрчлөгдөөгүйгээр ажиллана. /api/ нь бүрэн холбоостой.
Өөрийн сервертэй загварууд таны текстийг график процессороор хадгалж, дуудлага ирэхэд устгана. Premium нь DPA- гаар дамжуулна. Бид таны оруулсан мэдээллийг ашиглахгүй.
Өөрийн сервер дээр богино текстийн хувьд 100мс-ээс бага, үнэтэй сервер дээр 100-500мс. Бүтээгдэхүүний дуудлага нь ойролцоогоор шугаман хэмжээтэй - 1000 хэсгийг 2-10 секундэд гүйцэтгэнэ.
Тийм ээ - Free.ai нь нийлмэлүүдийг бизнесийн зорилгоор ашиглах эрх олгодог. Вектор бүрийн төлбөргүйгээр хайлт, RAG хоолой, зөвлөгөөний системийг бүтээ.