BGE-M3
Free.ai (self-hosted)
·
embeddings
·
~100 tokens për call
BGE-M3 është a Modeli i embedding i ndërtuar nga BAAI. Më i forti në Text embeddings, semantic search. Vetë-pritur në Free.ai GPUs — funksionon pa pagesë kundër pool-it të token-it të përditshëm (100 tokens për thirrje). Liruar nën MIT - përdorimi komercial i lejuar nën Free.ai.
Përdorimi nëpërmjet API
API REST e përshtatshme me OpenAI. Gjenerati një kyç dhe thirreni këtë model në sekonda.
curl -X POST https://api.free.ai/v1/image/generate/ \
-H "Authorization: Bearer sk-free-..." \
-H "Content-Type: application/json" \
-d '{"model":"bge-m3","prompt":"your prompt here"}'Pyetja e shpeshtë
BGE-M3 konverton tekstin në një vektor të dendur (një listë me vlera të lëvizshme) që kap kuptimin. Përdoret për kërkim semantik, grupim, rekomandim, gjenerimin e zgjeruar të kërkimit (RAG) dhe çdo detyrë ku "është ky tekst i ngjashëm me atë tekst" ka rëndësi.
Dimensionet tipike janë 384, 768, 1024 ose 1536 në varësi të modelit. BGE-M3 emiton 1024-dim; OpenAI Ada emiton 1536. Përgjigja e API përfshin dimensionin kështu që vektor DB zgjedh indeksin e duhur.
Modelet e ndërtimit modern (duke përfshirë shumë opsione në Free.ai) janë trajnuar në më shumë se 100 gjuhë. Kërkimi ndërgjuhësor punon - kërko në anglisht, përputh dokumentet në spanjisht.
512 deri 8,192 tokens në varësi të modelit. Inputet më të gjata shkurtohen - fragmenti i dokumenteve të gjata në paragrafë para integrimit.
BGE-M3 punon në GPU-të tona dhe është ndër instrumentet më të lira - rreth ~100 token për thirrje të tërhequr nga pooli juaj i përditshëm i lirë. $5 = 200K token.
Po - POST një listë stringash tek /v1/embeddings/ dhe BGE-M3 kthen një listë vektorësh në të njëjtin renditje. Madhësia e baçës deri në 2,048 për kërkesë.
Normalizuar L2 në mënyrë të paracaktuar - ngjashmëria e kosinus = prodhimi i pikës. Përcille `normalize=false` nëse dëshiron vektorë të papërpunuar për një metrikë distancë të ndryshme.
Çdo - Pinecone, Weaviate, Qdrant, Chroma, pgvector, FAISS, LanceDB. BGE-M3 kthen vlera të thjeshta JSON; DB nuk e sheh kurrë modelin.
Po - POST tek /v1/embeddings/ me modelin "BGE-M3". Përgjigja e përshtatshme me OpenAI, kështu që libraritë ekzistuese të klientëve punojnë pa ndryshim. /api/ ka referencën e plotë.
Modelet e vetë-hostuara e mbajnë tekstin tuaj në GPU-në tonë dhe e heqin kur thirrjet kthehen. Premiumi kalon nëpërmjet një DPA. Ne nuk trajnojmë në input-in tuaj.
Sub-100ms për tekst të shkurtër në vetë-host, 100-500ms në premium. Thirrjet e grupit shkallëzojnë rreth linearisht - 1,000 copë të plotësuara në 2-10 sekonda.
Po, Free.ai lejon përdorimin komercial të ndërtimit të kërkimit, RAG-it, sistemeve të rekomandimit pa pagesë për vektor.