BGE-M3
Free.ai (self-hosted)
·
embeddings
·
~100 ପ୍ରତି ଟୋକନଗୁଡ଼ିକ call
BGE-M3 ହେଉଛି a ସନ୍ନିବେଶିତ ନମୁନା BAAI ଦ୍ୱାରା ନିର୍ମିତ । Text embeddings, semantic search ରେ ସବୁଠାରୁ ଶକ୍ତିଶାଳୀ । Free.ai GPUs ଉପରେ ସ୍ୱୟଂ-ହୋଷ୍ଟ — ଆପଣଙ୍କର ଦୈନିକ ଟୋକନ ପୁଲ (100 ଟୋକନ ପ୍ରତି କଲ) ବିରୋଧରେ ମୁକ୍ତ ଭାବରେ ଚାଲୁଛି। MIT ଅନ୍ତର୍ଗତ ମୁକ୍ତ କରାଯାଇଛି - ବାଣିଜ୍ୟିକ ବ୍ୟବହାର ପାଇଁ Free.ai ରେ ଅନୁମତି ଦିଆଯାଇଛି ।
API ମାଧ୍ୟମରେ ବ୍ୟବହାର କରନ୍ତୁ
OpenAI-ସଂଗତି REST API. ଗୋଟିଏ କି ସୃଷ୍ଟି କରନ୍ତୁ ଏବଂ ସେକଣ୍ଡଗୁଡ଼ିକରେ ଏହି ନମୂନାକୁ ଡକାନ୍ତୁ।
curl -X POST https://api.free.ai/v1/image/generate/ \
-H "Authorization: Bearer sk-free-..." \
-H "Content-Type: application/json" \
-d '{"model":"bge-m3","prompt":"your prompt here"}'ସାଧାରଣ ପ୍ରଶ୍ନ
BGE-M3 ପାଠ୍ୟକୁ ଏକ ଘନ ଭେକ୍ଟର (ଉଦୃଶ୍ୟତା ତାଲିକା)କୁ ପରିବର୍ତ୍ତନ କରେ ଯାହାକି ଅର୍ଥକୁ ଗ୍ରହଣ କରିଥାଏ। ଏହାକୁ ଅର୍ଥ ସନ୍ଧାନ, ଗୋଷ୍ଠୀକରଣ, ସୁପାରିଶ, ପୁନଃଗ୍ରହଣ-ବଢ଼ାଇଥିବା ଉତ୍ପାଦନ (RAG) ଏବଂ ଯେକୌଣସି କାର୍ଯ୍ୟ ପାଇଁ ବ୍ୟବହାର କରନ୍ତୁ ଯେଉଁଠି "ଏହି ପାଠ୍ୟ ସେହି ପାଠ୍ୟ ସହିତ ସମାନ ଅଟେ" ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ।
Typical dimensions are 384, 768, 1024, or 1536 depending on the model. BGE-M3 emits 1024-dim; OpenAI Ada emits 1536. The API response includes the dimension so your vector DB picks the right index.
ଆଧୁନିକ ସନ୍ନିବେଶ ନମୂନାଗୁଡ଼ିକ (Free.ai ଉପରେ ଅଧିକାଂଶ ବିକଳ୍ପଗୁଡ଼ିକ ସମେତ) 100+ ଭାଷାରେ ପ୍ରଶିକ୍ଷଣପ୍ରାପ୍ତ। କ୍ରସ-ଭାଷା ପୁନଃଗ୍ରହଣ କାର୍ଯ୍ୟ - ଇଂରାଜୀରେ ସନ୍ଧାନ, ସ୍ପେନିସରେ ଦଲିଲଗୁଡ଼ିକୁ ମେଳକ କରନ୍ତୁ।
512 ରୁ 8,192 ଟୋକନଗୁଡ଼ିକ ଆକାର ଉପରେ ନିର୍ଭର କରିଥାଏ। ଲମ୍ବା ନିବେଶଗୁଡ଼ିକ କଟିଯାଇଥାଏ - ସନ୍ନିବେଶ କରିବା ପୂର୍ବରୁ ଲମ୍ବା ଦଲିଲଗୁଡ଼ିକୁ ଅନୁଚ୍ଛେଦଗୁଡ଼ିକରେ କାଟିଦିଅନ୍ତୁ।
BGE-M3 ଆମର ନିଜ GPUs ଉପରେ ଚାଲୁଛି ଏବଂ ସବୁଠାରୁ ସସ୍ତା ସାଧନ ମଧ୍ୟରେ ଅଛି - ~100 ଟୋକନ ପ୍ରତି କଲ ଆପଣଙ୍କର ଦୈନିକ ମୁକ୍ତ ପୁଲରୁ ଆଣିଥାଏ। $5 = 200K ଟୋକନ।
ହଁ - /v1/embeddings/ କୁ ଗୋଟିଏ ଶବ୍ଦମାଳା ତାଲିକା POST କରନ୍ତୁ ଏବଂ BGE-M3 ଗୋଟିଏ ଭେକ୍ଟର ତାଲିକାକୁ ସମାନ ଧାଡ଼ିରେ ଫେରାଇଥାଏ। ପ୍ରତି ଅନୁରୋଧରେ ବ୍ୟାଚ ଆକାର 2,048 ପର୍ଯ୍ୟନ୍ତ।
ପୂର୍ବନିର୍ଦ୍ଧାରିତ ଭାବରେ L2-ସାମାନ୍ୟକୃତ - କୋସାଇନ ସମାନତା = ବିନ୍ଦୁ ଉତ୍ପାଦନ। ଯଦି ଆପଣ ଭିନ୍ନ ଦୂରତା ମିଟର ପାଇଁ କାର୍ବନ ଭେକଟର ଚାହୁଁଛନ୍ତି ତେବେ 'ସାମାନ୍ୟକରଣ=କଥା ସତ୍ୟ ନୁହେଁ'କୁ ପାସ କରନ୍ତୁ।
ଯେକୌଣସି - Pinecone, Weaviate, Qdrant, Chroma, pgvector, FAISS, LanceDB. BGE-M3 ସରଳ JSON ଫ୍ଲୋଟକୁ ଫେରାଇଥାଏ; DB କେବେହେଲେ ନମୂନାକୁ ଦେଖିନଥାଏ।
ହଁ - /v1/embeddings/ କୁ POST କରିବା ପାଇଁ ମଡେଲ="BGE-M3" ସହିତ। OpenAI-ସଂଗତିପୂର୍ଣ୍ଣ ଉତ୍ତର ଆକାର, ତେଣୁ ବର୍ତ୍ତମାନ ଗ୍ରାହକ ଲାଇବ୍ରେରୀଗୁଡ଼ିକ ଅଦଳବଦଳ ହୋଇନଥାଏ। /api/ ରେ ସମ୍ପୂର୍ଣ୍ଣ ସଂଦେଷଣ ଅଛି।
ସ୍ୱୟଂ-ହୋଷ୍ଟ ମଡେଲଗୁଡ଼ିକ ଆମର GPUs ରେ ଆପଣଙ୍କର ପାଠ୍ୟକୁ ରଖିଥାଏ ଏବଂ କଲ ଫେରିବା ପରେ ଏହାକୁ ପରିତ୍ୟାଗ କରିଥାଏ। Premium DPA ସହିତ ଯାଏ। ଆମେ ଆପଣଙ୍କର ନିବେଶ ଉପରେ ପ୍ରଶିକ୍ଷଣ କରୁନାହିଁ।
ସ୍ୱୟଂ-ହୋଷ୍ଟରେ ସଂକ୍ଷିପ୍ତ ପାଠ୍ୟ ପାଇଁ ଅଧି-100ms, ପ୍ରିମିଆରେ 100-500ms। ବ୍ୟାଚ କଲଗୁଡ଼ିକ ପାଖାପାଖି ରେଖାଗତ ଭାବରେ ମାପନ୍ତି - 1,000 ଚୁକ୍କ2-10 ସେକେଣ୍ଡରେ ସମ୍ପୂର୍ଣ୍ଣ ହୋଇଥାଏ।
ହଁ - Free.ai ସନ୍ନିବେଶଗୁଡ଼ିକର ବାଣିଜ୍ୟିକ ବ୍ୟବହାରକୁ ଅନୁମତି ଦେଇଥାଏ । ନିର୍ମାଣ ସନ୍ଧାନ, RAG ପାଇପଲାଇନ, ସୁପାରିଶ ପ୍ରଣାଳୀକୁ ନିର୍ମାଣ କରନ୍ତୁ ଯାହାକି ପ୍ରତି-ଭେକ୍ଟର ରୟାଲଟି ବିନା ।