HuggingFace menyediakan model terlatih, skrip fine-tuning, dan API pengembangan yang mempermudah proses pembuatan dan pencarian LLM. Model Garden mendukung Inferensi Penyematan Teks dan Inferensi Pytorch Reguler yang mendukung model populer dalam Huggingface, dan semua model yang didukung Inferensi Pembuatan Teks di HuggingFace.
Opsi penerapan
Untuk men-deploy model Wajah Memeluk yang didukung, buka Model Garden, lalu klik Deploy from Hugging Face.
Men-deploy di Vertex AI
Vertex AI menawarkan platform terkelola untuk membangun dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Vertex AI sebagai aplikasi downstream yang menyalurkan model Wajah Memeluk. Sebaiknya gunakan Vertex AI jika Anda menginginkan kemampuan MLOps end-to-end, fitur ML bernilai tambah, dan pengalaman serverless untuk pengembangan yang lebih efisien.
Untuk memulai, lihat contoh berikut:
- Beberapa model memiliki kartu model mendetail dan setelan deployment yang terverifikasi, seperti google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, mistralai/Mistral-7B-v0.1, BAAI/bge-m3, intfloat/multilingual-e5-large-instructstabilityai/stable-diffusion-2-1
- Beberapa model telah memverifikasi setelan deployment, tetapi tidak ada kartu model mendetail, seperti NousResearch/Genstruct-7B.
- Beberapa model memiliki setelan deployment yang tidak diverifikasi yang dihitung secara otomatis, seperti ai4bharat/Airavata.
Men-deploy di GKE
Google Kubernetes Engine (GKE) adalah solusi Google Cloud untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.
Untuk memulai, lihat contoh berikut:
- Beberapa model memiliki kartu model yang mendetail dan setelan deployment yang terverifikasi, seperti google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf, dan mistralai/Mistral-7B-v0.1).
- Beberapa model telah memverifikasi setelan deployment, tetapi tidak ada kartu model mendetail, seperti NousResearch/Genstruct-7B.