RELUNG.ID – DeepSeek yang telah berhasil di dunia mobile, kini mulai berekspansi ke sistem Windows. Kali ini, DeepSeek mendapat dukungan penuh dari Microsoft.
Raksasa perangkat lunak ini menambahkan model DeepSeek R1 ke Azure AI Foundry untuk memungkinkan para pengembang menguji dan membangun aplikasi dan layanan berbasis cloud dengannya.
Hari ini, Microsoft mengumumkan bahwa mereka menghadirkan versi dari R1 ke Copilot+.
Model ini akan tersedia untuk perangkat yang ditenagai oleh chip Snapdragon X, lalu yang menggunakan prosesor Intel Core Ultra 200V dan kemudian PC berbasis AMD Ryzen AI 9.
Model pertama adalah DeepSeek-R1-Distill-Qwen-1.5B dengan model 7B dan 14B yang lebih besar dan lebih mumpuni akan segera hadir. Model-model ini akan tersedia untuk diunduh dari Microsoft AI Toolkit.
Microsoft harus mengubah model-model ini untuk mengoptimalkannya agar dapat berjalan pada perangkat dengan NPU.
Operasi yang sangat bergantung pada akses memori berjalan di CPU, sementara operasi intensif secara komputasi seperti blok transformator berjalan di NPU.
Dengan pengoptimalan, Microsoft berhasil mencapai waktu yang cepat untuk token pertama (130ms) dan tingkat throughput 16 token per detik untuk permintaan pendek (di bawah 64 token).
Microsoft adalah pendukung kuat dan sangat berinvestasi di OpenAI (pembuat ChatGPT dan GPT-4o), tetapi tampaknya mereka tidak pilih kasih, Azure Playground-nya memiliki model GPT (OpenAI), Llama (Meta), Mistral (perusahaan AI), dan sekarang DeepSeek juga.
Namun, jika pengguna lebih menyukai AI lokal, maka dapat mengunduh AI Toolkit untuk VS Code terlebih dahulu. Dari sana, pengguna dapat mengunduh model secara lokal seperti “deepseek_r1_1_5” adalah model 1.5B.
Terakhir, tekan Try di Playground untuk melihat betapa pintarnya versi distill R1 ini.
Model distillation, kadang-kadang disebut ‘knowledge distillation’, adalah proses mengambil model AI yang besar (DeepSeek R1 yang lengkap memiliki 671 miliar parameter) dan mentransfer sebanyak mungkin pengetahuannya ke model yang lebih kecil. (AAL)
