ML Kit

Sejak 2008, Lose It! telah membantu lebih dari 30 juta orang menurunkan berat lebih dari 50 juta pound. Aplikasi ini membantu pengguna mengelola diet mereka dengan membuat pencatatan makanan semudah mungkin, dan tim produk mereka selalu mencari cara baru untuk mempermudah segala sesuatunya.

Tim di balik Lose It! pertama kali memperkenalkan Snap It, algoritme pengenalan objek yang dirancang untuk membantu pengguna mencatat makanan favorit mereka hanya dengan mengambil foto. Namun, biaya komputasi yang tinggi dari algoritme ini memerlukan penggunaan server GPU, yang berarti mereka tidak dapat menyediakan pengalaman secara real time.

Sekitar waktu yang sama, tim juga ingin menambahkan fitur pemindaian label nutrisi, tetapi waktu analisis server hanya sedikit lebih cepat dibandingkan jika pengguna baru saja memasukkan informasi itu sendiri. Selain itu, karena kecepatan dan sinyal jaringan sel variabel dapat membuat atau merusak pengalaman pengguna, mereka tidak dapat menjamin performa yang konsisten.

Tim Lose It! tahu pengguna mereka akan menyukai kedua fitur tersebut, tetapi hanya jika mereka dapat membuatnya cukup cepat untuk menawarkan pengalaman secara real time. Jadi, apa yang dapat mereka lakukan untuk mempercepat proses ini?

Tim beralih ke ML Kit untuk mengatasi masalah kecepatan mereka. “ML Kit telah terbukti sangat berguna untuk men-deploy fitur pengenalan makanan kami, Snap It, menggunakan model TF Lite yang dikompresi dan terkuantisasi,” kata Edward W. Lowe, Jr. Ph.D., Director of Data Science dan AI di Lose It! Sebelumnya, algoritme Snap It di-deploy di server, yang mengharuskan transfer image makanan ke server untuk inferensi. Namun, “model kustom yang dihosting oleh ML Kit memungkinkan kami menerapkan model Snap It yang terukur di perangkat dengan lancar, yang memungkinkan pengguna kami menggunakan fitur ini secara real time dan tanpa koneksi data,” kata Lowe. “Dengan memanfaatkan API pengenalan teks di perangkat, kami dapat mengurangi waktu analisis gambar secara signifikan untuk pembacaan label nutrisi.”

“Penting, ML Kit memungkinkan kami menghosting model di Firebase“, kata Lowe. “Hal ini memungkinkan kami untuk memperbarui model dengan lancar di perangkat tanpa mengupdate aplikasi, mengurangi ukuran aplikasi, dan memungkinkan kami untuk melakukan pengujian A/B pada versi model. Penghentian deployment model dari rilis aplikasi memungkinkan kami merespons dengan cepat perilaku pengguna yang berubah dan mengatasi drift dengan lebih baik.”

Berkat ML Kit, Lose It! dapat meluncurkan pembaca label nutrisi berperforma tinggi yang tersedia secara luas. Pengguna kini dapat memindai label nutrisi untuk langsung mengisi informasi nutrisi untuk setiap makanan baru. Untuk pemindai label nutrisi, informasi biasanya dikenali dalam waktu kurang dari satu detik. Pengguna bahkan tidak perlu mengambil gambar—aplikasi dapat menarik informasi langsung dari tampilan kamera secara real time.