لخّصلي

Dans cette sous-section, nous expliquons l'utilisation d'une caméra de smartphone haute résolution pour identifier et classer les informations sur les oiseaux sur la base de l'apprentissage en profondeur. Pour compléter la tâche de recherche sémantique des oiseaux, nous avons établi une architecture client-serveur pour combler le fossé de communication entre le cloud et l'appareil mobile sur un réseau. Par la suite, un modèle d'inférence TF a été développé dans le poste de travail pour un déploiement dans le smartphone. Côté poste de travail/serveur, les segments suivants ont été pris en compte.

L'architecture CNN a été formée pour charger les données d'entrée brutes des images d'oiseaux à l'aide de Keras rappels avec les paramètres prédéfinis au format TF pour s'adapter au modèle d'inférence. Après la formation du modèle, les paramètres de tous les événements de session enregistrés de la progression du modèle à chaque époque ont été enregistrés sous forme de fichier de point de contrôle TF . Avant que le modèle formé ne soit figé, un objet économiseur a été créé pour la session, et les points de contrôle, le nom du modèle, le chemin du modèle et les couches de paramètres d'entrée-sortie du modèle ont été définis. Toutes les autres affectations de métadonnées explicites qui n'étaient pas nécessaires pour l'inférence client-serveur, telles que les répertoires GPU sur les nœuds de graphe ou les chemins de graphe, ont été supprimées.

Enfin, le modèle entraîné a été gelé en convertissant tous les paramètres variables du fichier de points de contrôle en constantes . Par la suite, les deux fichiers ont été sérialisés en un seul fichier en tant que ProtoBuf graph_def. Le graphe gelé en tant que ProtoBuf graph_def peut être optimisé, si nécessaire, pour l'inférence de faisabilité. Le graph_def ProtoBuf enregistré a été rechargé et réenregistré dans une valeur de chaîne sérialisée.

Une fois le modèle formé et enregistré pour l'inférence mobile sur le poste de travail, nous avons créé une application Android pour copier et configurer les fichiers d'inférence TF. La reconnaissance des oiseaux peut être exécutée via une inférence basée sur le cloud et l'appareil. Dans cette approche de l'inférence d'apprentissage en profondeur sur un appareil mobile, les paramètres du modèle formé sont chargés dans l'application mobile, et les calculs sont effectués localement sur l'appareil pour prédire la sortie d'image. En raison des avantages susmentionnés, l'inférence basée sur le cloud a été utilisée pour exécuter la reconnaissance d'images d'oiseaux.