Ước tính lượng calo thực phẩm dựa trên học tập sâu


UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ
INSTITUT FRANCOPHONE INTERNATIONAL

Frederic BANGADINGAR

Deep Learning-Based Food Calorie Estimation

Ước tính lượng calo thực phẩm dựa trên học tập sâu

Spécialité : Systèmes Intelligents et
Multimédia (SIM) Code : Programme pilote

MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE

Sous la direction de :
PhD NGUYEN Trong, enseignant chercheur à l’université de transport de
Hanoi et responsable du laboratoire de recherche et développement de IFI Solution

HANOÏ-2019


ATTESTATION SUR L’HONNEUR

J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données
et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La
Source des informations citées dans ce mémoire a été bien précisée.

Signature de l’étudiant

Frederic BANGADINGAR


Remerciement
Que soient ici remercie le DR Nguyen Trong Phuc pour son encadrement et ses conseils
avisés qui m’ont permis d’évoluer et d’acquérir ainsi de nouvelles connaissances et compétences dans la conduite des projets de recherche. Le DR HO Tuong Vinh qui m’a permis
de postuler à IFI Solution et M. Dinh van Hoan qui a facilité notre intégration et a proposé
le sujet de stage.
S’il est impossible de mentionner les nombreuses personnes ayant contribué à la réalisation
de cette étude, je me permets néanmoins d’exprimer toute ma gratitude à Mr. Bairia césar Dering, Mm Fidelia BANGADINGAR, ma maman Delphine Naimbaye, mes Frères et
soeurs pour le soutien et les encouragements.
Enfin, je tiens à remercier particulièrement à titre posthume mon père BANGADINGAR
NGARBE sans ses efforts mes études n’auront jamais été rendues possibles.

i


Table des matières
Introduction

1

1 Présentation du projet

3

1.1

Structure d’accueil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


3

1.1.1

Contexte du projet . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.1.2

Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.1.3

Objectifs du stage . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.2

Limitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.3

Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


4

2 État de l’art

6

2.1

Approche classique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.2

Approche basée sur le deep-learning . . . . . . . . . . . . . . . . . . . . .

7

2.2.1

Le CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.2.2

R-CNN(Regions and Convolutional Neural Networks) . . . . . . . .

10


2.2.3

Fast R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.2.4

Faster R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.2.5

Mobilenet ssd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

2.2.6

Single Shot Multibox Detector (SSD)

. . . . . . . . . . . . . . . .

17

2.2.7

YOLO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


18

2.2.8

Architecture de quelques reseau de neurones a convolutions . . . . .

20

2.2.9

Revue de litterature . . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.2.10 Tableau Récapitulatif des articles . . . . . . . . . . . . . . . . . . .

27

ii


Table des matières

iii

3 Solution proposée

29


4

3.1

Préparation du jeu de données . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.2

Modèles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3.2.1

Faster R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3.2.2

Mobilenet SSD . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3.2.3

Optimisation des modèles . . . . . . . . . . . . . . . . . . . . . . .


33

3.2.4

Intégration au mobile . . . . . . . . . . . . . . . . . . . . . . . . . .

33

3.2.5

Intégration à l’application mobile . . . . . . . . . . . . . . . . . . .

34

3.2.6

Evaluation de nos modèles . . . . . . . . . . . . . . . . . . . . . . .

34

3.2.7

Intersection over Union (IoU) . . . . . . . . . . . . . . . . . . . . .

35

3.2.8

mAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


36

Expérimentations et Résultats

37

4.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.2

Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.2.1

La mAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.2.2

Scenario de test . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40


4.2.3

Etude comparative . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

4.2.4

Bilan du stage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

CONCLUSION ET PERSPECTIVES

44

Annexe

45


Table des figures
2.1

schema global du cnn [2] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.2


illustration d’une operation de convolution [3]. . . . . . . . . . . . . . . . .

8

2.3

illustration d’une operation de pooling [4] . . . . . . . . . . . . . . . . . . .

9

2.4

illustration d’une operation de Relu [5] . . . . . . . . . . . . . . . . . . . .

10

2.5

illustration du fonctionnement du R-CNN [6]. . . . . . . . . . . . . . . . .

11

2.6

illustration du fonctionnement du fast R-CNN [7]. . . . . . . . . . . . . . .

12

2.7


illustration du fonctionnement du Faster R-CNN [8]. . . . . . . . . . . . .

13

2.8

illustration du fonctionnement de la couche RPN [9]. . . . . . . . . . . . .

14

2.9

illustration du fonctionnement de la couche RPN [10]. . . . . . . . . . . . .

15

2.10 illustration du fonctionnement de la couche de classification [11]. . . . . . .

16

2.11 couche de convolution mobilenet [12] .

. . . . . . . . . . . . . . . . . . . .

17

2.12 operation regression yolo [15]. . . . . . . . . . . . . . . . . . . . . . . . . .

19


2.13 operation regression yolo [15] . . . . . . . . . . . . . . . . . . . . . . . . . .

20

2.14 operation suppression max sur couche yolo [15] . . . . . . . . . . . . . . . .

20

2.15 architecture letnet-5 [16]. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

2.16 architecture de l’inception [17]. . . . . . . . . . . . . . . . . . . . . . . . .

21

2.17 architecture alexnet [18] . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.18 architeture du modele utilise dans l’article1 [19] . . . . . . . . . . . . . . .

23

2.19 architecture du modele article 2 [20] . . . . . . . . . . . . . . . . . . . . . .

25

2.20 interprétation des valeurs IoU [21]. . . . . . . . . . . . . . . . . . . . . . .


26

2.21 Resultat de lárticle3 [21]. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

3.1

29

Illustration de la solution proposée [21].
iv

. . . . . . . . . . . . . . . . . . .


Table des figures

v

3.2

Illustration de l’operation de labelisation . . . . . . . . . . . . . . . . . . .

30

3.3

Architecture de mobilenet ssd [22]. . . . . . . . . . . . . . . . . . . . . . .


32

3.4

architecture de la solution proposee pour le mobile [24] . . . . . . . . . . .

33

3.5

architecture de la solution proposee pour le mobile [24] . . . . . . . . . . .

34

3.6

Calcul de l’IoU à travers les cadres de prédictions [23] . . . . . . . . . . . .

35

4.1

Courbe de perte totale du modele Faster R-CNN

. . . . . . . . . . . . . .

38

4.2


Courbe de perte totale du modele Faster R-CNN

. . . . . . . . . . . . . .

39

4.3

Test thi kho tau sur ordinateur avec le modele mobilenet ssd . . . . . . . .

40

4.4

Test pho bo sur ordinateur avec le modele mobilenet ssd . . . . . . . . . .

41

4.5

Test thi kho tau sur ordinateur avec le modele mobilenet ssd . . . . . . . .

41

4.6

Test thi kho tau sur ordinateur avec le modele mobilenet ssd . . . . . . . .

42


4.7

A gauche le menu de l’application et a la droite detection de bun cha . . .

45

4.8

A gauche detection et estimation du ban bao et plication
mobile en java Android.
Pour la poursuite de ce travail d’autres pistes restées à explorer. Les perspectives suivantes
seraient envisageables :
L’implémentation de l’algorithme YOLO pour le comparer aux autres implémentés
La constitution d’un jeu de données avec les images recueillies sur le terrain
Le développement d’une application client- service en utilisant le service dédié de google :
Firebase.

44


Annexe
Dans cette section de faỗon dộtaillộe nos rộsultats et les courbes d’évaluation de nos
deux modèles
cas de l’application mobile

Figure 4.7 – A gauche le menu de l’application et a la droite detection de bun cha

45



46

Annexe

Figure 4.8 – A gauche detection et estimation du ban bao et a droite celui de trung op la


Annexe

47

Figure 4.9 – A gauche detection et estimation du mi xao et a droite celui de pho bo

Figure 4.10 – A gauche page d’accueil web et a droite page de telechargement de l’image


48

Annexe

Figure 4.11 – Test thi kho tau sur ordinateur avec le modele mobilenet ssd

Figure 4.12 – Test thi kho tau sur ordinateur avec le modele mobilenet ssd


Annexe

49

Figure 4.13 – A droite courbe de la perte de classification et gauche la perte de detection

faster r-cnn


Bibliographie

1.Fu-Chen Chen , Mohammad R, Jahanshahi. NB-CNN : Deep Learning-Based Crack
Detection Using Convolutional Neural Network and Naıve Bayes Data Fusion,IEEE
TRANSACTIONS ON INDUSTRIAL ELECTRONICS, VOL. 65, NO. 5, MAY 2018
2. https ://missinglink.ai/guides/tensorflow/tensorflow-image-classification/.
,accelerating AI adoption,consulté ke 06/04/2019
3. https ://www.cnblogs.com/gogoSandy/p/8684501.html
Blog Park, consulté le 15/04/2019
4. https ://medium.com/@CharlesCrouspeyre/comment-les-r%C3%A9seaux-de-neurones%C3%A0-convolution-fonctionnent-b288519dbcf8.
,Charles Crouspeyre Charles Crouspeyre consulté le 22/04/2019
5. https ://openclassrooms.com/fr/courses/4470531-classez-et-segmentez-des-donneesvisuelles/5083336-decouvrez-les-differentes-couches-dun-cnn
, DR Pascal Monasse et ing kimia nadjahi, consulté le 19/05/2019
6. Ross Girshick Jeff,Trevor Darrell Jitendra Malik . Rich feature hierarchies for accurate
object detection and semantic segmentation Tech report.
arXiv :1311.2524v5 [cs.CV] 22 Oct 2014.
7.Ross Girshick,Microsoft Research. Fast R-CNN.
IEEE International Conference on Computer Vision (ICCV) 2015.
8. Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun,Faster R-CNN : Towards
Real-Time Object Detection with Region Proposal
Networks.arXiv :1506.01497v3 [cs.CV] 6 Jan 2016.
9. http ://www.infosec-wiki.com/ ?p=432458 ,consulté le 25/05/2019
50


Bibliographie


51

10.https ://nttuan8.com/bai-11-object-detection-voi-faster-r-cnn/
,Tuan Nguyen, consulté le 24/05/2019 11.
https ://deepsense.ai/region-of-interest-pooling-explained/
,Tomasz Grel,consulté le 22/07/2019 12.Wei Liu,Dragomir Anguelov,Dumitru
Erhan,Christian Szegedy,Scott Reed,Cheng-Yang Fu,Alexander C. Berg SSD : Single
Shot MultiBox Detector.
arXiv :1512.02325v5 [cs.CV] 29 Dec 2016.
13.Navaneeth Bodla, Bharat Singh, Rama Chellappa,Larry S. Davis. Improving Object
Detection With One Line of Code
.arXiv :1704.04503v2 [cs.CV] 8 Aug 2017
14 Ronghang Hu1, Piotr Dollar, Kaiming He, Trevor Darrell,Ross Girshick,BAIR, UC
Berkeley,Facebook AI Research. Learning to Segment Every Thing .
arXiv :1711.10370v2 [cs.CV] 27 Mar 2018.
15.https ://www.kdnuggets.com/2018/09/object-detection-image-classification-yolo.html
, Michał Maj ,consulté le 13/06/2019 16.G. Hinton, Y. Bengio et Y. LeCun,LeCun, Deep
Learning NIPS’15 Tutorial,2015.
17.A. Krizhevsky,I. Sutskever,et G. Hinton,Imagenet classi
cation with deep convolutional neural networks.NIPS,2012
18. Christian Szegedy,Vincent Vanhoucke,Sergey Ioffe,Jonathon Shlens ,Rethinking the
Inception Architecture for Computer Vision,arXiv :1512.00567v3 [cs.CV] 11 Dec 2015
19.Trevor Standley,Ozan Sener,Dawn Chen,Silvio Savarese,image2mass : Estimating the
Mass of an Object from Its Image,1st Conference on Robot Learning (CoRL 2017),
Mountain View, United States.
20. Jingjing Chen,Chong-Wah Ngo,Deep-based Ingredient Recognition for Cooking Recipe
Retrieval , MM ’16 : Proceedings of the 24th ACM international conference on
Multimedia, Octobre 2016 .
21.Georgia Gkioxari, Ross Girshick, Piotr Dollar,Kaiming He,Facebook AI Research.
Detecting and Recognizing Human-Object Interactions arXiv :1704.07333v3 [cs.CV] 27

Mar 2018
22.Fadwa Al-Azzo, Arwa Mohammed Taqi, Mariofanna Milanova,Human Related-Health
Actions Detection using Android Camera based on TensorFlow Object Detection


52

Bibliographie

API,International Journal of Advanced Computer Science and Applications, Vol. 9, No.
10, 2018
23.Jesse Davis, Mark Goadrich. The Relationship Between Precision-Recall and ROC
Curves,International Journal of Advanced Computer Science and Applications, Vol. 9,
No. 10, 2018
24.Zhongjie Li,Rao Zhang,Object Detection and Its Implementation on Android
Devices,IEEE Conference on Computer Vision ,2015