Traitement signal et image - 2016-06-02

la team Traitement d'Image est UP il s'agit de Hyacinthe Zahra (étudiante ISEP) ils travailleront sur l'interface cloud9 les premiers steps identifiés par soobash sont : - débruitage sur image en coordonnées polaires, i.e. avant scan conversion pour que le denoising soit le plus efficace possible : sur images échos + images de synthèse - mesure des KPIs et stress test des soumissions d'algo - utilisation de fantomes en situation réelle - passage à GPU great ;) !

Hyacinthe - 2016-06-07 at 4:40 PM

demain réu hebdo de la team "traitement d'images"/denoising au programme - définition du workflow sur Cloud9 - formalisation des espaces utilisateurs : règle de gestion users, permissions, contrôle de source - validation des soumissions algo / denoising - règle de création d'images - test des premiers algo sur images scan-convertées

Hyacinthe - 2016-06-14 at 1:58 PM

soobash produit ses premiers filtres de denoising le process de soumission est ici une entrée wiki pour l'image processing est créée

Hyacinthe - 2016-06-14 at 7:43 PM

Nickel! Suite à nos échanges sur le format de l'image (dont les specs sont résumées ici -- on les valide une bonne fois pour toute pour le stockage des données, good pour toi Hyacinthe lacenne ?), des images sont sorties au bon format CSV et prêtes à être exploitées sur ce repo. A noter, le filereader.py devra etre ajusté, et le Hyacinthes.py as well, puisque ces données sont caractéristiques de chaque CSV.

Hyacinthe - 2016-06-16 at 9:29 AM

oui, on est ok c validé. je fais l'update asap. dans les nouveaux jeux de données, tu as ajouté les meta-data ? btw, c koi le process précis pour les pull requests, parce que ca me paraît un peu long

Hyacinthe - 2016-06-16 at 9:33 AM

bwt, peux-tu updater, par une bannière d'info indiqant notre choix, la page wiki du challenge format : http://echopen.org/index.php/Challenge:_Data_format @+

Hyacinthe - 2016-06-16 at 9:47 AM

Je débarque un peu tard, mais si j'ai bien compris, c'est du CSV avec les meta-données à la fin ? Pas très classique, sachant que les meta-données pourraient conditionner la lecture des données (nombre de lignes, cadrage des valeurs, unités, dimensionnement de tableau...) , cela oblige à lire le fichier en deux passes : une pour trouver les meta à la fin et une autre pour lire, pré-traiter et stocker les données.

Hyacinthe - 2016-06-16 at 10:53 AM

@Hyacinthe : indeed, dans le dossier examples_csv, tu as les data au nouveau format, et bzippées. ( <https://github.com/kelu124/murgen-dev- kit/tree/master/software/examples_csv> ) -- avec un preview des raw data en PNG, classés par timestamp. @bivi: oui et non, en une passe de fichier, lecture ligne à ligne, tu peux structurer ton jeu de données quand tu construis ton reader. Dans tous les cas, tu dois lire ttes les données, avant de pouvoir tout processer. C'est vrai que les méta en tete du fichier sont plus classiques (exemple du DICOM) mais l'un dans l'autre on n'est pas sur des fichiers monstrueux, et quand on voudra finaliser ca dans un format de distribution on pourra tout encapsuler en DICOM classique. @Hyacinthe: page challenge et banniere modifiées

Hyacinthe - 2016-06-16 at 11:14 AM

Bon, prenons le sujet dans l'autre sens ;-) : quel est l'intérêt d'avoir les données en premier ?

Hyacinthe - 2016-06-16 at 3:35 PM

ok Hyacinthe Hyacinthe : j'ai updaté aussi cette page

Soobash - 2016-06-16 at 7:09 PM

Salut Je reviens de lyon. Ba voir la levture du. data demain.

Hyacinthe - 2016-06-27 at 2:56 PM

DICOM server for medical imaging : Orthanc

Hyacinthe - 2016-06-27 at 3:01 PM

Indeed: on avait eu un premier contact (non seulement à travers l'article de Medor) mais aussi plus direct, avec une idée sur le format des données : http://www.echopen.org/index.php/Challenge:_Data_format#Need_to_make_it_compatible_with_DICOM (c'est le fondateur d'orthanc qui écrivait ca =) ).

Hyacinthe - 2016-06-27 at 3:06 PM

Ils viennent de sortir une nvlle version : https://twitter.com/sjodogne/status/747412280682287104

Hyacinthe - 2016-07-01 at 9:41 AM

Hello, la team trouve son rythme de croisière hebdo -> le mercredi fin d'am Hyacinthe Schannes, doctorant en stat/machine learning, X et amateur de débruitage nous a rejoint

Hyacinthe - 2016-07-01 at 9:44 AM

Sweet! Y'a un canal de communication sur le sujet?

Hyacinthe - 2016-07-07 at 5:00 PM

réu hebdo : la méthode de contribution est calée

les métriques d’appréciation des performance du débruitage trouvée https://drive.google.com/open?id=0B0V8htWBLPWBbml5WEZDVXRRd2s

zahra travaille pour la semaine pro. à un script de validation des soumissions : input vs. output selon ses métriques

soobash a fait un premier algo de débruitage : plus adapté à du débruitage sur screen shot plutôt qu’en temps réel. Ceci étant le code agit localement sur des fenêtres de pixels, et pourraient passer sous GPU

@me README

Hyacinthe - 2016-07-07 at 6:00 PM

Si vous voulez vous faire la main sur un signal normalisé acquis a tres haute vitesse, d'un fantome simple, n'hésitez pas à vous faire la main, c'est sur <https://github.com/kelu124/murgen-dev- kit/blob/master/worklog/Zach/2016-07-06.md> =) Attention, il s'agit des données brutes, donc vous pouvez aussi simuler le detecteur d'enveloppe avec un Hilbert. Have fun!

Hyacinthe - 2016-07-21 at 11:28 AM

réu hebdo hier - synthèse de revue de la littérature - relecture du code de zhara pour script de validation, analyse des soumissions - présentation par Hyacinthe shannes des principales métriques de signal-bruit - script de testing de toutes les métriques pour la semaine prochaine par Hyacinthe Soobash propose une publication

Hyacinthe - 2016-08-03 at 5:06 PM

réu hebdo - update des packages installés sur README.md - avancement sur calcul des métriques - récupération de l'ouvrage "Despeckle Filtering for Ultrasound Imaging and Video"

Hyacinthe - 2016-08-13 at 2:30 PM

Séance hebdo du 10.08.16

- l’équipage est en vacances et échange d’ordre général avec Hyacinthe

- Hyacinthe Soobash livre les scripts de calcul des métriques ces tous prochains jours

- nous sommes rejoint dans la team par Loic, aka hackolite, spécialiste de python

Loic va travailler à l’implémentation des contributions sur la plate-forme collaborative, dont voici le workflow

1) setup de l’espace de travail conformément au README

2) dump du dossier input

3) mis au point de l'algo

4) la fonction main() analyse la soumission en rapportant l’input à l’output selon les métriques définies (cf. séance du 03.08.16),

5) update du leaderboard sur la plate-forme online de récupération de data

Loic va travailler au point 4 et 5, avec Zahra

Btw, pour les deux prochaine semaines, trêve estivale !

Hyacinthe - 2016-08-18 at 3:21 PM

hello, Loic a soumis un pull request en cours de reviewing : il s'agit de la routine qui permet de valider une soumission, de comparer input et output. Next steps - validation des scripts définissant les qaulity metrics d'un processing - connection avec le leaderboard - lancement appel à contribution

Hyacinthe - 2016-09-08 at 10:15 AM

réunion du 08.09.2106 sortie des premiers scripts et métriques. pour les spécialistes, il s'agit calcul de mse, rmse, ssim en cours pour la semaine prochaine - loic commence à updater la boucle de soumission en ajoutant le calcul des précédentes métriques dans son workflow - soobash finit les scripts relatifs aux calculs de 6 métriques complémentaires - Hyacinthe fait une review de "Despeckle filtering for ultrasound imaging and video, Vol. I: Algorithms and software" , notamment pour explorer les techniques statistiques à l'usage en débruitage

Hyacinthe - 2016-10-05 at 9:07 PM

réunion du 05.10.16 : review de l'archi de contribution - soobash continue de scripter les métriques, mais on en a l'essentiel - loic a packagé le script de récupération des algo et d'extraction des métriques selon les scripts de soobash - l'arcghitecture pour le contributeur évolue dans le sens suivant - > l'espace ide collaboratif (cloud9) permet d'exposer et de jouer avec les codes des contributeurs et leurs libs -> une interface web/python notebook : avec un "how to" pour package un algo python et qui permet de le soumettre. Le contributeur fait le choix de son environnement de dev et garde ainsi toutes ses routines -> nous processons le package, extrayons les métriques et updatons le leaderboard Au total, on est prêt dans 2 ou 3 semaines. le bottle neck est la mise en route de l'acquisition dans l'acquarium, idéalement avec fantômes (rdv à ce sujet dans 2 semaines avec medicalem pour livraison d'un fantôme carotidien). Dès que c bon, on prépare et lance un challenge autour du denoising : appel à compétences et mise en compétition P6, MIT ?

Hyacinthe - 2016-10-10 at 3:38 PM

hello, Nous comptons 1 nouveau membre dans le groupe Image Processing

Nourredine Ellouz est chercheur en traitement du signal, tout jeune retraité, qui a dirigé un laboratoire d'une centaine de chercheurs en Tunisie et qui se proposent de piper de nouvelles ressources, notamment ses étudiants, pour notre groupe. De plus, il n'a pas fait d'elec depuis un moment mais se pique d'en refaire Et le plus fou, c'est que, lorsqu'on lui a parlé de l'ENS, on a évoqué Gérard et il se trouve qu'ils se connaissent !!! ils ont travailmé ensemble dans les années 90'. #P'tiMonde

Btw, à la prochaine séance, Hyacinthe sera des nôtres car il souhaite se familiariser avec notre approche, songeant à des approches "réseaux de neurones" pour le débruitage, l'idée étant de maintenir une articulation entre le groupe Image Processing et le groupe IA

Hyacinthe - 2016-10-13 at 7:17 AM

réu 12.10.16 Nourredine Ellouze, ancien dir. de recherche en traitement du signal, avec une focale sur le denoising + ingénieur électrique + plein de choses, rejoint notre groupe ;)

Les next steps évoqués sont en parallèle :

1) Plate-forme web

achever la plate-forme d'upload/extraction des métriques des algorithmes de débruitage + branchement de la sonde dans l'acquarium

2) Challenge

monter un challenge à partir de datasets, soit existant & accessibles via un récent challenge de Kaggle, soit à partir des data d'echOpen

3) Algo

- quel spécificité du bruit échographique ? savoir reproduire artificiellement le bruit pour les injecter dans les images -> priorité de la semaine qui vient

- les reverse engeneerer par réseaux de neurones. A ce titre, Hyacinthe, animateur du groupe IA d'echOpen était présent, car important de maintenir une articulation entre le groupe Image processing et le groupe IA et a donné des pistes de travail : débruitage, compression du signal au plan pratique, les membres du groupe choisissent de se retrouver tous les jeudis à compter du 27.10.16. Mais semaine pro, la réu a bien lieu un mercredi, soit le 19.10.16 oilà !

Hyacinthe - 2016-10-20 at 7:11 AM

réu 19.10.16 1) discussion du challenge online qui sera lancé dès que tout est prêt 2) interface web, django app, de récupération, d'analyse des soumissions et de leaderboard achevée thanks @loic;) @todo : analyse non d'une image mais d'une boucle d'images + système de login 3) scripts de métriques des soumissions terminés thanks Hyacinthe Soobash ;) @todo constituer les métriques qui nous sont propres 4) demeure la question de l'analyse de la typologie de bruit en vue de pouvoir l'injecter à des "images saines" à des fins d'apprentissage. C @Hyacinthe qui s'y colle pour la semaine pro thanks;) oilà !

Hyacinthe - 2016-10-27 at 11:49 PM

réu 27.10.16 1) proposition par Hyacinthe Soobash d'un score pour le ranking du leaderboard + discussion sur l'adaptation des métriques de frames d'images 2) évolution de l'interface leaderboard par @hackolite @todo : adaptation de l'algo pour calculer les métriques sur une séquence image, plutôt qu'une image tel que c'est le cas aujourd'hui 3) présentation par @Hyacinthe d'une méthode d'injection sur images de bruit spécifique à l'écho. @todo : implémentation d'un premier réseau de neurones pour débruiter des images;) nota bene : les réu se tiennent maintenant tous les jeudis ! oilà;)

Hyacinthe - 2016-11-10 at 7:41 PM

CR Meeting 10.11.16 ca se passe à présent ICI ! annonce d'1 nouvel arrivant dans la team Signal Processing : Mohamed Mahdi, polytechnicien de tunis, en ce moment à l’école des Mines, spécialité Robotique & Traitement du Signal