[BOINC] Topic sur DistrIT et le calcul via Java

Voici ce qui ressort des PM entre Yquetzal et moi-maime xD

Avant toure chose, je tiens à dire que c'est assez brouuillon et assez long.
Les idées "actuelles" se trouvent plus dans les derniers posts.
N'ayez pas peur et lancez vos idées aussi! :p



Donc pour déboucher sur les grandes questions à poser aux manitous de WCG... Je vous invite à en poser, etc ;) Qu'on essaie déjà d'avancer entre nous, et qu'on voie après...

Sinon tenter de te répondre déjà:

1) Le calcul est demandé à un serveur WCG je pense xD / Il se présente sous un exécutable il me semble ou sous quelques fichiers, car dans mon gestionnaire de tâches windows, j'ai deux processus en cours, nommés: wcg_hpf2_rosetta_5.18_windows_intelx86, tandis que mon dossier C:/Program Files/BOINC/projects/www.worldcommunitygrid.org/ a une panoplie de fichiers.

Si j'arrête BOINC violemment (forcing et fin de tache car le prog ne répond pas par exemple), le processus boinc.exe disparait de mon gestionnaire, mais les autres au dessus continuent de tourner et restent visibles.

Je pense qu'autodock permet le calcul, mais peut être faut il demander aux grands manitous de WCG : D



xDD



2) Tu vois les graphiques des calculs en cours?

https://2img.net/r/ihimizer/img510/7186/sanstitre1copieaw2.jpg

Je pense que DistrIT permet d'afficher des trucs comme ça :p

Exemple: le mec calcule, et il voit cet écran en progression, durant son calcul ^^



3) je te répond si doussus avec un raisonnement débile xD





Quand je calcule avec BOINC (ou WCGA), je me connecte à WCG, qui
m'envoie un programme sur mon PC. J'exécute avec les ressources de mon
PC, et je renvoie une fois terminé. Je peux arrêter entre temps de
calculer et reprendre quand bon me semble.





Là, imaginons:

On a un serveur avec DistrIT. Supposons qu'il se connecte à WCG, qu'il
demande et réceptionne un programme (car l'internaute X vient de se
connecter à l'applet (qui est DistrIT, ou bien qui est relié à DistrIT)
pour calculer). OÙ SE SITUE LE PROGRAMME DEMANDÉ? SUR LE PC DE
L'INTERNAUTE OU BIEN SUR LE SERVEUR? ==> trois idées pour le
stockage:



1) Là, l'internaute X reçoit autogrid sur son PC. Autogrid s'active sur
son PC et calcule. Une fois le calcul fini, les résultats sont envoyés
sur le serveur, qui va transmettre ensuite à WCG.

Problèmes: si X s'arrête de calculer au milieu, certes sa progression
sera sauvée je pense (à demander aux gens sur WCG ?), mais s'il dépasse
la date limite avant retour du calcul, hop baisé, et ça peut faire une
multitude de calculs en moins, ralenter WCG toussa.



2) X calcule via l'applet. Le calcul se trouve sur le serveur, mais ce
sont les ressources du PC à X qui sont utilisées. La progression est
sauvée toutes les X minutes, comme ça, si X arrête, Y reprendra le
flambeau. Est-ce faisable? :x Utiliser les ressources d'une machine
tout en stockant le calcul sur une autre? Beaucoup
de ressources sur la bande passante du serveur?

Ca permettrait aux membres de continuer le travail des autres s'ils arretent ?
En gros je coupe à 23h et toi tu prends la relève car ton PC tourne H24 c'est ça ?

Y a t'il quelque chose de déjà existant ou c'est le cerveau d'Yquetzal qui va tout créer
Il faut aussi voir pour la conso en BP (comme tu l'as dit), la difficulté pour le réaliser, la sécurité de l'applet et aussi voir si Yquetzal qui est quand même un tueur en prog est dispo pour bosser dessus hors de ses cours ?

Bah genre John Doe calcule 78% d'une WU.
Il s'arrête et se casse de l'applet.
Jane Doigt prend la suite et finit le calcul, de 78% à 100.



Voilou xD

J'ai une nouvelle idée sur "comment calculer et toussa".
Je ferai un nouveau post quand j'aurai tout de concret.

C'est donc bien vrai toujours des idées en vrac ....pour le mail en anglais tu attends un peu pour avoir plus d'infos ?

Idée numéro 1.

On se démerde à avoir un ftp (il peut y en avoir des sympatoches et pas trop cher, faut voir ~~ je pourrai ptet avoir des prix, je dis peut être, rien n'est sûr...).

Voici l'arborescence de cette idée:

SERVEUR WCG PRINCIPAL (envoi et réception des WU et applications autodock)

vers

FTP AVEC PROGRAMME DE RÉCUPÉRATION DE WU ET APPLICATIONS AUTODOCK (pour les récupérer, voir avec WCG l'adresse que contacte BOINC pour récupérer les WU, les programmes autodock et screensavers.

On installe sur le ftp, si possible, une sorte de script qui:
-demande et récupère des données venant de WCG (plusieurs mégas, voir dizaines de mégas)

-envoie des données (Wu, autodock, screens) vers les ordis ayant le programme (plusieurs mégas, voir dizaines de mégas)

-récupère les WU, sauvées toutes les X minutes (plusieurs centaines de kb/wu maximum)

-envoie les WU vers WCG une fois finies.

vers

PROGRAMME A INSTALLER SUR TOUS LES ORDIS.

Sur la première page du ftp, il y a un rapide récapitulatif du but ainsi qu'un Warning pour dire de ne pas installer sans l'accord du proprio de l'ordi, et de ne pas nous porter responsable en cas de pépin.
On peut télécharger un ptit programme sur la page.

On télécharge le programme en java.
On installe sur son ordi (C:\Nomduprogramme\).
On ouvre le programme.
Pour la première ouverture:
-choix de l'OS (si on fait multi OS un jour... xD)
-choix du nombre de cœurs (si X cœur, alors X WU simultanées).

Interface du genre "simple view" de BOINC (skin de la FFR).

Connexion web impérative pour le calcul, et là:

1) PASSAGE PAR LE FTP

Le programme envoit au FTP des infos concernant le nom de l'ordinateur (le mien est Phoenyx, il peut être "Dell-FABRICE" aussi, etc.), l'OS et la puissance de l'ordi (cœurs, espace disque et ram).

Le FTP enregistre le nom de l'ordi avec les infos principales. Lors de chaque nouvelle connexion au FTP, l'ordi sera reconnu.

Le FTP envoie ensuite, lors de la première fois, les applis autodock, les screens et X WU.
Toutes les T minutes (ou tous les T %), la WU est sauvée et est renvoyée vers le FTP automatiquement.

Si le programme est fermé, la progression est envoyée. Lorsque l'user réouvrira le programme, il devra attendre un peu, le temps qu'il download de nouvelles WU.

Si une WU est finie à 100%, la progression est sauvée et la WU renvoyée vers le FTP. le FTP envoie la WU vers WCG.

Idée 2.

Voici l'arborescence de cette idée:

SERVEUR WCG PRINCIPAL (envoi et réception des WU et applications autodock)

vers

PROGRAMME A INSTALLER SUR TOUS LES ORDIS.

Là, ça fait comme WCGAgent ou BOINC, sauf qu'il n'y a pas d'identification à faire (avec nom d'user et pass). Progression sauvée toutes les X minutes, mais l'user reçoit et envoie ses trucs lui meme...
S'il s'arrête au bout de 78% et qu'il ne reprend pas, ça fait une WU de perdue xD

Mais bon, WCG renvoie la WU à quelqu'un d'autre...

La seconde solution serait ptet plus simple. Il faudrait juste voir avec Berkeley si on peut se procurer leur BOINC pour en faire un hybride.

BOINC Hybrid = Ouverture pour la première fois.
Le client se connecte sur le serveur de WCG, avec le nick et le pass identique pour tous les users de BOINC Hybrid.
Il file les infos avec le nom de l'ordi et les ressources principales.
Hop WCG envoie à l'ordi autodock et WU. Calculs comme BOINC normal.

Edit feb : j'ai enlevé les sauts de ligne car à mon age j'ai du mal à suivre le petit jeune....j'aime tes idées en tout cas

Pour le FTP, on peut peut être utiliser un FTP Free, c'est gratuit et comme c'est gratuit, cela ne coûte rien^^

Concernant votre projet, en fait, vous souhaitez faire une sorte de mini BOINC au sein des membres de la FFR? Ai je bien compris?

Le gros pb va être la sécurisation des points et des Unités, car quand le serveur WCG envoie un calcul à un pc X, il tague en même temps le calcul au nom du pc X. Donc, le gros pb, ce ne sera pas de se partager les calculs entre membres de la team, mais de bien renvoyer le résultat fini au serveur du projet avec le bon Id. La parade serait de faire revenir le calcul finit au pc X de départ pour qu'il se charge de le renvoyer vers le serveur distant, mais tous ces échanges d'unités, de plates formes, d'OS, je ne sais pas si cela peut impacter la stabilité du calcul...

En clair, il y a plein de questions qui restent en suspens et je pense que déjà étudier les sources de BOINC seraient un très bon début pour le chef de projet Yquetzal^^

Ah, je viens de penser à un dernier truc, comment faire pour que le calcul qui sera transmis entre membres soit prioritaire dans la file d'attente du récepteur, sachant que lui même, a déjà des calculs en cours et comment faire pour que BOINC charge dynamiquement le projet en pensant qu'il vient d"un serveur authentifié WCG?

Bon courage en tout cas, et cela peut être très intéressant ce projet sur le long terme.

Pour ta dernière question, la dead line.

Il faudrait voir pour coder un truc genre BOINC:
IF deadline < 2 days, running highly priority.



Puis le but, c'est en fait de faciliter le calcul.
Tout le monde, meme hors FfR, pourrait calculer très facilement.
Meme des écoles pourraient, facilement, calculer.

Hop une installation et c'est fini.


Ensuite évidemment il faut voir si ça ne posera pas de blèmes de corruption, et si personne ne peut tricher.

J'avais pas pensé au truc sur les ID de pc.
Le coup du FTP tombe alors à l'eau... :/
À moins qu'il ne fasse que la transition...


Le FTP ne servirait, dans l'idée 1, qu'à stocker les WU et à les renvoyer aux membres.

Une fois qu'une WU serait arrivée à terme, sa sauvegarde est destroy du ftp automatiquement (le client sur l'ordi envoie une tite info au ftp pour ça) et le client envoie directement à WCG la Wu...



Trop chiant et certainement infaisable pour Yquetzal xDDDD

Peut être faut-il rester à l'idée d'un programme du genre de BOINC, avec tout sur le PC de l'ordi concerné...
Faut juste voir à cacher le pass du compte unique (ou à le crypter si possible meme), et ce serait bon en fait... <.<

Phoenyx a écrit:On peut créer un forum spécial pour Yquetz' siouplait?
Juste pour lui, que je déplace ce topic là bas, et qu'on en parle =D

Je pense que l'on peut en parler ouvertement devant les membres de passages non? Et pour la promotion de Yquetzal, je peux m'y atteler :)

Voilou xD

Je vire juste les choses compromettantes et messages confidentiels de notre gentil staff... xD


Concernant les infos secrètes, direction notre forum... xD

[FFR] Loe a écrit:

Je pense que l'on peut en parler ouvertement devant les membres de passages non?

Oui pardon Loe tu as tout à fait raison pour l'instant on crée un forum pour cette grande tache pour que tout le monde le voit et qu'Yquetz' puisse poster

Et pour la promotion de Yquetzal, je peux m'y atteler :)

On peut voir ça plus tard et en discuter autour d'un bon café surtout que je voudrais te parler de ma promo Euh je veux dire de la promo du grand Phoen'! xDDD

EDIT feb : non mais j'ai jamais dit ça moi!!!

Moi comme je l'ai déjà à peu près dit, mais comme on a l'air de récapituler :
1)je sais pas si je serais capable de le faire, mais je veux bien essayer... maintenant je garantis rien...
2)Le préalable à tout travail me semble être la connaissance de l'interface permettant de récupérer les travaux à effectuer et ensuite les renvoyer...
ça je pourrais difficilement obtenir ces infos moi-même, car 1) je sais pas où demander, 2) l'écriture en anglais c'est pas mon fort ^^ (la lecture ça va par contre si jamais)

Une fois le moyen de récupérer ces travaux trouvé, ça me semblerai déjà plus clair...

La lecture des bibles et des codes sources de l'appli BOINC devrait déjà t'en dire beaucoup et t'en apprendre beaucoup par contre, c'est sûr, cela doit être un boulot de titan.

De plus les forums orientés programmation sur la plate forme BOINC pourront aussi être d'une grande aide car des programmeurs te répondront etc...

Bref, tu ne seras pas seul :)

Le caractère open source de la plate forme te permet aussi d'améliorer les caractéristiques de BOINC et d'en faire profiter la communauté. ;)

Tiens: http://boinc.berkeley.edu/trac/wiki/SoftwareDevelopment
;) Toutes les infos xD

J'ai parlé auparavant du nom d'user et du pass qui ne change pas.
Idée qui bouge et qui serait ptet plus pratique : ne pas rentrer le nom ni le pass, mais le Identifiant BOINC inter-projet (CPID).
Le compte aura un CPID généré automatiquement. Il suffira juste de le prendre =D

Le CPID ne change que si on le demande, ou si on change l'adresse mail.

Donc pas de raison qu'il change :p

S'il devait changer, on devra alors faire une MAJ je pense... en chabngeant le CPID :x

Tu vois ce que je veux dire? xD

Suite au départ de Phoenyx, je clos ce topic en le laissant dans ce forum.