Distributed Computing - Forschung mit home PCs

[Soriak]

Es ist wieder an der Zeit eine kleine Werbekampagne fuer "Distributed Computing" zu starten - bitte weiterlesen, die Texte sind ausnahmsweise mal nicht englisch

Was ist Distributed Computing? (DC)

DC ist ein Ueberbegriff fuer Systeme, die komplizierte Analysen unter tausenden (oder bei den sehr bekannten Projekten sogar millionen) Computern aufteilen. Anstelle das ein Projekt mit einem der wenigen Supercomputer berechnet wird, was sich die beteiligten Organisationen (meist Universitaeten) gar nicht leisten koennen, wird die Aufgabe in kleine Stuecke zerlegt und mit Hilfe eines kleinen Programmes an normale PC Besitzer geschickt.

Wer kann mitmachen?

Mitmachen kann jeder, der einen Computer (Windows, Mac, Linux, Solaris - alles geht) besitzt. In der Regel helfen sehr langsame (sprich solche mit Prozessoren unter 1ghz) nicht viel, aber man braucht kein Top System um dabei zu sein. So sind 5,000 2ghz Computer einiges schneller als 1,000 3ghz Computer.

Je laenger man den Computer an hat, desto mehr traegt man bei - aber natuerlich ist man nicht verpflichtet ihn 24/7 eingeschalten zu lassen.

Selbstverstaendlich ist kein Wissen im Bereich der Projekte notwendig - der Computer erledigt die ganzen Berechnungen eigenstaendig.

Ist das Spyware? Stoert mich das irgendwie?

Ganz und gar nicht. Keine Spyware wird installiert und das Programm benuetzt nur die Ressourcen, die nicht gebraucht werden - sprich der PC geht genau gleich schnell wie vorher. Das Programm nimmt nur ein paar MBs in Anspruch und verschwindet im Taskbar.

Eine konstante Internetverbindung ist nicht notwendig. Das Programm verbindet sich lediglich am Ende einer "work unit" (einem dieser kleinen Pakete) mit dem Server, schickt die Resultate und bekommt eine neue Aufgabe. (Groessenordnung ein paar Megabytes)

Toent gut, was muss ich machen, wenn ich mitmachen will? Und gib mir bloss keine englischen links!!!

http://www.boinc.de/projekte.htm

Dies ist eine Liste von Projekten, die alle den "BOINC" client der Berkeley University benuetzen. Da findet ihr alles von "ClimatePrediction" (Klimaveraenderung in den naechsten 50-100 Jahren) ueber LHC@home (Simulation fuer einen Teilchenbeschlaeuniger von CERN) bis zum Folding@home - Molekularbiologische Grundlagenforschung über die Faltung von Aminosäureketten. Alles auf deutsch! Den client koennt ihr dann hier downloaden.

Die grossen Projekte sind da aber eher nicht im Bereich von biotechnischen Forschungen. Den naechsten Link gibt es leider nur auf englisch, sorry!

http://www.grid.org

Deren Programm befasst sich mit 2 Problemen biologischer Natur: Krebsforschung und dem Human Genome. Das Genome wurde zwar bereits entschluesselt, ist aber weiterhin ein Mysterium. Das Projekt versucht den Zweck der einzelnen Proteine zu bestimmen um bessere Medikamente entwickeln zu koennen. Die genauen Details gehen aber weit ueber mein Grundwissen hinaus

Machen da wirklich viele mit? und wie lange dauert so ein Projekt?

Tatsaechlich sind weltweit mehrere Millionen Computer beteiligt - die meisten natuerlich aus Europa und Nord Amerika. Da es theoretisch zu Fehlern bei einer Berechnung kommen koennte, werden die gleichen Aufgaben an mindestens 3 verschiedene Computer geschickt. Kommen alle 3 mit dem gleichen Resultat, wird es als solches gespeichert. Die Daten gehen dann an Universitaeten, welche damit weiterarbeiten.

Klar ist, dass Resultate nicht heute auf morgen folgen. Selbst nach Abschluss des Projektes wird die Forschung und das Testen der Medikamente Jahre dauern. Trotzdem spart dies unmengen an Zeit: Ein DC Projekt schaft in unter einem Jahr, was ein Supercomputer 50 Jahre beanspruchen wuerde. Der beste Computer, den man privat kaufen kann, wuerde dafuer ueber 1,000,000 Jahre brauchen.


Ich hoffe ich konnte einige von euch zum Anmelden bewegen - wirklich eine gute Sache, die allen hilft und weder Zeit noch Geld kostet. (abgesehen von den 5 Minuten, bis alles installiert ist )

Wenn's Fragen oder Probleme gibt, koennt ihr mir gerne eine PN schicken oder einfach hier posten. Weitere links sind natuerlich auch wilkommen.

[green_day]

Was wird denn da genau ausgerechnet/getestet oder versucht?

Tönt wirklich gut, nur weiss ich nicht recht WAS dort gemacht wird?!

[Kawa]

Was wird denn da genau ausgerechnet/getestet oder versucht?

Tönt wirklich gut, nur weiss ich nicht recht WAS dort gemacht wird?!

Lies doch, die Links hat Soriak doch gepostet !!!

[Soriak]

Was wird denn da genau ausgerechnet/getestet oder versucht?

Tönt wirklich gut, nur weiss ich nicht recht WAS dort gemacht wird?!

Es gibt da eben verschiedene Projekte - du kannst auswaehlen, was du machen moechtest. Die Berechnungen selbst sind sehr kompliziert, hier die Beschreibung des LHC@Home Projektes fuer CERN. (Ist nebenbei in der Schweiz ]
Das LHC@home Projekt des CERN Forschungszentrum in der Schweiz simuliert Teilchen bei ihrer Reise durch den 26,7 Kilometer langen Ring des im Bau befindlichen neuen Teilchenbeschleunigers LHC (Large Hadron Collider) um ihre Flugbahn zu studieren. Die Ergebnisse dienen zur Überprüfung der langfristigen Stabilität der Hochenergieteilchen im LHC und liefern Daten für die Justierung der neu eingebauten Magnete. Ist am 29.09.2004 offiziell gestartet.

Die SixTrack-Anwendung des LHC@home Projektes simuliert 60 Teilchen zur Zeit und lässt sie den Ring 100.000 mal umrunden. Das wären weniger als 10 Sekunden in der wirklichen Welt. Es reicht aber um zu erkennen, ob der Teilchenstrahl in einem stabilen Orbit verbleibt oder in die Wand der Vakuumröhre einschlägt. Eine solche Kursabweichung könnte ernsthafte Folgen haben, bis hin zur erzwungenen Abschaltung der Anlage für Reparaturen.
[/quote]



Und so sieht es echt aus:

[blubb]

git doch do so verschiedeni gruppe wo me zämme öbbis berächne ka?

bi ämmel au mol so neume drby gsi aber has denn nümm mitverfolgt und us de auge verlore !

aber wär doch no was so e fcbforum gruppe würd mi denn je nachdäm aaschliesse mit minere serverfarm

[guybrush]

War bis jetzt bei seti dabei.
Wird mal zeit etwas zu nutzen was mehr Aussicht auf nützbaren Erfolg hat.

[Lusti]

Was wird denn da genau ausgerechnet/getestet oder versucht?

Tönt wirklich gut, nur weiss ich nicht recht WAS dort gemacht wird?!

Ich will versuchen, in einigen einfachen Worten zu erklären, was im CERN und speziell beim Projekt LHC passiert:

Durch Experimente wurde erkannt, dass die Atome (vom griechischen Wort Atomos -> unteilbar) doch aus noch kleineren Teilen bestehen, sogenannte Elementarteilchen genannt Quarks. Doch diese Quarks sind zu klein, als dass sie die Masse von Atomen alleine ausmachen könnten. Es müssen also noch andere Elementarteilchen, sogenannte Higgs-Boson-Teilchen vorhanden sein. Diese wurden aber bisher nur theoretisch nachgewiesen, nicht in einem Experiment. Ziel des LHC ist es nun dieses, und andere, Teilchen experimentell nachzuweisen. Das wird erreicht in dem Atome in diesem Ring extrem beschleunigt werden. Danach werden sie aufeinandergeprallt um zu sehen, was daraus ensteht. Da im alten Ring noch soviel Energie erzeugt werden konnte, um die Atome in Higgs-Boson-Teilchen zu zerlegen, wurde jetzt ein noch fetteres Teil geplant und wird momentan gebaut.

was bringt mir das ??
Nun ja, betrachtet man den Nutzen solcher Grundlagenforschung direkt pekuniär, kosten diese Experimente eigentlich nur. Wesshalb also der Aufwand ? Der Forscherdrang ist einfach zu stark, man will begreifen, warum Dinge so sind wie sie sind. Durch die Erforschung der Materie auf Quantenebene konnten mittlerweile auch viele Dinge unseres Lebensraumes (Erde, Sonnensystem, Universum) erklärt werden. So zum Beispiel die Kernfusion im innern der Sonne, welche nun versuchsweise in einem Fusionskraftwerk nachgebaut werden soll und als saubere und sichere Energiequelle der Zukunft gilt. Auch kann gerklärt werden wie lange die Sonne noch brennt und warum es in unserem Universum andere Materialien als Wasserstoff und Helium gibt, nämlich auch durch die Fusion der Atome in der Sonne.

Wie Soriak gesagt hat, ein interessantes Experiment welches sicher die nicht genutze Rechenzeit auf deinem PC Wert ist. Damit geben wir den Forschern eine Plattform für Ihre Experimente ohne dass es uns oder sie etwas kostet.

[DerZensor]

Und dann gäbe es immer noch die String-Theorie Lusti

[Mindl]

[quote="DerZensor"]Und dann gäbe es immer noch die String-Theorie Lusti ]


jaja die suche nach der weltformel (einstein), heute glauben gewisse physiker mit der string theorie dieses ziel erreicht zu haben...
nur ob sie stimmt weis niemerts , d proffesore wältwiet strietet sich über ihri wahrheit und uffd frog a mi physik prof, was är vo däre theorie haltet: über das thema sagi nüt...

[Mindl]

Was ist Distributed Computing? (DC)

DC ist ein Ueberbegriff fuer Systeme, die komplizierte Analysen unter tausenden (oder bei den sehr bekannten Projekten sogar millionen) Computern aufteilen. Anstelle das ein Projekt mit einem der wenigen Supercomputer berechnet wird, was sich die beteiligten Organisationen (meist Universitaeten) gar nicht leisten koennen, wird die Aufgabe in kleine Stuecke zerlegt und mit Hilfe eines kleinen Programmes an normale PC Besitzer geschickt.

der ist echt gut , die meisten supercomputer gehören universitäten und firmen müssen sich einmieten wenn sie diese benützen dürfen (ok oft arbeiten firmen mit unis zusammen und teilen sich die rechenleistungen der supercomputer.)

interresant ist sicher auch das die unibasel wahrscheinlich bald den quanten computer präsentieren kann , alle gamer die sich jetzt auf schnellere maschinen freuen, der quantenpc wird kaum euren ansprüchen genügen, weil er bei so kurzzeitigen berechnungen langsamer ist als die heutigen pcs. aber für grossberechnungen wird es sehr interresant:
bsp: ein heutiger pc braucht ca 4-12 jahre um einen heutigen primzahlencodeschlüssel zu dekodieren, ein quantencomputer wird dazu nur noch etwa 2-6 monate benötigen. erstaunlich ist sicher auch, das beim quanten pc, die leistung exponentiell zunimmt, bei heutigen pcs ist sie linear (also 1 rechenschritt pro sekunde, 10 rechenschritte in 10 sekunden. beim qpc: 1 rechenschritt in der ersten sekunde, 4 schritte in der zweiten usw. ja ich weis sind mehr schritte . der normale pc kann bis zu einem monat momentan mehr rechenschritte machen als ein qpc, danach ist der normale pc jedoch hoffungslos verloren...)

[Heavy]

Wenn ich mich nicht täusche funktionieren die Auswertungen des SETI Programmes genau gleich...

[guybrush]

der ist echt gut , die meisten supercomputer gehören universitäten und firmen müssen sich einmieten wenn sie diese benützen dürfen (ok oft arbeiten firmen mit unis zusammen und teilen sich die rechenleistungen der supercomputer.)

interresant ist sicher auch das die unibasel wahrscheinlich bald den quanten computer präsentieren kann , alle gamer die sich jetzt auf schnellere maschinen freuen, der quantenpc wird kaum euren ansprüchen genügen, weil er bei so kurzzeitigen berechnungen langsamer ist als die heutigen pcs. aber für grossberechnungen wird es sehr interresant:
bsp: ein heutiger pc braucht ca 4-12 jahre um einen heutigen primzahlencodeschlüssel zu dekodieren, ein quantencomputer wird dazu nur noch etwa 2-6 monate benötigen. erstaunlich ist sicher auch, das beim quanten pc, die leistung exponentiell zunimmt, bei heutigen pcs ist sie linear (also 1 rechenschritt pro sekunde, 10 rechenschritte in 10 sekunden. beim qpc: 1 rechenschritt in der ersten sekunde, 4 schritte in der zweiten usw. ja ich weis sind mehr schritte . der normale pc kann bis zu einem monat momentan mehr rechenschritte machen als ein qpc, danach ist der normale pc jedoch hoffungslos verloren...)

In diesem Zusammenhang Interessant:
Als ich vor ca. 5 Jahren das CERN besuchte, besichtigten wir auch das Rechenzentrum. Es war von der Grösse her eine Fabrikhalle und vollgestopft mit PCs. Auf die Frage wieso denn PCs und nicht ein paar Supercomputer, sagte uns der CERN-Mitarbeiter, dass so das beste Preis/Rechenleistun-Verhältniss erreicht werde. Das CERN könne sich auch vorstellen in Zukunft auf Spielkonsolen zu Rechnen, falls diese billiger werden.
Anscheinend ist jetzt beim Cern die Nutzung der Homecomputer angesagt.

@Heavy: Ja Seti verwendet das gleiche Prinzip. Der Client der angewendet wird kommt ja von Berkeley, welches auch die Heimat des Seti@home Projektes ist.

[Soriak]

Auf die Frage wieso denn PCs und nicht ein paar Supercomputer, sagte uns der CERN-Mitarbeiter, dass so das beste Preis/Rechenleistun-Verhältniss erreicht werde. Das CERN könne sich auch vorstellen in Zukunft auf Spielkonsolen zu Rechnen, falls diese billiger werden.
Anscheinend ist jetzt beim Cern die Nutzung der Homecomputer angesagt.

Der Cell Prozessor der PS3 - wenn er das haelt, was er verspricht - waehre wohl die passende Alternative.

[Mindl]

In diesem Zusammenhang Interessant:
Als ich vor ca. 5 Jahren das CERN besuchte, besichtigten wir auch das Rechenzentrum. Es war von der Grösse her eine Fabrikhalle und vollgestopft mit PCs. Auf die Frage wieso denn PCs und nicht ein paar Supercomputer, sagte uns der CERN-Mitarbeiter, dass so das beste Preis/Rechenleistun-Verhältniss erreicht werde. Das CERN könne sich auch vorstellen in Zukunft auf Spielkonsolen zu Rechnen, falls diese billiger werden.
Anscheinend ist jetzt beim Cern die Nutzung der Homecomputer angesagt.

@Heavy: Ja Seti verwendet das gleiche Prinzip. Der Client der angewendet wird kommt ja von Berkeley, welches auch die Heimat des Seti@home Projektes ist.

supercomputer wie es früher gab, gibt es sowieso praktisch nicht mehr. meistens ist es eine kollektion von raket pc's die gekoppelt sind. mehr leistung und billiger. was vor 10-15 ein supercomputer konnte, kann heute eine gute maschine bei euch zu hause


neben dem quantencomputer welcher über längere zeit extrem grosse datenmengen verarbeiten kann (schätzungen zufolge wird ein einziger rechner innerhalb eines jahres fähig sein, mehr daten zu verarbeiten als sämtliche home rechner der welt momentan zusammen in der gleichen zeitspanne)

daneben: werden biopcs sicherlich auch einen massiven fortschritt bringen. diese werden im gegensatz zum quantencomputer, bei heimanwendungen genutzt. biopcs ermöglichen parallel rechnen von mehreren prozessoren. (bei heutigen system rechnet prozessor 1 die daten aus und gibt sie an prozessor 2 weiter... biopcs: gleichzeitiges rechnen an einem datenpakett. wird bei anforderungen mit hoher grafikleistung wohl das A und O werden, sowohl als cpu als auch gpu.)

[Lusti]

supercomputer wie es früher gab, gibt es sowieso praktisch nicht mehr. meistens ist es eine kollektion von raket pc's die gekoppelt sind. mehr leistung und billiger. was vor 10-15 ein supercomputer konnte, kann heute eine gute maschine bei euch zu hause

richtig. weitere vorteile sind bessere skalierbarkeit und wartung. die verbesserung der cluster-softwares und der netzwerke tut ihr übriges zum trend hin zum cluster mit home pc's. man kann sich kaum vorstellen, welche immensen rechenleistungen durch die vernetzung mittels internet noch erreicht werden können ...

neben dem quantencomputer welcher über längere zeit extrem grosse datenmengen verarbeiten kann (schätzungen zufolge wird ein einziger rechner innerhalb eines jahres fähig sein, mehr daten zu verarbeiten als sämtliche home rechner der welt momentan zusammen in der gleichen zeitspanne)

auch richtig. es wurde bereits experimetelle rechner gebaut, doch von der entwiklung leistungsstarker quantencomputer oder gar home-qc sid wir wohl noch das eine oder andere jahrzehnt entfernt

[Pinkel]

[Lusti]

Dieser Thread verdient wieder mal einen Push, da sich in den letzten 10 Jahren (ich bin sowas von alt geworden, aber nicht der einzige hier :eek doch einiges getan hat.

Die Software BOINC ist immer noch verfügbar und es laufen mehr den je Projekte darüber. Von der Kosmologie, über RNA und Proteinsequenzen bis zu mathematischen Projekten ist mittlerweile eine doch recht umfangreiche Projektsammlung zusammengekommen. SETI als Dauerläufer (und auch als eigentlich Grund, warum es BOINC überhaupt gibt) ist auch immer noch dabei. Eine wirklich Bemerkenswerte Verbesserung ist BOINC BAM!, eine Plattform welche einem erlaubt, sich über einen zentralen Account bei den Projekten anzumelden. Die Erstellung von n-Projektaccounts entfällt somit
http://boincstats.com/de
Auch kann über dieses Portal zentral verwaltet werden, wie sich der BOINC-Client zu verhalten hat (CPU Auslastung / CPU Zeit und vieles vieles mehr).

Weiter wurden noch einige technologische Fortschritte gemacht, 2 davon sind erwähnenswert:
1. Die Nutzung von GPU's. Durch die massive Weiterentwicklung der Grafikkarten (und deren nette Angewohnheit, speziell Floating-Points ultraschnell zu rechnen) ist hier nochmals Rechenleistung freigeworden. Aktuell funktioniert die GPU-Nutzung nur, wenn der BOINC-Client NICHT als Systemprozess sondern als Benutzerprozess ausgeführt wird.
2. Beim Download wird auffallen, dass die Software als Installationspacket ODER als virtuelle Maschine installiert werden kann. Grund dafür ist, dass gewisse (wenige) Projekte virtuelle Maschinen benötigen um gleichbleibende Resultate zu erzielen. Ich persönlich Benutze weiterhin den "Classic"-Client ohne irgendwelche Probleme zu haben.

Wer sich jetzt sagt "der Lusti hat mich mit seinem Beitrag aber sowas von Grid-Computing überzeugt" aber sich gleichzeitig eingesteht "ich habe aber von IT, BOINC, BOINC BAM! aber sowas von keine Ahnung" der kann sich gerne per PN melden. Ich helfe gerne bei den ersten Schritten, damit zuhause wenigstens einer arbeitet, auch wenn's nur der PC ist ....