FTP-Server für häufige Downloads

Inhalte, Aktuelles, Relevantes, lokale Gruppen und Stadtgebiete, Entwicklungen, Ankündigungen, Erfahrungen, Diskussionen, Teilhabe, Freifunk Halle Blog, Freifunk Blog
Antworten
Benutzeravatar
tox
Beiträge: 1417
Registriert: 11.08.2007 16:33
Wohnort: Halle
Kontaktdaten:

FTP-Server für häufige Downloads

Beitrag von tox »

Mir ist wieder was eingefallen, was wir auf dem letzten treffen nur sehr knapp tangiert haben. Es geht darum, dass große und/oder häufig downgeloadete dinge zentral auf nem server im ff-netz liegen sollten.

Ich weiß leider nicht, ob es schon einen thread dafür gibt oder sogar einen server. Daher mach ich hier mal den vorschlag, dass in diesen thread dinge reingeschrieben werden, die ziemliches volumen haben oder andere auch interessieren könnten.

Wichtig is natürlich, dass irgendwer nen server für die daten bereithält. Da es sich nicht um sicherheitskritische dinge handelt (oder zumindest handeln sollte :D), wäre ein ftp-server mit anonymem zugang ausreichend.

Was haltet ihr davon?
Wer kann einen server beitragen?
Was für dinge sollten zentral gedownloadet und allen zur verfügung gestellt werden? meine meinung ist: alles, was eine bestimmte größe überschreitet, beispielsweise 100 mbyte, und alles, was mit großer wahrscheinlichkeit mehr als nur einen teilnehmer interessiert, z.b. software-updates (die auch kleiner als die festgelegte größe sein können) für gängige programme.
Außerdem muss sich jemand bereiterklären, der die ganze schose immer downloadet und auf den server schiebt und diesen auch verwaltet.
みんなはばかだ。
Mein öffentlicher Schlüssel (OpenPGP)
Mein öffentlicher Schlüssel (SSH2, kommerzielles Format)
Verwalter von 7.42, 7.43, 7.44, 9.42, 10.42, 10.43, 15.42 und 28.1.
Anschluss: T-Com Call & Surf Comfort Plus inkl. HotSpot-Flat 16/1 Mbit
Modem, Router, TK-Anlage: Speedport W 700V
FF-Router: Buffalo WHR-HP-G54, FFF-Leipzig 1.6.10-core-1-halle-3, Doppel-Biquad-Antenne
Benutzeravatar
tmk
Beiträge: 1196
Registriert: 18.04.2007 12:18
Wohnort: Halle
Kontaktdaten:

Beitrag von tmk »

ich würde meinen 2.rechner dafür hergeben, der sollte sowieso ein server fürs ff-netz werden.

soweit ich weiß, hat mono auch vor zu spiegeln.

was dann auf den servern liegt, sollte von einem dämonen bestimmt werden, der nachsieht, was häufig geladen wird, zB youtube vids, myspace seiten und dergleichen. auch linux distris.

ich komme grad nicht ausm knick, der server wird nicht fertig, ich habe immer noch keine neue wetterbox und hna-l30 ist auch noch nicht raus, hab grad wenig zeit bzw bin immer unterwegs...

tox lass uns mal im icq labern wegen der sache.
Benutzeravatar
Neuge
Beiträge: 248
Registriert: 21.08.2005 21:33
Wohnort: Halle/ Downtown
Kontaktdaten:

Beitrag von Neuge »

Ist ja kein Wunder dass das Netz so schrecklich langsam ist wenn ihr mit solchen Flausen hier daher kommt .
Leute bevor hier hier Streaming,FTp Server und dergleichen anbaut , investiert doch erstmal Geld in das eigentliche Netz . Meiner Meinung nach ist das alles gaaaanz weit weg .
Wir sollten erst einmal ein redundantes Netz haben und nicht fette Server wo wir ganze DVD`s über das Freifunknetz downloaden können .
Nehmt es mir nicht übel aber wenn ich sehe dass einer hier mehrere GB zieht ,fliegt er raus und kann über jemand anders surfen .
Wer brauch schon eine Signatur ????


Hund ,Katze , Maus der Chinese macht was draus ......
Benutzeravatar
Nephron
Beiträge: 251
Registriert: 30.11.2006 19:30
Wohnort: Leipzig
Kontaktdaten:

Beitrag von Nephron »

Vor allem wäre es auch wichtig ein Portage Repository einzurichten.. Also vllt. für das gängigste (Gentoo, Debian, Suse, Slackware).. Ich habe selbst schon einige Pakete aus dem Netz gezogen und ich denke mal das ich nicht der einzige linuxer bin der sein System Up-To-Date halten möchte..

Spart halt ne menge traffic.
Rechtschreibfehler sind gewollt und unterliegen dem Copyright des Verfassers, es sei denn, sie sind explizit unter die GPL gestellt .....
Benutzeravatar
se
Beiträge: 939
Registriert: 17.08.2005 22:45

Beitrag von se »

tmk: automatisch nachzusehen, was häufig geladen wird, ist ein bisschen schwierig zu realisieren. man müsste jede im web abrufbare ressource in einem index mit dazugehörigem zugriffszähler abspeichern, ganz zu schweigen davon, dass man in den eigentlichen traffic reingucken muss (wenn auch automatisiert), erstmal rausfinden, dass es sich um nen http-request handelt, dann nachgucken, was für ne URL... ein access point wird sowas kaum realisieren können. da müsste man einen leistungsfähigeren rechner mit transparentem web-proxy einrichten und zwar bei jedem internet-gateway.

das problem: zur zeit müssen die router nur ohne viel nötige intelligenz ip-pakete annehmen, 4 bytes aus dem paket-header lesen -> ziel-adresse, nachgucken wo das paket hinsoll, rausschicken. das können sie noch ganz gut. bei NAT (bei den internet-gateways wird genatet) und komplexerem traffic-filtern, fangen die router schonmal an zu schnaufen.
aber die von dir vorgeschlagene aufgabe ist für nen WRT zu viel des guten.

mit nem extra proxy-rechner hinter jedem HNA könnte man sowas fast realisieren. das müsste man so konfigurieren, dass sich die proxies untereinander absprechen etc.

aber dann immernoch das problem: verbessert ein zentral gelegener server die situation gegenüber den derzeitigen verteilten HNAs? kann mir vorstellen dass das netz mehr belastet wird, wenn von überall auf einen einzigen node zugegriffen wird, anstatt dass von überall auf verschiedene gateways ins internet gegangen wird.

der flaschenhals ist nicht der zugang zum internet hinter dem gateway, sondern der weg von den nodes bis zum gateway. selbst wenn jeder webzugriff gecachet wird auf dem gateway, löst das in keiner weise das problem, das ihr, soweit ich das verstanden habe, zu lösen versucht: der zugriff findet trotzdem statt und das freifunk-netz wird genauso belastet wie vorher.


was ich mehr oder weniger für sinnvoll erachte: mehrere öffentliche ftp-server: wenn jemand was runterlädt, was den am anfang des threads genannten kriterien (diese finde ich schonmal gut) entspricht, so hat er die möglichkeit (man kann niemanden zwingen das zu tun - es wird auch leute geben, die keine ahnung haben, wie das geht), diese dateien auf den ftp-server zu packen. optional könnten sich die ftp-server in den späten nachtstunden abgleichen, aber nicht zu aggressiv (nicht sinnlos hunderte gigabytes nachts hin und herschieben), damit die dateien dezentral abrufbar sind.


Neuge: das netz ist schon relativ redundant (kann man eigentlich so nicht sagen, dass netz ist nämlich auch inhomogen). auch größere downloads können sich noch im rahmen befinden, rücksicht ist das A und O im freifunk. wenn man also nachts saugt oder die bandbreite von sich aus drosselt, damit andere noch spaß haben können, wo ist das problem?
Benutzeravatar
iion2k
Beiträge: 90
Registriert: 21.11.2006 14:32
Wohnort: Puschkinstrasse

Beitrag von iion2k »

Hi und Nabend!!

Ich habe das von se gerade gelesen

das mit den FTP Server ist schon ein Problem
verständlicher weise
vielleicht wird das Problem entschärft wenn die Häuser und WG's die fest mit dem FF verbunden sind ein FTP local im Haus aufmachen und sich im ummittelbaren umfeld des sharen bedienen
sozusagen in der Straße oder um drei Ecken
Have a nice Day
bwar
Beiträge: 206
Registriert: 03.04.2007 16:05

Beitrag von bwar »

Da bin ich wieder ;)

Ich ziehe am 1.10. ins Wohnheim Weinbergcampus Haus II - 4. Stockwerk. Leider schaue ich genau in die falsche Richtung -> Richtung Neustadt und Uniklinik. Vllt. ist eine Verbindung zu 4Hufs Gästehaus oder Culo möglich. Das ganze muss natürlich mit einer simplen Panelantenne gehen. Eine Yagi kann ich schlecht aus dem Fenster baumeln lassen. :idea:

Das tolle am Wohnheim ist der Anschluss ans Datennetz der Uni.
D.h., ich könnte meine alte Hardware zusammenschrauben, eine größere Festplatte besorgen und ebenfalls einen FTP-Server bereit stellen.

Hier ist allerdings das Problem, dass ich den Anschluss anderen nicht offen zur Verfügung stellen darf.
D.h. der FTP-Server hat Intrnetzugang fürs Laden, doch die Daten nicht. Der Zugriff übers FF darf keine Internetverbindung haben.
Das sollte aber machbar sein. Ich hoffe, das se oder jemand anderes helfen kann.

Ich hatte auch vor, einen Anschluss von Congstar zu bestellen. Für max. 25€ bekommt man immerhin einen DSL16000-Zugang. Den würde ich dann dem FF zur Verfügung stellen, wenn es wegen meiner Lage Sinn macht.


Soweit meine Pläne bis Dezember.
Server mit Downloadservice und neue Funkanlage.


mfg

bwar
Benutzeravatar
wonko the sane
Beiträge: 241
Registriert: 08.11.2005 17:29
Wohnort: halle, baalberge und bennstedt
Kontaktdaten:

Beitrag von wonko the sane »

Bei mir ist auch ein Server im Anmarsch, fehlen nur noch eine größere Festplatte und ne Lan-Karte (letztere bekomme ich von se). Lieg nur leider mit nem Reizhusten, den man schon als brutal beschreiben kann (führt zu Verkrampfung und lässt mich nicht schlafen), und regelmäßigem Fieber flach und bin deswegen gerade nicht so aktiv.
The World Wide Web is the only thing I know of whose shortened form — www — takes three times longer to say than what it's short for.
Benutzeravatar
tmk
Beiträge: 1196
Registriert: 18.04.2007 12:18
Wohnort: Halle
Kontaktdaten:

Beitrag von tmk »

ich wünsche schnelle geneseung!

@se: das hab ich mir gedacht, dass das schwer ist.
@neuge: so schlecht find ich die idee aber trotzdem nicht.

man muss es ja nicht "netzweit" machen.
wenn ich hna hätte/haben werde würde ich auch versuchen, nachzuschauen wer konkret über welchen zeitraum welche daten regelmäßig abruft. ich denke stark an myspace etc.
diese daten könnte man dann auf einem server, der zwischen hna-router und ff-router im vor-ort-lan steht, spiegeln. mit kontingent-partiton oder sowas.

weil, die bandbreite zwischen den freifunk-routern ist ja eigentlich schnell. wlan halt mit max 54mbit/s, das kommt dann wieder auf die link-qualität der routen an.

für den freiwilligen kern der wlan-community, bastler, antennenbauer, coder, aufbauer etc würde ich auf den server den ganzen linux kram (kleines repository, auch in absprache mit zB mono), vpn, topo-testserver oder was auch immer einrichten.

nochmal @neuge wegen erstmal investieren in netz vor investieren in server
da denk ich dass beides gleichgut ist fürs netz.
4huf
Beiträge: 677
Registriert: 19.04.2007 14:56
Wohnort: Zscherben

Beitrag von 4huf »

Also wenn wenn HNA und Server an einem Ort sind kann man auch einen
Transparanten Proxy dazischen schalten.
Zumindest für HTTP und FTP bringt das teilweise eine Menge.
Auch die ganzen oft geladenen FF-Halle-Seiten sind dann im Cache.
Nebenbei kann man auch noch unerwünschte Seiten abblocken
(z.B. mit SquidGuard sehr umfangreich und mit "Fehlermeldungsseite")
die unangenehm auf den HNA-Spender zurückfallen könnten.

So ein Proxy lohnt sich auch "weiter hinten" im Netz, z.B. wenn man wie bei tmk ein ganzes Haus versorgt.
Das Surfen geht deutlich flüssiger, kann ich aus ISDN-Zeiten nur bestätigen.
. eine Antenne ist der beste HF-Verstärker
.funktionierende Antennen : Short-Backfire, AMOS-5, AMOS-3, Doppelquad, 4fach-Quad
Benutzeravatar
tox
Beiträge: 1417
Registriert: 11.08.2007 16:33
Wohnort: Halle
Kontaktdaten:

Beitrag von tox »

also ich weiß nich, ob es richtig rauskam bei meinem ersten post, mein primäres ziel ist es, den traffic der hnas zu reduzieren, nicht unbedingt den traffic über das ff-netz.

ich denke, es ist mehr wert, wenn der verkehr aufgrund eines zentralen servers, der die gemeinsamen daten verteilt, vllt etwas langsamer geht und dafür aber monos nerven geschont werden, als wenn wir nur die geschwindigkeit als maßgebendes kriterium für die lagerung von daten heranziehen.

@neuge konstruktive beiträge bitte. wir versuchen ja grad darüber zu diskutieren, ob es sinn macht, den verkehr auszulagern... und wenn du unbedingt mehr hnas willst, ist dir auch offen, dich darum zu kümern ;)

zuerst mal dachte ich mir das so, dass die sache manuell gehandhabt wird. nutzer a is für den server verantwortlich, nutzer b möchte was großen downloaden und gibt nutzer a bescheid, der veranlasst den download und gibt dem gesamten ff-netz bescheid, dass datei xyz auf dem server liegt.
@se an sone automatisierung wie tmk sie vorschlug, hatte ich noch gar nicht gedacht. was verstehst du unter öffentliche server? solche im ff, die extern zugreifbar sind, oder solche außerhalb des ff? solche außerhalb des ff entsprechen nicht meiner initialen vorstellung der reduzierung des traffics der hnas.

@tmk mh, habs forum heute leider erst wieder besucht, schreib mich doch einfach an, wenn du über was in icq reden möchtest :)

vielleicht kann ich ja was zu den servern beisteuern, was ist denn schon
an mainboard/cpu bzw. sonstige hardware vorhanden?

@nephron du willst repositorys für linux-distributionen? nun, das ist meiner einschätzung nach außerhalb des rahmens dessen, was ich beabsichtige. ursprünglich dachte ich, nur solche daten auf den server zu lagern, die innerhalb von wenigen wochen wieder gelöscht werden können, weil sie outofdate sind. statische daten hatte ich nicht im blickfeld.

@bwar siehe meine bemerkung zu externen servern bei se. ein interner mit lademöglichkeit durch das uni-netz wär natürlich hervorragend.

@proxys kann man ff-weite proxys einrichten? eher nicht, denke ich oder? wenn, dann nur für standardrouten, wenn ich das richtig sehe. bei proxys allerdings müssen die hna-inhaber mitmachen und deren rechner sollten nicht allzu unmodern sein, wenn ihr wisst was ich meine. bedenkt, es müssen datenvolumen gecacht werden, die eher denen eines mittleren unternehmens entsprechen als denen eines einzelusers, z.b. im falle monos, der so an die 40 teilnehmer bedient. da sollten schon n paar gig ram drin sein, damit son server sinn ergibt.

@4huf also so wie ich das mitbekommen hab ist die mentalität der hna-"spender" nach dem blocken von p2p, youtube und co. eher die, "was ich nicht weiß, macht mich nicht heiß" :D spass^^ das problem der rechtlichen seite, würde ich sowieso gern mal noch extra besprechen, denn die allgemeinen rechtsvorstellungen der ff-teilnehmer gehn diesbezüglich, denke ich, von falschen voraussetzungen aus.

so... hab jetz hoffe ich allen geantwortet, sry, dass ich so lang nich in meinen eigenen thread geschaut hab
みんなはばかだ。
Mein öffentlicher Schlüssel (OpenPGP)
Mein öffentlicher Schlüssel (SSH2, kommerzielles Format)
Verwalter von 7.42, 7.43, 7.44, 9.42, 10.42, 10.43, 15.42 und 28.1.
Anschluss: T-Com Call & Surf Comfort Plus inkl. HotSpot-Flat 16/1 Mbit
Modem, Router, TK-Anlage: Speedport W 700V
FF-Router: Buffalo WHR-HP-G54, FFF-Leipzig 1.6.10-core-1-halle-3, Doppel-Biquad-Antenne
4huf
Beiträge: 677
Registriert: 19.04.2007 14:56
Wohnort: Zscherben

Beitrag von 4huf »

Also soo schlimm ist das mit dem Proxy nicht.
Da reicht locker ein nicht mehr so junger Rechner mit mind. 256MB und ner xxGB-Platte.
Sicher ist größer besser aber man muss es nicht übertreiben.
Ist dann eben nur eine Frage wie viel Treffer der Cache landet.
Aber man wird überrascht sein wie hoch das ist, auch bei vielen verschiedenen Usern.
(Google, Ebay, Microsoft, diverse Zeitungen usw)

Das größere Problem ist der Stromverbrauch.
Ein Router braucht 6..8W, ein PC mindestens 40..50W.
Ein älteres Notebook (sogar mit defektem Display) geht auch.
Da kommt man ev. auf 30W.
Man kann den squid auch auf Routern mit USB-Platte laufen lassen.
Leider lief das bei mir mit dem WGT634 nicht so stabil. Der Versuch ist aber schon eine Weile her.

Optimale Plätzte für so einen Proxy sind zum einen die HNA´s (mit dem Stromproblem) mit dem Ergebniss der Traffic-Reduzierung und
an solchen "Hausverkabelungen" wie bei tmk , mit dem Ergebniss der Traffic-Reduzierung sowohl zu den HNA´s als auch auf den Links.
. eine Antenne ist der beste HF-Verstärker
.funktionierende Antennen : Short-Backfire, AMOS-5, AMOS-3, Doppelquad, 4fach-Quad
Benutzeravatar
tox
Beiträge: 1417
Registriert: 11.08.2007 16:33
Wohnort: Halle
Kontaktdaten:

Re: FTP-Server für häufige Downloads

Beitrag von tox »

einmal squid für timmi... ich schreibs auf die liste ;)

mh, hast du erfahrungen mit proxys? bei der festplatte hast du sicher recht, denn der cache sollte idealerweise ja sowieso komplett im ram liegen. aber 256 mb ram, also ich weiß ja nich... klar, bei 40 leuten ist es einfach, eine gemeinsame grundmenge an daten zu finden, die der proxy da reinpackt, aber je mehr user es sind, desto weniger dinge kann man dann zusätzlich reinpacken von einem user, von dem der proxy annehmen kann, dass ein anderer user es auch noch mal benötigt. was ich sagen will, bei gleicher ramgröße wird der inhalt umso statischer, je mehr user auf den proxy zugreifen. und wenn man von windows anfängt zu reden, sollte man bedenken, dass ein frisches xp so etwa 150 mbyte belegt 8)
みんなはばかだ。
Mein öffentlicher Schlüssel (OpenPGP)
Mein öffentlicher Schlüssel (SSH2, kommerzielles Format)
Verwalter von 7.42, 7.43, 7.44, 9.42, 10.42, 10.43, 15.42 und 28.1.
Anschluss: T-Com Call & Surf Comfort Plus inkl. HotSpot-Flat 16/1 Mbit
Modem, Router, TK-Anlage: Speedport W 700V
FF-Router: Buffalo WHR-HP-G54, FFF-Leipzig 1.6.10-core-1-halle-3, Doppel-Biquad-Antenne
4huf
Beiträge: 677
Registriert: 19.04.2007 14:56
Wohnort: Zscherben

Re: FTP-Server für häufige Downloads

Beitrag von 4huf »

Naja, ein wenig. In der Firma betreibe ich einen.

Die Frage ist, warum soll alles vom WEB-Cache im RAM liegen ?
Sicher ist der dann etwas schneller, aber das betrifft ja nur die aktuellen Daten.
Unter aktuelle Daten verstehe ich z.B. die Elemente wie Icons, Bildchen, Frame-Teile einer Web-Presentation.
Wenn man sich da verschiedene Seiten an sieht werden viel Elemente immer wieder geladen.
Nun macht das aber in der Regel auch der Browser !
Der Browser ist meistens auf eine Verfallszeit von einem Tag eingestellt.
Wenn ich also die gleiche Seite morgen wieder besuche wird der ganze "Kleinkram" wieder neu geholt.
DAS könnte aber der Proxy liefern, den seine "Verfallszeit" ist viel größer.
Bei vielen Usern sind das aber zu viel Daten für den RAM denn das läppert sich ...
Auf der anderen Seite liefert eine Platte (ältere Systeme) mind. 10..30Mbyte/s an Daten, also immer noch viel
schneller als die Netzwerkverbindung.
Aus diesem Grund kommt man also auch mit kleinem RAM aus, gut die Platte hat eben zu arbeiten ...

Hier mal die Statistik von unserem Squid mit ca 200 Usern :

Code: Alles auswählen

Cache information for squid:
	Request Hit Ratios:	5min: 33.2%, 60min: 42.6%
	Byte Hit Ratios:	5min: 6.4%, 60min: 12.3%
	Request Memory Hit Ratios:	5min: 0.2%, 60min: 3.5%
	Request Disk Hit Ratios:	5min: 11.2%, 60min: 13.2%
	Storage Swap size:	921576 KB
	Storage Mem size:	8160 KB
	Mean Object Size:	11.60 KB
Der hat nur 8MB als Cache-RAM !! und 1GB als Disk-Cache.
(Der Rechner hat 256MB RAM, 4GB Platte)
Die Trefferrate lässt sich sicher mit mehr RAM und vor allem größerer Disk noch verbessern.
Für die Traffic-Einsparung ist die "Byte Hit Ratio" sicher der anzusetzende Wert.

Andererseits sind auf vielen Seiten heutzutage dynamische Inhalte, die sich schlecht cachen lassen (oder es verhindern).
Das muss dann der praktische Einsatz zeigen.

Ich will eigentlich nur sagen das so ein Squid-Proxy an verschiedenen Stellen im Netz sehr sinnvoll sein kann und keine
extra hohen Anforderungen an die Hardware stellt, jeden falls nicht in unserem Umfeld.
. eine Antenne ist der beste HF-Verstärker
.funktionierende Antennen : Short-Backfire, AMOS-5, AMOS-3, Doppelquad, 4fach-Quad
Benutzeravatar
iion2k
Beiträge: 90
Registriert: 21.11.2006 14:32
Wohnort: Puschkinstrasse

Re: FTP-Server für häufige Downloads

Beitrag von iion2k »

Hi 4HUF

cachen auf der HDD kostet zeit wenn möglich läuft das Ticket der Anfrage ab und der Browser weis nicht mehr was er machen soll ein reload bleibt nicht aus und das ist auf die Dauer anstrengend. Ist meine Erfahrung mit Squid und Cachen
der Dienst arbeitet sicher besser mit mehr Arbeitsspeicher
Statische Seiten sind heutzutage gegenüber den Seiten mit Dynamischen Inhalten in der Unterzahl
genial wäre es den Header vom Squid auslesen zu lassen und nur die aktualisierungen der Site werden geladen,und den Rest vom HD Cache
wen das ginge ...........


Mfg iion2k
Have a nice Day
Benutzeravatar
tox
Beiträge: 1417
Registriert: 11.08.2007 16:33
Wohnort: Halle
Kontaktdaten:

Re: FTP-Server für häufige Downloads

Beitrag von tox »

みんなはばかだ。
Mein öffentlicher Schlüssel (OpenPGP)
Mein öffentlicher Schlüssel (SSH2, kommerzielles Format)
Verwalter von 7.42, 7.43, 7.44, 9.42, 10.42, 10.43, 15.42 und 28.1.
Anschluss: T-Com Call & Surf Comfort Plus inkl. HotSpot-Flat 16/1 Mbit
Modem, Router, TK-Anlage: Speedport W 700V
FF-Router: Buffalo WHR-HP-G54, FFF-Leipzig 1.6.10-core-1-halle-3, Doppel-Biquad-Antenne
Antworten