Downloadserver FTp

[bwar]

Ich beziehe mich auf folgendes Thema: http://www.freifunk-halle.de/phpBB3/vie ... f=13&t=620

Nun bin ich fertig.

Ich habe einen Server unter meinem Schreibtisch, welcher mit einer 40GB Platte ausgestattet ist.

Man kann mittels Webinterface einen Link eingeben und abschicken.
Dieser link wird dann neben den vielen anderen, welche von anderen Nutzern abgeschickt wurden, in einer Datei gespeichert.

Alle zwei Stunden startet ein Cronjob, der dann den Download veranlasst.
Die Downloads sind dann über einen anonymous-FTp zugänglich. Auf dem Server kann man auch selber etwas ablegen.

Die Inet-Anbindung hat 30MBit, welche ich allerdings nicht als HNA freigeben darf. Daher stelle ich erstmal nur einen Downloadserver.


Nun habe ich an euch eine Frage.

Was soll permanent gespiegelt werden. Ich war gerade dabei, mittels rsync einen Debianmirror aufzusetzen, als mir cyrus es abriet.
Habt ihr andere Wünsche, oder soll ich erstmal alles frei lassen?

Nächste oder übernächste Woche kommen mein Router und die Panelantenne per Post.
Dank meiner Lage (Weinbergcampus mit Blick richtung peisnitzinsel) empfange ich nur Mono. Mit viel Zauber kann man auch 4huf erreichen. Doch da muss ich erstmal sehen, wie man das möglich machen kann.


mfg

bwar

[tox]

außer betriebssystemdistributionen fallen mir eigentlich keine dinge ein, die es sich lohnen würden permanent zu spiegeln
ich denke auch, dass 40 gb auf längere sicht etwas knapp werden können, wenn du tatsächlkich n suse, n ubuntu und vllt. noch n debian draufpackst. mein vorschlag: auf mittelfristige sicht ne größere festplatte einplanen, möglicherweise auch von der community beigesteuert. dazu sollten wir aber wissen, wie sie angeschlossen werden muss und wie groß sie maximal sein darf, denn ich kann mir vorstellen, dass der rechner und auch das bios nicht die frischesten sind.

[bwar]

der rechner und auch das bios nicht die frischesten sind.

Der Rechner hat eine P2-CPU mit 400MHz, 512MB Ram und eben eine Samsung HDD IDE mit 40GB. Ich denke mal, dass da mind. noch eine gehen wird.

Ich hätte höchstens die beliebtesten Disitris wie Debian und ubuntu gespiegelt.

Ich gehe zudem erstmal davon aus, dass 40GB reichen werden. Da jeder Zugriff haben wird, kann man Daten auch selber löschen.
Wenn der Server nicht gerade zur größten privaten pr0n-Sammlung von Halle mutiert, werden wir solange hinkommen, bis jemand ein paar GB sponsort. :p

mfg

bwar

[tox]

"toxdass"?

dass jeder die daten löschen kann, finde ich suboptimal. da kann jeder der 100 user ausm freifunk beliebige dateien löschen? das is doch schon sehr einladend, finde ich... auch ist es nicht gut, dass jeder ohne vorprüfung dateien zum runterladen angeben kann. deshalb meinte ich auch, als ich den server angesprochen hab, dass es jemanden geben muss, der sich darum kümmert, veraltete dateien unter aufsicht runterzuladen und bei bedarf zu löschen.

auch liegt die absicht, dort hauptsächlich linux-distris draufzubehalten, nicht unbedingt im rahmen dessen, was ich ursprünglich bezwecken wollte. ich dachte eher an sowas wie größere softwareupdates, oder beliebte videos (kein pr0n) etc. also dinge, die auch bald wieder gelöscht werden. sonst wird dieser server zu einer art statischer dateisammlung, was ich eigentlich vermeiden wollte, denn dann kann man das auch auf dvds brennen und rumgeben...

Ich mochte die maximale größe einer möglichen neuen festplatte wissen, weil ich weiß, das ältere systeme mit großen nicht zurecht kommen, kannst du dich da mal bitte informieren? wenn wir uns nämlich ne billige 250er kaufen, möchte ich schon gern vorher wissen, ob es eine 10euro billigere 120er getan hätte, weil das bios sowieso nich mehr kann. du verstehen kammerad

[se]

"linux-distris" kommt "software-updates" gleich. aktuelle pakete installieren ist bei linux das gleiche wie software updates. man braucht nur die paket-repositories spiegeln (nicht alles, sondern nur auf anfrage runterladen und für die nächste anfrage zwischenspeichern). zumindest bei apt (bei debian und ubuntu verwendetes paketsystem), kann man das so realisieren.

das ganze moderiert zu machen finde ich eine schechte idee. man muss nicht immer von bösartigem verhalten ausgehen.

[tox]

nein, man muss nicht von bösartigem verhalten der menschen ausgehen, deshalb brauchen hochauflösende videos auch keine 256-bit-aes-verschlüsselung und deshalb will schäuble auch sämtliche antiterrorpläne fallen lassen

oder um es anders zu sagen:

man muss nicht, aber man kann und sollte.

uiui, das war doch etwas krass formuliert von mir, ich hoffe in meinem eigenen interesse, dass das ne ausnahme bleibt... aber ich denke, ihr wisst alle, was ich sagen wollte

[bwar]

auch ist es nicht gut, dass jeder ohne vorprüfung dateien zum runterladen angeben kann. deshalb meinte ich auch, als ich den server angesprochen hab, dass es jemanden geben muss, der sich darum kümmert

Wie se schon sagte, wäre das ein nicht zu bewältigender Aufwand, wenn jemand im schlimmsten Fall 300 Downloadlinks täglich betrachten darf.

auch liegt die absicht, dort hauptsächlich linux-distris draufzubehalten, nicht unbedingt im rahmen dessen,

War nur ein Vorschlag, weil auch Updates viel Traffic verballern können.

einer art statischer dateisammlung, was ich eigentlich vermeiden wollte, denn dann kann man das auch auf dvds brennen und rumgeben...

Es muss ja ne Sammlung sein. Was verstehst du unter dynamisch?
Deshalb soll ja jeder Zugriff haben, damit er seine Dateien, die er bereits geladen hat, selber löschen kann.

Ich mochte die maximale größe einer möglichen neuen festplatte wissen, weil ich weiß, das ältere systeme mit großen nicht zurecht kommen

Ich werd mich erkundigen.

du verstehen kammerad

Da, wo ich her komme, berechnen wir die Kapazitätsgrenze


Ich denke wie se, dass man nicht von Schlechten ausgehen muss. Würde eine Moderation oder Downloads unter Aufsicht statt finden, so wäre das nicht im Sinne vom Freifunk, wo sich jeder mit nem eigenen AP ans Netz stöpseln darf. Hier gibt es doch auch keine Kontrolle. Jeder ist autonom.

Eben kam die Versandbestätigung von Mindfactory. Ich denke mal, dass diese Woche ein Zugriff auf den Downloadserver möglich ist.

Verbesserungen kann jeder einbringen. Ich habe von php und co keine Ahnung und war froh, ein Perl-Script dafür klar machen zu können.
Wer etwas für meinen und alle zukünftigen Downloadserver bzw. Serviceserver (uuhh, ein neuer Begriff bzw. Unwort) entwickeln möchte, kann das gerne machen. Ich persöhnlich empfinde eine Anmeldung in einem Intranet eher hinderlich.


mfg

bwar

[tox]

Wie se schon sagte, wäre das ein nicht zu bewältigender Aufwand, wenn jemand im schlimmsten Fall 300 Downloadlinks täglich betrachten darf.

also dann macht jemand was falsch... entweder derjenige, der das letzte office-update in 300 kleinen dateien anbietet, oder derjenige, der sich 300 pr0n-bilchen runterladen möchte. es gibt keinen vernünftigen grund, warum jemand 300 dateien am stück runterladen möchte. groß können sie dann nicht sein, und dann kann er es auch an seinem rechner machen.

einer art statischer dateisammlung, was ich eigentlich vermeiden wollte, denn dann kann man das auch auf dvds brennen und rumgeben...

Es muss ja ne Sammlung sein. Was verstehst du unter dynamisch?
Deshalb soll ja jeder Zugriff haben, damit er seine Dateien, die er bereits geladen hat, selber löschen kann.

es geht mir bei diesem hinweis nicht darum, dass die daten auch gelöscht werden müssen. mir geht es darum, möglichst nur solche daten darauf zu haben, die auch innerhalb von einem bestimmten zeitraum runtergeladen werden (nämlich weil sie von interesse sind). wie isn das bei linux-mirrors, das seh ich doch richtig, dass zwar ein teil davon aktualisierte pakete sind, aber doch ein großteil davon seit ewigkeiten nich angrührt wurde, oder? ist es möglich, nur alle X pakete zu spiegeln, die innerhalb der letzen Y wochen geupdated wurden?, was wäre ein kompromissvorschlag von mir.

du verstehen kammerad

Da, wo ich her komme, berechnen wir die Kapazitätsgrenze

Da, wo ich her komme, wissen wir, dass Berechnungen bei Kapazitätsgrenzen sinnfrei sind, und schauen in Mainboard-Handbücher

Ähm, korrigiert mich, wenn ich falsch liege, aber hamm nich sämtliche laptop-user auch zugriff auf den ftp-server?

[bwar]

warum jemand 300 dateien am stück runterladen möchte.

Es können auch 300 Leute jeweils eine Datei laden. Trotzdem bleiben es 300 Links.

Ähm, korrigiert mich, wenn ich falsch liege, aber hamm nich sämtliche laptop-user auch zugriff auf den ftp-server?

Im Moment schon. Es haben alle zugriff.
Wenn es dich stört, kannst du einen Vorschlag erbringen, wie man es Unterbinden kann.
Wieso möchtest du bestimmte Gruppen ausschließen?

Ich behandel es erstmal so, dass jeder Zugriff auf den FTP-Server hat. Wenn es welche geben sollte, die den Dienst missbrauchen, bin ich eben gewzungen, Maßnahmen zu ergreifen. Doch bisher gehe ich von der Vernunft aus.
Es gab doch schonmal eine Diskussion über Beschränkungen. Die Mehrheit war für die Autonomie des Betreibers, aber auch für die uneingeschränkte Nutzung.

mfg
bwar

[tox]

Wieso möchtest du bestimmte Gruppen ausschließen?

ich möchte keine benutzergruppe ausschließen, sondern dich lediglich daraufhinstubbsen, dass es nicht nachvollziehbar sein wird, wenn dateien verschwunden sind.

auch möchte ich noch etwas anmerken. und da gehe ich einfach mal von meiner faulheit aus (die garantiert ein großteil der ffler in bezug zu remote-downloads mit sich bringen werden). angenommen ich hab mir jetzt die datei kopiert von dir, die ich auf deinem rechner hab downloaden lassen. ich hab zwei möglichkeiten. entweder ich lösche die datei sofort, weil ich keinen bock habe, mich darum zu kümmern, wen die datei noch alles interessiert (wie sollte ich das auch effizient anstellen). das ist absolut kontraproduktiv in hinblick die downloadersparnis, die ich ursprünglich anzustreben versuchte. oder ich lass die datei einfach datei sein und kümmere mich nicht weiter darum. das bedeutet für dich einerseits, dass deine festplatte vermüllt, und andererseits dass, du auf absehbare zeit gezwungen wirst, maßnahmen dagegen zu ergreifen. z.b. dich selbst darum kümmern, zu entscheiden, welche dateien noch benötigt werden und welche nicht. oder diese aufgabe jemand anderem übertragen, womit wir auch bloß wieder bei nem moderierten verfahren wären.

Ich behandel es erstmal so, dass jeder Zugriff auf den FTP-Server hat. Wenn es welche geben sollte, die den Dienst missbrauchen, bin ich eben gewzungen, Maßnahmen zu ergreifen. Doch bisher gehe ich von der Vernunft aus.

klar wirst du es erst mal so machen. du kannst auch von der vernunft der allgemeinheit der nutzer ausgehen. aber du kannst nicht von der vernunft jeden einzelnen nutzers ausgehen, es gibt immer deppen. ich halte das für fahrlässig.

ich würd mir wünschen, auch noch meinungen anderer teilnehmer zu hören. andernfalls würde ich vorschlagen diese diskussion zu beenden, da kein offensichtliches ende abzusehen ist...

[bwar]

Klar. Ich bin auch dafür, dass beliebte Dateien behalten werden und unbeliebte rausfliegen.
Nur hast du eine Idee, wie das automatisiert anzustellen ist?

Den Speicher kann man über FTP auch als allg. Dateiablage nutzen, wie es schon mit den ASUS Wlan-HDDs gedacht war. Die Nutzung hängt von den Freifunkern ab.

[tox]

als unverbindliche idee würde ich ein schwarzes brett, z.b. als wiki, vorschlagen, in dem man erst mal bekannt machen kann, was man beabsichtigt runterladen zu lassen. dort könnte man sich auch unformell absprechen über die "wichtigkeit" von bestimmten downloads und über die zeitdauer der aufbewahrung etc. möglicherweise kommt ja auch am ende raus, dass ein bestimmter download niemanden interessiert...

idealerweise könnte man diese idee mit dem automatisierten download verknüpfen, um dem "downloader" arbeit zu ersparen, allerdings sollte immer noch die möglichkeit der restriktion von downloads, sowohl in quantität als auch qualität, erhalten bleiben.

[culo]

Gruß in die Runde,
so könnte ich es mir vorstellen.
1. verschiedene Rubriken zu schaffen, die auch lange Bestand haben könnten (weil sie immer aktuell sind)
2. auch Rubriken die nur Zeitlich begrenzt sind, etwa wie Updates oder Sachen die von Haus aus schnell überholt sind
(z. B. von Linux oder wie auch immer die BS alle heißen, die nie fertig werden. (damit meine ich nicht Fenster) eh, das war nur ein Joke ))
3. event. auch ein Limit für jeden User (aber nur die, die auch angemeldet sind) und wenn ewas interessantes ist,
aber größer sein sollte als das Limit, dann anfrage bei dem Betreiber auf Speichererweiterung
ciao, culo

[se]

man kann doch einfach dateien löschen, die am längsten nicht runtergeladen wurden, wenn platz gebraucht wird. so nach dem motto: platte vollmüllen und erst wenn platz gebraucht wird, die am wenigsten gebrauchten dateien löschen. kann man automatisieren.

was hier grad so vorgeschlagen wurde klingt für mich viel zu bürokratisch. wenn man sich anmelden muss oder irgendwen fragen, dann wird man einfach auf den dienst verzichten und einfach so runterladen, was man will.
das problem was ich hauptsächlich sehe ist, die leute überhaupt dazu zu bringen, diesen dienst zu nutzen. also sollte man ihnen am besten keine steine in den weg legen.
ansonsten: erstmal machen, dann gucken, obs klappt, halt auf freifunk-art.

[tox]

was hier grad so vorgeschlagen wurde klingt für mich viel zu bürokratisch. wenn man sich anmelden muss oder irgendwen fragen, dann wird man einfach auf den dienst verzichten und einfach so runterladen, was man will.

ohne jemandem zu nahe treten oder den donwloadserver-gedanken gefährden zu wollen, ihr könnt mich unvernünftig nennen, aber wenn ich 2 stunden auf den cronjob warten muss, würd ichs mir sowieso lieber selbst saugen.

das problem was ich hauptsächlich sehe ist, die leute überhaupt dazu zu bringen, diesen dienst zu nutzen. also sollte man ihnen am besten keine steine in den weg legen.
ansonsten: erstmal machen, dann gucken, obs klappt, halt auf freifunk-art.

da bin ich dafür, man kann ja erst mal unverbindlich schauen, wie es läuft, so wie es grad ist.

[culo]

mal für mein Verständnis, wer soll den alles auf das LW zugreifen können?
jeder, auch aus dem INet, oder soll das nur intern wie NW sein?
soll jeder außerhalb der community zugriff haben?
ich dachte nur FF, die sich hier im Board angemeldet haben.
ach ja, hier müsst ihr euch im übrigen auch bloß anmelden, also was soll das denn?
4 Zahlen oder Buchstaben können es doch nicht sein, oder?
noch etwas, wie haben es denn die anderen?
es muss doch so etwas schon bei den anderen geben, oder?
culo

[bwar]

Das mit dem Cronjob war so eine Sache. Ich habe bereits zwei Felder eingebaut.
Ein Feld ist für Kleinere Downloads bis 800MB, die sofort geladen werden und das andere Feld für wirklich große Sachen.
Ich denke, das damit der Wunsch nach "sofort" erfüllt wäre

Wie schon gesagt. Ich hab mich schon an einem Benuterinterface gemacht. Nur kam ich nicht weit, weil ich leider keine Anhnung von php und co habe. Ich verfolge dennoch se's Meinung.

Schaut euch es erstmal an, wenn alles online ist. Dann kann die Sache aus der Kritik heraus wachsen.
Es sei, jemand hat etwas parat oder Ideen. Wer dann einen Serverzugang will, muss bescheid Sagen.

@culo
Ich habe es so eingerichtet, dass man direkt über das Inet keinen Zugriff hat. Der FTP-Server ist nur über den Node und dem Freifunk erreichbar.

[culo]

moin moin,
danke für das schnelle fb.
schönen Feiertag an alle.
culo

[stromer]

Es sei, jemand hat etwas parat oder Ideen

In unserem Firmenintranet gibt es sowas ähnliches, gedacht und genutz für Datenaustausch zwischen den einzelnen Standorten oder Mitarbeitern, wenn Dateien zu groß sind. Die Daten in diesen Ordnern auf dem Server werden nach jeweils ca. 5-6 Wochen gelöscht. Vielleich ist so ein "Verfallsdatum" eine Möglichkeit.

Wer dann einen Serverzugang will, muss bescheid Sagen.

Hier ich

[bwar]

Wer dann einen Serverzugang will, muss bescheid Sagen.

Damit meinte ich eigendlich ssh
Wenn man ein Zugangssystem anschaffen muss, bist du natürlich der Erste.

[bwar]

Ich habe nun ein komplett überarbeitetes Uploadinterface.


Es hat folgende Features eingebaut:

- Remoteupload
- Passwortabfrage für Löschen, Downloaden und Uploaden
- Löschsperre für eine bestimmte Zeit
- Automatische Löschung von Dateien, welche mehr als 50 Tage nicht mehr angetastet wurden
- Linkanzeige
- Uploadfortschrittsanzeige

Vorteile dieser Variante liegen auf der Hand. Es werden nur beliebte Daten gehostet, eine Moderation ist nicht notwendig. Eine Löschung von Daten bleibt nur bestimmten Personen vorbehalten.
Übersichtliche Anzeige.



Das Uploadscript ist opensource. Leider kenn ich die Seite nicht mehr, woher ich das mal geladen habe. Ihr werdet es sehen.

Die Fensterdruchführung ist leider noch nicht da. Vllt. morgen.
Zum nächsten Node gibt es einen ETX von 1.54. Das wäre mono.


mfg

Bwar

[bwar]

So. *trommelwirbel*
Mein Entwurf ist fertig.

Laut se ist der Server unter http://104.61.250.137:81 erreichbar.

Ich habe eigendlich noch die Weiterleitungen eingerichtet: http://104.61.252.5:81 und http://104.61.253.10:81
Je nach Routing sollte die Anbindung okay sein. Im Laufe der kommenden Woche arbeite ich allerdings mit Nachdruck daran.

Testet bitte einfach mal die Funktionen.
Der Remotedownload-bereich ist unten angesiedelt, weil ich in einem separaten Perl-Skript noch ein paar Funktionen eingebaut habe.
Das Passwort zum löschen der Dateien würde ich an Stammuser weitergeben, wenn sie es möchten.

Zur Hardware:
Compaq Workstation
Celeron 500MHz
384MB Ram
40GB HDD mit kompletter 256bit AES-Verschlüsselung


mfg

bwar

EDIT: Remotedownload geht leider noch nicht, weil wget nichts läd. Genauso wie apt-get und co... : /
EDIT2: Es geht wieder. Wenn der Node eine PPPoE-verbindung hat, scheint ein Download mittels wget nicht zu laufen. Warum auch immer. Nun gehts. Viel Spaß