meshviewer

[Tommy]

Wir haben die Feststellung gemacht, das man mit einer Topografie Karte Interessenten sehr neugierig auf Freifunk machen kann. Die Magdeburger nutzen ffmap-d3 auf ihrer Webseite. Das nachfolgeprojekt ist der "Meshviewer" https://github.com/tcatm/meshviewer Ließe sich sowas auch für das Hallenser Netz realisieren? Eventuell auch in der Form, das man nur Projekt XX - Projekt YY darstellt um Regionen gezielt darzustellen? Auch wenn es aus technischer Sicht vielleicht nicht allzu interessant ist, aber ein stolzer Besitzer einer Node könnte immer sehen mit Wem er verbunden ist und von wie vielen clients es gerade genutzt wird. Zudem ist es eine gute Werbung.

Ich weiß, dass ihr unter http://freifunk-halle.org/topologie.php eine Topologie habt. Allerdings ist diese selbst auf einem 24" Monitor schwer anzeigbar und hübsch ist anders

[3dfxatwork]

Wir haben auch eine Karte https://freifunk-halle.org/Map/ , die Daten sammeln wir nicht, aber ich werde es mir mal anschauen.

[Tommy]

Wir haben auch eine Karte https://freifunk-halle.org/Map/ , die Daten sammeln wir nicht, aber ich werde es mir mal anschauen.

Jo, die kenne ich schon. Da sieht man aber nicht so schön, wieviele Clients grad dranhängen. Gerade das bringt aber das Gefühl der Bestätigung "Mein Netz wird benutzt". Man kann die Topologie Ansicht auch sehr gut nutzen um die Funktion des Meschnet zu erklären. So wie ich das sehe, ist das alles in Pyton und besteht aus einem Backend und einem Frontend. Wenn man das Backend an Zentraler Stelle einbaut und den JSON nach außen zur Verfügung stellt, könnte man mehrere Frontends drauf zugreifen lassen. Eventuell nach Projekt/IP Range gefiltert.

Zudem nutzt das Frontend OpenStreetMap, was m.E. für sich selbst spricht

Edit: Hier ist noch der Link zum Backend https://github.com/ffnord/ffmap-backend Sieht für mich jetzt so kompliziert nicht aus. Allerdings habe ich auch so gut wie keinen Plan wie OLSR tickt und welche informationen wo vorliegen. Ich denke nicht, das jeder Router die komplette Umgebung kennt. Ich sehe ja als Nachbarn nur die beiden VPN Gateways. Vermutlich müßte der Code also "weiter oben" in der Topologie laufen

[3dfxatwork]

Wir verwenden kein Batman und Alfred auf den Servern und sprechen das auch nicht über VPN, das würde ich auch erst mal nicht ändern wollen, sodass wir das wohl nicht so einfach einsetzen könnten. Unser Konzept geht eher dahin, dass BATMAN in lokalen Netzteilen gesprochen wird, sodass man für sich selbst soetwas aufsetzen kann, aber nicht Freifunk Halle bzw Dessau weit, aber darüber können wir ja nachher etwas genauer sprechen.

[Tommy]

.... aber darüber können wir ja nachher etwas genauer sprechen.

Haben wir, und die Lösung, zumindest ein Ansatz scheint realisierbar über Anpassung des aktuellen (sowas ähnlichem wie) JSON output. Entsprechend wäre das Backend quasi schon vorhanden. Einziger Haken, auf der Meshviewer Karte werden die verbundenen Clients nicht angezeigt, da diese Informationen nicht vorliegen bzw. von OLSR übertragen werden. Die Topologie Karte würde also leider erstmal ohne die blauen Punkte auskommen müssen. M.E. sieht es aber trotzdem noch sexier aus als die bisherige Topologie Karte.


Auf der Dresdener Webseite habe ich nichts Meshviewer- ähnliches gefunden. Jemand sagte, das die sowas nutzen. Eventuell gilt das noch mal zu eroieren.

Der bisherige Auswurf für die Topologie sieht so aus (auf "dot" abgefragt - was auch immer dot heißt)

Code: Alles auswählen

graph Topologie {
	graph [charset="utf-8", start=0, size="24.00,24.00", epsilon="0.01", bgcolor="#ffffff", outputorder=breadthfirst];
	node [label="\N", fontname=BitStream, shape=ellipse, style=filled, height="0.60", fontsize="8.00", color=red, penwidth="1.00"];
	edge [fontname=BitStream, fontsize="12.00"];
	graph [bb="0,0,1503.9,1545.3"];
	"10.62.4.1" [label=".4.1", height="0.59722", fillcolor="#FFFFA0", pos="847,819.57", width="0.75"];
	"10.62.60.1" [label=".60.1\nUniversitätsring 9", height="0.59722", fillcolor="#FFFFA0", pos="658.37,988.16", width="1.7778"];
	"10.62.60.2" [label=".60.2\nLeitergasse 4, (Ecke Geiststr.)", height="0.59722", fillcolor="#FFFFA0", pos="1038.2,1040.5", width="2.6667"];

Das Meshviewer Frontend erwartet sowas

Code: Alles auswählen

{ 'nodes': {
    node_id: { 'flags': { flags },
               'firstseen': isoformat,
               'lastseen': isoformat,
               'nodeinfo': {...},         # copied from alfred type 158
               'statistics': {
                  'uptime': double,       # seconds
                  'memory_usage': double, # 0..1
                  'clients': double,
                  'rootfs_usage': double, # 0..1
                  'loadavg': double,
                  'gateway': mac
                }
             },
    ...
  }
  'timestamp': isoformat
}

Das heißt, der c# code müßte erweitert werden um die Abfrage "json" und so viel wie möglich Informationen in dieses Gerüst packen. Dann das Frontend irgendwo aufsetzen und anbinden - ferdsch.

[3dfxatwork]

Hi Tommy, wir haben schon alles Online. Schau dir mal die Doku zu unseren Backend Tools und die Quellen bei Github an. Wie ich das sehe brauchen wir nur eine ffmapJSON.ashx zu schreiben, sie dir dazu im Vergleich mal die JSON.ashx und WikiJSON.ashx an. In der 2. Iteration müsste man dann die Projektionen wie von Topology.ashx mit integrieren.

PS: Falls du einen github account hast, kann ich ihn gleich zu der Gruppe hinzufügen, dann kannst du das auch commiten, falls du da etwas machen möchtest.

[Tommy]

Ahhhjetzt ja Die Doku war der Missing Link. Der JSON Output ist leider nicht valide. Es ist IMHO ungünstig eine IP als ID zu nehmen. Eher sowas wie "ID_192_168_0_1": .... wenns denn unbedingt die IP sein soll. Die IP kann dann lieber im Objekt nochmal als Klartext auftauchen. Eine Weiterverarbeitun eines Objektes mit punkten im Namen scheint mir fast unmöglich.

Git Account habe ich, aber ich komme mit Git nicht wirklich klar https://github.com/Tommy-LSA. Also gib mir lieber keine Schreibrechte.

Hie mal was JSONLint zum JSON sagt.

[3dfxatwork]

Ja haben wir ja gestern schon besprochen, dass das nicht valide ist. Ich würde es für die bestehenden Sachen aber nicht ändern, da ich dann dort wahrscheinlich alles ändern müsste, würde nur für den neuen output-adapter valides json erzeugen wollen.

Edit: Ich habe das Thema mal in Software verschoben, da scheint es mir besser aufgehoben zu sein.

[Tommy]

Jopp, Software ist besser. Hier mal ohne die ganzen Backslashes. Idee mit parallelem output ist gut. Für die bisherigen Sachen NCARS

So passt es mit Lint:

[Tommy]

habe mal ein paar Sachen geändert so das das Gerüst passen sollte. Allerdings kann ichs nicht testen und zum Großteil weiß ich nicht wo ich die Daten herholen kann. Den Alfred Datentyp 158 habe ich versucht strukturell abzubilden und die escaperei habe ich rausgenommen. Datei im Anhang

[3dfxatwork]

ok ich hab vorhin auch schon bissel was gemacht, werde das heute Abend zusammenführen und mal online bringen.

[Tommy]

Ich hatte noch ein paar minuten Zeit und habe mal in das andere C# Prohekt geschaut. Scheinbar ist das der "Datensammler" Dort wird ein Roundcall auf alle Router gefahren an folgendes Script und die empfangenen Daten in eine Datenbank gekippt.

Code: Alles auswählen

WebResponse = Freifunk.NetTools.GetWebResponse("http://" + NodeIP + "/cgi-bin-botinfo.txt?cat=nvram,wlan,routes", Timeout);

Wenn wir in dieses Script auf den Routern noch die Anzahl verbundener Clients zusätzlich reinpacken würden (und was sonst noch so fehlt) hätten wir doch alles benötigte? Setzt natürlich voraus die Datenbank anzupassen und son Gedöns. Warum nehmt ihr da Postgre und nicht sqlite? Ist doch nur pipifax was da gespeichert wird, also mengenmäßig. Ich muß mir mal zuhause eine kleine Entwicklungsumgebung bauen und das simulieren.

[3dfxatwork]

Die Datenbank ist generisch und kann beliebige key value paare speichern, an der muss nichts geändert werden. Ja man kann das einfach in die botinfo mit reinschreiben, dazu wollte ich ja schauen, wie das auf anderen routern gemacht wird.
Eine Postgres DB war schon da, also warum nicht diese nutzen.

[kwm]

@3dfx

Ich dachte schon, du hast Meshkit2 in die Seite eingebaut, als ich die root-mail gelesen habe. Einbauen von Meshkit2 in die Webseite halte ich im Moment für wichtiger.

Die Map geht nicht mehr.

Ist eine gute Idee, was ihr da gestern besprochen habt, die Hotspotnutzer in die Botinfo mit rein zu tun. Status Wlan0, tap0, tap1 sollte dann auch noch in die Botinfo mit rein.

Wenn alles wieder geht und du dann noch Zeit und Lust hast, kannst du dann bitte noch nach der Abfrage von den Wetterdaten schauen. Habe dort gestern eine neue Wetterstation installiert. Es gibt dort außer dem Kombisender noch einen Fühler auf dem Dachboden. In nächster Zeit werden da noch welche für die Räume dazukommen.

[3dfxatwork]

kommt alles heute abend.

[Tommy]

Okay habs nur überflogen. Ich guck heute abend mal genauer und istallier mir mal Postgres. Dann sollte ich das Teil auch zum laufen kriegen. Habe für .NET alles da


@kwm: Wenn die BotInfo erweitert werden soll, wäre es sinnvoll dies zu tun bevor der "run" auf meshkit2 bzw. die neue FW losgeht?! Das sollte dann möglichst schon drin sein, sonst müssen die Leute nochmal neu flashen, die ihre clients in der Topo sehen wollen.

[kwm]

kommt alles heute abend.

Nachtschicht? Werde mir das Ergebnis gegen 1 Uhr ansehen.

[kwm]

@kwm: Wenn die BotInfo erweitert werden soll, wäre es sinnvoll dies zu tun bevor der "run" auf meshkit2 bzw. die neue FW losgeht?! Das sollte dann möglichst schon drin sein, sonst müssen die Leute nochmal neu flashen, die ihre clients in der Topo sehen wollen.

OK das ist ein überzeugendes Argument. Die Integration ist aber davon erstmal unabhängig. Das ist ein Problem im Apache. Die Menue-Leiste funktioniert bei Meshkit2 nicht.

[kwm]

@3dfx

wenn du das alles in die Botinfo mit reinbaust, erstelle bitte auch ein Packet zum Nachinstallieren für die FF-Router. Damit ich nicht wieder einen ganzen Tag damit verbringe, die FF-Router 10.62.60.x mit neuer Firmware zu versorgen. Auch den bei Orca würde ich nur ungern nochmal neu machen. Der war mit einigem Aufwand verbunden.

[3dfxatwork]

@Tommy irgendwie sehen die daten auf den richtigen backends nicht so aus wie in der Beschreibung des Backends. Hier ein Beispiel aus Hamburg.

@kwm bei mir gibt es nichts ohne Paket.

[Tommy]

hmm, die Packen die nodes in ein Array wärend das Backend je ein objekt mit einer ID vorn dran macht. Die scheinen wie Magdeburg den Vorgänger von meshwiewer zu nutzen https://github.com/ffnord/ffmap-d3 Eventuell hat sich das format geändert?!

Frage: Was verbirgt sich aus Sicht der C# Applikation hinter <add key="TxtInfoURI" value="http://localhost:2006" /> ? Das muß eine Liste von IP Adressen sein. Ich denke mal irgend ein Derivat aus den gemeldeten IP's? Gibts die Adresse auch nach außen zugänglich? Zumindest das Format würde mich mal interessieren.

Ich habe hier grad Postgres installiert und die Karre soweit am laufen

[3dfxatwork]

@Tommy hast du irgendwo eine Community gefunden, die das akutelle backend verwendet?
Ja, Link. Das ist das olsr txt info plugin. Das heißt du kannst das auch von deinem router direkt abrufen von port 2006, ich weiß aber nicht, ob das nur für lokale zugriffe freigegeben ist oder für alle, musst du mal rumprobieren.

[Tommy]

Hmmm, wer versteckt sich denn hinter dem Git Account ffnord? Muß doch irgendwo ander Küste sein?!

Auf 2006 komm ich nicht an beiden Routern. Aber dein Link reicht mir

[3dfxatwork]

das hab ich gegooglet und bin bei hamburg rausgekommen, vielleicht lücbeck aber so richtig hab ich das nicht rausgefunden.

[Tommy]

die botinfo.txt kann doch schon user zurückgeben. Da ist nur ein typo drin das muß bot_users() heißen, das i ist zu viel

ibot_users() {
DLEASES="/var/dhcp.leases"
SLEASES="/var/run/dhcpsplash.leases"

[3dfxatwork]

Ich hab den Tippfehler behoben und auch gleich noch die function angepasst, dass sie auch funktioniert, bzw nun das liefert was wir wollen. Siehe hier. (Ist auch alles im github und wird vom meshkit2 schon benutzt.)

Dann habe ich mal die bötigte Funktionalität in den JSONGenerator integriert und eine Option für FfMap angelegt, sowie eine Implementierung unter FfmapJSON.ashx angelegt. Dies gilt es nun noch mit Daten zu füllen, das muss aber bis morgen warten.

[Tommy]

Super!

An dem JSON müssen wir dann halt solange basteln bis es zum Frontend passt. Da ist ja weniger Druck als bei der FW

Das alte ffmap scheint aus Lübeck zu kommen. Vielleicht kann man ja auch das erstmal nutzen. https://github.com/ffnord/ffmap-d3/tree/deprecated Wenn wir erstmal alle Daten in der Datenbank haben, ist es ja nur noch das Problem, das richtige Format hinzufizzeln.

[Tommy]

Kannst Du die BotInfo auch ins alte Meshkit einbauen? Das werden wir ja für die 841er noch ne Weile nutzen. Ich kann die Datei nicht ändern, weil zu wenig Platz zum speichern ist. Das ist zumindest die Meldung. Ich glaube aber eher, das /www in einem schreibgeschützten Bereich liegt, da ich sie auch nicht löschen kann.

[Tommy]

Also ich habe mal ein wenig rumgeschaut und bin auf dieses Forum gestoßen https://forum.freifunk.net/t/ffmap-back ... v2/4123/49 Wie es scheint wird am meshviewer gerade noch übelst gewerkelt. Im forum gibt es einen Link zum MV der Hamburger https://map.hamburg.freifunk.net/ Diese Seite lädt den JSON von hier https://map.hamburg.freifunk.net/nodes.json in der Struktur (das ist !EINE! Node):

Code: Alles auswählen

{
    "timestamp": "2015-04-22T09:27:01",
    "nodes": {
        "c46e1f86c2d8": {
            "nodeinfo": {
                "network": {
                    "mesh_interfaces": [
                        "c6:72:1f:86:c2:d8",
                        "c4:6e:1f:86:c2:d9"
                    ],
                    "mac": "c4:6e:1f:86:c2:d8",
                    "addresses": [
                        "fe80:0:0:0:c66e:1fff:fe86:c2d8",
                        "2a03:2267:0:0:c66e:1fff:fe86:c2d8"
                    ]
                },
                "hostname": "freifunk-c46e1f86c2d8",
                "hardware": {
                    "model": "TP-Link TL-WR841N/ND v9"
                },
                "node_id": "c46e1f86c2d8",
                "location": {
                    "latitude": 53.60984380549684,
                    "longitude": 10.108827352523804
                },
                "software": {
                    "batman-adv": {
                        "compat": 14,
                        "version": "2013.4.0"
                    },
                    "firmware": {
                        "release": "0.6",
                        "base": "gluon-v2014.4"
                    },
                    "fastd": {
                        "version": "v16",
                        "enabled": true
                    },
                    "autoupdater": {
                        "enabled": true,
                        "branch": "stable"
                    }
                }
            },
            "statistics": {
                "clients": 0
            },
            "flags": {
                "gateway": false,
                "online": false
            },
            "lastseen": "2015-04-15T23:23:01",
            "firstseen": "2015-04-12T12:23:32"
        },.........................

Dies scheint also die benötigte Struktur für Meshviewer zu sein

Dann habe ich mir mal die Karte der Magdeburger angeschaut http://map.md.freifunk.net/graph.html Die nutzen die ffmap-d3 (also den Vorgänger von Meshviewer) Diese bezieht die Daten von http://map.md.freifunk.net/nodes.json

Siehe da, die struktur ist anders, wir erkennen das an dem Array (das ist ebenfalls EINE Node).

Code: Alles auswählen

{
    "nodes": [
        {
            "name": "alpha",
            "firmware": "0.30",
            "flags": {
                "gateway": false,
                "online": true
            },
            "clientcount": 0,
            "geo": [
                52.13529246299192,
                11.645700093358755
            ],
            "id": "24:a4:3c:a3:13:a7"
        },...................

Ich persönlich würde vorschlagen, erstmal das ffmap-d3 zu verwenden, was m.E. sauberer aussieht mit den VPN Pfeilen anstatt dem Spinnennetz welches jeden HNA mit dem Gateway verbindet. Zudem kommen wir mit wesentlich weniger Daten aus. Das Frontend ist hier noch downloadbar. http://tcatm.github.io/ffmap-d3/


Allerdings sehe ich auf den 2. Blick noch einen Haken. Nach dem Array "nodes" kommt noch ein Array "links" welches so aussieht und anscheinend für die Striche zuständig ist. Vermutlich beziehen sich Source und Target auf den jeweiligen Index im oberen Array "nodes"

Code: Alles auswählen

    "links": [
        {
            "id": "06:18:d6:4f:b0:58-06:18:d6:95:8d:fc",
            "source": 64,
            "quality": "1.067, 1.090",
            "target": 8,
            "type": null
        },
        {
            "id": "66:70:02:f0:1b:00-d2:f4:29:99:68:61",
            "source": 62,
            "quality": "1.000, 1.000",
            "target": 31,
            "type": "vpn"
        },
        {
            "id": "26:a4:3c:fe:c7:68-ee:94:f6:0c:a5:e4",
            "source": 16,
            "quality": "1.441, 1.409",
            "target": 53,
            "type": null
        },...........

[3dfxatwork]

Das links array / object sollten wir auch hin bekommen, unser writer erzeugt das zwar innerhalb eines knotens, aber das kann man ja einfach später anhängen, wenn es für die ffmap benutzt wird. Ich würde aber nicht auf ein altes Pferd setzen wollen, dann müssen wir das in ein paar Monaten wieder portieren. Mit dem befüllen werde ich heute Abend mal beginnen, ein paar sachen sind schon da, die muss ich nur an die richtige stelle bekommen.

Ich wollte das eigentlich nicht in das alte meshkit portieren, das ist mehr aufwand und hilft nicht wirklich, wenn du kein VPN auf den 4M Kisten brauchst kannst du auch das beta meshkit nehmen.