Projektvorstellung / Linktip

Status
Für weitere Antworten geschlossen.

Pegasus

Gesperrter Benutzer
da es sich bei meinem neuen Projekt nicht um ein einzelnes Webradio handelt, ist dieser Post hier besser aufgehoben ;)

Seit einigen Tagen habe ich unter www.streamsuche.de einen Katalog online gestellt, der aktuell 21436 Streams beinhaltet.
Es ist möglich, eine Schnellsuche nach Genre und nach Schlüsselwörtern durchzuführen.

Was kann dieser Katalog?

- Filtern nach Genre
- Filtern nach Suchworten
- Anzeige von Codec, Bitrate und Genre
- Sofortiges TuneIn per Mausklick

Was kann dieser Katalog nicht?

- Voting
- Kommentarfunktion
- Suche nach Herkunftsland
- Suche nach Codec
- Suche nach Bitrate
- Neueintragungen von Webradios

Was wird dieser Katalog in Zukunft können?

- alles, was die Liste "Was kann dieser Katalog nicht?" beinhaltet ;)
- einen speziellen Player, der die gleichen Suchfunktionen beinhaltet, wie die Webseite selbst.

Was kommt als nächstes?

Eine Suchmaschine, mit der, ähnlich wie bei Google, die Radioseiten selbst durchsucht werden können. Die entsprechende Datenbank existiert bereits. AKtuell sind darin enthalten:

- URLS gesamt: 6756286
- Seiten gesamt: 889585

Die Datenbankgrösse ist aktuell ca. 15GB.

Welches Ziel verfolgt diese Seite?

- Die grösste Webradiodatenbank der Welt zu sein. Dieses Ziel dürfte mit den aktuellen Zahlen bereits erreicht sein, da es bereits mehr Radio sind, als Shoutcast selbst listet.
- die grösste Suchmaschine, speziell für Webradio. Auch dieses Ziel dürfte mit knapp 6,8 Mio Links und knapp 900.000 gecrawlten Seiten ziemlich erreicht sein.

Natürlich poste ich nicht nur, um euch auf dieses Projekt aufmerksam zu machen, sondern auch, um eure Meinung darüber zu hören. Ich bin auch offen für Vorschläge, weitere Funktionen, Anpassungen, Suchkriterien usw. Umso besser die Seite wird, umso mehr haben die Besucher (also auch ihr) was davon.

Aktuell benötigt die Seite noch Javascript (für den Seitenwechsel), an einer Alternative, die auch komplett ohne Javascript funktioniert, arbeite ich aber bereits. Ebenso ist momentan die Validität der Seiten noch nicht gewährleistet. Diese Beiden Punkte muss also keiner überprüfen, wer will, darf aber trotzdem :D

Aktuell ist die Seite noch ohne Werbung, was sich aber demnächst ändern wird. Wer sich also daran stört, der sei vorgewarnt. Allerdings wird es weder Layerads noch Popups oder son Zeugs geben, lediglich unaufdringliche Banner mit themenbezogener Werbung.

Ich hoffe auf viel Feedback und reichlich Vorschlägen zur Verbesserung. Potenzial dazu ist massenhaft vorhanden :)
 
AW: Projektvorstellung / Linktip

Hallo Pegasus,

zunächst einmal "Bravo" für dieses Projekt. Du hattest um Meinungen gebeten.

Was kann dieser Katalog nicht?
(...)
- Suche nach Herkunftsland
Schade ansich.... aber, wie wäre es ggf. mit der Option "Sprache"?

Dann fällt mir spontan noch ein: Ist es technisch realisierbar (und auch praktikabel), bei Genre eine Mehrfachauswahl zu treffen und so die Ergebnisliste etwas einzuschränken?
Für mich liest sich das momentan so: Entweder X oder Y. Die Angabe über die gespielten Genres wird ein Sender aber recht breit angeben, um möglichst oft gefunden zu werden. Folge: Die Ergebnislisten sind lang und unübersichtlich.
Ein AND statt eines ausschließlichen OR würde hier m.E. weiter helfen.

Wenn schon bestimmte Kriterien nicht als Suchargument zur Verfügung stehen: Kann man dann wenigstens das "sort by" beeinflussen?

Gruß, Uli ;)
 
AW: Projektvorstellung / Linktip

Schade ansich.... aber, wie wäre es ggf. mit der Option "Sprache"?

Wird kommen, aber vorerst nur anhand der Domainendung. Das heisst, das Radios mit de.vu auch unter "Vanuatu" gelistet werden. Da die Datenbank durch eine selbstentwickelte Software erzeugt wurde und nicht durch Handarbeit, ist die Auswertung aners nicht zu realisieren.

Dann fällt mir spontan noch ein: Ist es technisch realisierbar (und auch praktikabel), bei Genre eine Mehrfachauswahl zu treffen und so die Ergebnisliste etwas einzuschränken?

Hört sich interessant an. Werd ich auf jeden Fall in die ToDo-Liste aufnehmen.

Für mich liest sich das momentan so: Entweder X oder Y. Die Angabe über die gespielten Genres wird ein Sender aber recht breit angeben, um möglichst oft gefunden zu werden. Folge: Die Ergebnislisten sind lang und unübersichtlich.
Ein AND statt eines ausschließlichen OR würde hier m.E. weiter helfen.

An diesem Problem arbeite ich. Wenn jetzt jemand 5 Genres angegeben hat, erscheint der ja bis zu 5mal. Aus diesem Grund wird es die Möglichkeit gehen, das Besucher Vorschläge machen können, ob das Radio aus bestimmten Genres ausgefiltert wird, es können Kommentare geschrieben und auch OneClick-Votings abgegeben werden.
Da hier die Manipulationssicherheit ein wichtiger Punkt ist, wird das noch ein wenig dauern, bis ich das umgesetzt hab.

Wenn schon bestimmte Kriterien nicht als Suchargument zur Verfügung stehen: Kann man dann wenigstens das "sort by" beeinflussen?

Aktuell noch nicht, es wird bisher nach Alphabet sortiert. Allerdings wird es später die Möglichkeit geben, die Sortierung zu beeinflussen.
 
AW: Projektvorstellung / Linktip

Hallo,

schönes Design und gute Übersicht. Da kann (und will) man nicht meckern.

Nur eine Frage habe ich: Warum kann man nur den Stream anklicken, nicht aber die dazugehörende Website? Ist da der Verlinkungsaufwand zu groß oder wäre dadurch das Thema verfehlt (streamsuche.de)? Andererseits schreibst Du ja
Welches Ziel verfolgt diese Seite? - Die grösste Webradiodatenbank der Welt zu sein...
und dann wäre das Thema wiederum nicht verfehlt.

Daß Du keine Fremdeinträge von Webradios duldest, kann ich nur gut heißen, denn sonst wäre es bald der größte Schrottplatz der Welt. :D

Grüße, hombre67
 
AW: Projektvorstellung / Linktip

Nur eine Frage habe ich: Warum kann man nur den Stream anklicken, nicht aber die dazugehörende Website? Ist da der Verlinkungsaufwand zu groß oder wäre dadurch das Thema verfehlt (streamsuche.de)?

Weder ein technisches noch ein logistisches Problem. Schlichtweg hab ich die Software noch nicht soweit. Werd ich aber diese tage integrieren, wenn ich endlich meinen Server wieder zum laufen krieg (Plattencrash), evtl. sogar heute noch.

Daß Du keine Fremdeinträge von Webradios duldest, kann ich nur gut heißen, denn sonst wäre es bald der größte Schrottplatz der Welt.

Es wird lediglich die Möglichkeit geben, Vorschläge zu machen. Diese werden dann geprüft (von Hand, nicht automatisch).

@Neelix
Bei genau dem gleichen Suchwort hab ich mich das auch gefragt. Dann hab ich festgestellt, das Technobase schlichtweg nicht in der Datenbank ist. ;)
Da diese Datenbank schon vor einigen Monaten erzeugt wurde, war es vermutlich die zeit, in der TB nicht on Air war.
In den nächsten Tagen werde ich die Datenbank nochmal neu aufbauen lassen und damit evtl. neue Radios mit aufnehmen.
 
AW: Projektvorstellung / Linktip

Der Borg macht Fehler und gibt sie auch noch zu...*rot im Kalender vermerken muss*..;)
 
AW: Projektvorstellung / Linktip

Nett, vor allem flink. Könnte im Zweifelsfall die schnellste Möglichkeit sein, um einen Stream aufzufinden. Viele Radiohomepages sind da ja die Pest bis man mal nen Link zum Streamserver kriegt.

Was ich mich noch frage: Soll das ein Verzeichnis explizit für Internetradios sein oder generell für Streams? Mag ja sein dass da momentan schon 21436 Radios drin sind, ein paar auf die Schnelle gesuchte ÖRs oder beliebige deutsche Campusradios lassen sich nicht finden. Dafür aber (unvollständig) z.B. Streams der CBC und andere (ausländische) Anstalten.

Was mir noch auffällt:

- Der Name der Sender wird wohl beim Crawlen aus dem Stream extrahiert? Da bei vielen Sender die derzeit laufende Sendung oder sonstige Infos mit angezeigt werden und auch im Suchindex auftauchen findet man manchmal unpassende Treffer.

- Die Streamszene scheint ziemlich schnellebig zu sein, daher wäre es praktisch zu sehen, ob ein Stream überhaupt online ist. Mein erstes zufälliges Suchergebnis ging direkt zu einem toten Stream.

- Mit den Angaben URLs gesamt / Seiten gesamt kann ich nichts anfangen. "Radios gesamt" ist dagegen recht intuitiv begreifbar. Wozu die anderen beiden Zahlen.

- Dass die Seite in 0.163182020187 Sekunden erzeugt wurde ist reichlich ungenau. Mir persönlich wäre es schon wichtig, diese Angabe noch etwas genauer zu bekommen. ;)

- Umlaute in den Streamnamen sind (teilweise?) kaputt, aber das wirst du selbst wissen.

Letztenendes denke ich, dass du die Suchergebnisse nicht nur nach Alphabet sortieren sondern (irgenwie) automatisch gewichten solltest um möglichst relevante/gute Streams nach vorne zu holen und dem User Frust mit kaputten/schlechten/unbeliebten Streams möglichst zu ersparen. Wie du das anstellst... keine Ahnung. Wer das Ranking am besten hinkriegt setzt sich durch, siehe Google.

Gruss, m.
 
AW: Projektvorstellung / Linktip

Was ich mich noch frage: Soll das ein Verzeichnis explizit für Internetradios sein oder generell für Streams? Mag ja sein dass da momentan schon 21436 Radios drin sind, ein paar auf die Schnelle gesuchte ÖRs oder beliebige deutsche Campusradios lassen sich nicht finden. Dafür aber (unvollständig) z.B. Streams der CBC und andere (ausländische) Anstalten.

Natürlich werde ich alle Streams aufnehmen. Dafür wird es ein Formular geben, in dem jeder Vorschläge für die Aufnahme ich die Liste machen kann. Diese Vorschläge werden per Hand geprüft und dann ggf. aufgenommen.

Die aktuelle Datenbank wurde, wie erwähnt, automatisch erzeugt. Wie genau, werde ich geheim halten, damit keiner die Möglichkeit bekommt, diese Automatik für eine bessere Positionierung auszunutzen.

- Der Name der Sender wird wohl beim Crawlen aus dem Stream extrahiert? Da bei vielen Sender die derzeit laufende Sendung oder sonstige Infos mit angezeigt werden und auch im Suchindex auftauchen findet man manchmal unpassende Treffer.

Dieses Problem wird noch zu lösen sein. Wie ich das mache, weiss ich noch nicht, aber ich werde dran arbeiten. Und ja, die Sendernamen wurden durch Crawlen ermittelt.

- Die Streamszene scheint ziemlich schnellebig zu sein, daher wäre es praktisch zu sehen, ob ein Stream überhaupt online ist. Mein erstes zufälliges Suchergebnis ging direkt zu einem toten Stream.

Wird kommen, sobald es die Detailseiten zu den Radios gibt. Susätzlich wird es einen Link geben, bei dem "tote" Radios gemeldet werden können. Diese werden dann nochmal geprüft werden.

- Mit den Angaben URLs gesamt / Seiten gesamt kann ich nichts anfangen. "Radios gesamt" ist dagegen recht intuitiv begreifbar. Wozu die anderen beiden Zahlen.

URLs gesamt sind alle URLs, die die Suchmaschine, die noch dazu kommt, in der Datenbank hat. Die Seiten gesamt ist die Anzahl an URLs, die gecrawlt/gespidert wurden und somit Volltext durchsucht werden können. Also eine Suchmaschine, die eine ähnliche Technik, wie Google verwendet. Das Ganze inkl. Ranking.
Eingesetzt wird die Software "Nutch", die versucht, als Opensource-Projekt, Google nachzubilden.

- Dass die Seite in 0.163182020187 Sekunden erzeugt wurde ist reichlich ungenau. Mir persönlich wäre es schon wichtig, diese Angabe noch etwas genauer zu bekommen. ;)

Ich versuch mal, ob ich da ne longfloat reinkriege, dann hast du es auf 64 Stellen genau :D

- Umlaute in den Streamnamen sind (teilweise?) kaputt, aber das wirst du selbst wissen.

Das hat mehrere Gründe. Teilweise gabs Probleme beim Konvertieren meinerseits, teilweise werden die von den Radiobetreibern schon falsch übertragen. Ich werd aber versuchen, das zu beheben.

Letztenendes denke ich, dass du die Suchergebnisse nicht nur nach Alphabet sortieren sondern (irgenwie) automatisch gewichten solltest um möglichst relevante/gute Streams nach vorne zu holen und dem User Frust mit kaputten/schlechten/unbeliebten Streams möglichst zu ersparen. Wie du das anstellst... keine Ahnung. Wer das Ranking am besten hinkriegt setzt sich durch, siehe Google.

Ich hab Formeln für ein Ranking, wie es auch Nutch s.o. nutzt. Inwieweit ich das hier umsetzen kann, weiss ich nicht. Auch das wird in meiner Todo-Liste landen.

Und falls aktuell jemand ein Radio in der Datenbank vermisst, kann mir auch gerne die URL per PN oder Mail schicken, bis ich das Formular fertig hab.
 
AW: Projektvorstellung / Linktip

Hallöle
sehr gute Sache das, mir ist nur bei der Überprüfung auf das eigene Radio hin aufgefallen, dass nur unser Modemstream gelistet wird und nicht der eigentlich relevante 128k Stream.
 
AW: Projektvorstellung / Linktip

Ja, hab ich, nur noch nicht geantwortet, was ich hiermit nachgeholt hab ;) Ich nehms in die Datenbank auf
 
AW: Projektvorstellung / Linktip

OK danke!

Wenn ich das richtig verstanden habe, ist das ja ein Crawler. Können Radiobetreiber das beeinflussen? Heisst sollt ich beim Setzen der Streamlinks etwas beachten, dass die besser ausgelesen werden?

Ich hoffe das war verständlich.
 
AW: Projektvorstellung / Linktip

Ich werde nicht veröffentlichen, wie ich die Radios aus dem Netz sammel, grad um zu verhindern, das über Spamaktionen irgendeine Beeinflussung versucht wird.
Grundsätzlich ist es momentan praktisch unmöglich, die Position in der Liste zu beeinflussen und die Aufnahme erfolgt, sobalb ich ne URL hab ;)
 
AW: Projektvorstellung / Linktip

Achso, nein ich meinte nicht die Position zu beeinflussen, das find ich mist, sondern zu verhindern, dass nur der modemstream aufgenommen wird.

Aber so gehts ja auch, und die Url hab ich dir ja rein gegeben.
 
AW: Projektvorstellung / Linktip

Die Streams werden in regelmässigen Abständen neu erfasst. Es ist auch möglich, das euer anderer Stream in der Datenbank ist und nur der Filter, der doppelte Streams filtern soll, nicht richtig arbeitet. Ist halt alles noch Beta ;)
 
AW: Projektvorstellung / Linktip

Interessant. Und schnell. Am Zugang / dem Interface kann man noch was machen. Wenn das so schnell ist, kann ich mir eine interaktive Suche nach jedem Tastenanschlag vorstellen. Verursacht nicht nur Traffic, schon klar.. Aber so ein interaktiver Filter wäre schon was feines.

Vielleicht bekommst du es hin, Screenshots von den Webseiten zu machen und die als Thumbnails darzustellen. Oft ist dieser erste Eindruck schon entscheind...

Und vielleicht ein paar Top 10: neue, angeklickt, Sender mit den meisten Channels.

Ob jetzt Google-Maps interessant ist, weiß ich nicht. Sicher ein Nice2Have, wenn man nach Land eine Karte hätte..

Gruß
 
AW: Projektvorstellung / Linktip

Eine interaktive Suche , die bei jedem Tastendruck aktualisiert, wirds erstmal nicht geben. Zuviel Traffic und Performance, die völlig unnütz vergraten wird.

Das mit den Screenshots wäre evtl. realisierbar in naher Zukunft. Google Maps eher unwarscheinlich, da kommerzielle Nutzung ganz schön Geriebenes kostet und in keinem Verhältnis zum Nutzen steht. Es ist ja nicht wirklich wichtig, wo der Server steht, wenn nicht bekannt ist, wo das "Studio" ist ;)
Top10, Votings etc. werden kommen.

Aktuelles Update: Ich hab probeweise den Filter für doppelte Streams entfernt, wer will kann nochmal nachsehen, ob "sein" Radio jetzt auffindbar ist.

Zusätzlich ist jetzt die Homepage des Radios verlinkt und diese öffnet beim Klick in einem neuen Fenster.
 
AW: Projektvorstellung / Linktip

Also zuerst einmal: Respekt! Finde es immer sehr gut wenn solche Projekte vorangetrieben werden und werde auch gerne, wenn ich kann, das ganze in jeglicher Form unterstützen.

Wenn ich allerdings einmal einne Testlauf mache und mir die elektronischen Sender anschauen möchte, kommen viele Sender zwei, drei vier oder sogar noch öfter mal vor:

....::::: E L E C T R O R A D I O :::::..... Psytrance on Net Hamburg HOMETOWN of GOASOUND
Bitrate: 128 kbps, Codec: MP3,
Genre: Goa Psytrance Psychedelic

TuneIn ....::::: E L E C T R O R A D I O :::::..... Psytrance on Net Hamburg HOMETOWN of GOASOUND
Bitrate: 128 kbps, Codec: MP3,
Genre: Goa Psytrance Psychedelic

TuneIn ....::::: E L E C T R O R A D I O :::::..... Psytrance on Net Hamburg HOMETOWN of GOASOUND
Bitrate: 128 kbps, Codec: MP3,
Genre: Goa Psytrance Psychedelic

TuneIn iPartyRadio.com: The #1 Party Authority
Bitrate: 128 kbps, Codec: MP3,
Genre: Dance Pop Techno Top 40

TuneIn iPartyRadio.com: The #1 Party Authority [Modem Quality]
Bitrate: 32 kbps, Codec: MP3,
Genre: Dance Pop Techno Top 40

TuneIn Netgrooves Radio - www.netgrooves.de
Bitrate: 128 kbps, Codec: MP3,
Genre: Techno House Electro

TuneIn # D N B R A D I O - Fresh Jungle, Drum and Bass (dnbradio.com)
Bitrate: 32 kbps, Codec: AAC+,
Genre: Techno Drum Electronic

TuneIn #-#-#---[ Radio RiVa - Club Chanel ]---#-#-#
Bitrate: 48 kbps, Codec: MP3,
Genre: Club Trance Dance Techno

TuneIn #-#-#---[ Radio RiVa - Club Chanel ]---#-#-#
Bitrate: 48 kbps, Codec: MP3,
Genre: Club Trance Dance Techno

TuneIn #astralia on Austnet
Bitrate: 24 kbps, Codec: MP3,
Genre: techno trance goa psy

TuneIn #sound �¿ 24/7 - Die besten Clubsounds! �¿ www.raute-sound.de
Bitrate: 112 kbps, Codec: MP3,
Genre: Techno Trance Club

TuneIn #sound �¿ 24/7 - Die besten Clubsounds! �¿ www.raute-sound.de
Bitrate: 112 kbps, Codec: MP3,
Genre: Techno Trance Club

TuneIn #sound �¿ 24/7 - Die besten Clubsounds! �¿ www.raute-sound.de
Bitrate: 112 kbps, Codec: MP3,
Genre: Techno Trance Club

TuneIn #sound �¿ 24/7 - Die besten Clubsounds! �¿ www.raute-sound.de
Bitrate: 112 kbps, Codec: MP3,
Genre: Techno Trance Club

TuneIn 'ELECTRONIC LIFE' RADIO STATION
Bitrate: 56 kbps, Codec: MP3,
Genre: HARDCORE Trance

TuneIn 'hardcast.de - radio channel 3'
Bitrate: 128 kbps, Codec: MP3,
Genre: techno gabber schranz

TuneIn 'hardcast.de - radio channel 5'
Bitrate: 128 kbps, Codec: MP3,
Genre: techno gabber schranz

TuneIn 'hardcast.de - radio channel 5'
Bitrate: 128 kbps, Codec: MP3,
Genre: techno gabber schranz

TuneIn 'THE LOFT' Vancouver's 24/7 house and trance Radio by liquidblueloft
Bitrate: 48 kbps, Codec: AAC+,
Genre: house and trance

TuneIn ( ( :: ( : C L U B K Y D Z : ) :: ) )
Bitrate: 192 kbps, Codec: MP3,
Genre: House Dance Trance Tec

TuneIn

Woran liegt das?
 
AW: Projektvorstellung / Linktip

Das liegt daran, das ich probehalber den Filter rausgenommen hab, der doppelte Einträge entfernt. Der kommt in jedem Fall wieder rein, ich will nur prüfen, ob der richtig arbeitet ;)

EDIT: Offensichtlich arbeitet der Filter richtig. Ich hab ihn wieder aktiviert ;)
 
AW: Projektvorstellung / Linktip

Interessantes Projekt, gut gemacht. Unser Radio ist nicht verzeichnet, aber ok. Auffaellig ist, wenn man grad die Impressumseite betrachtet hat, bleibt jegliche Suchfunktion wirkungslos, man muss also immer erst home gehen. Wuenschen wuerd ich mir noch ein Sortieren/Filtern nach Bitrate und Format, aber das war schon angesprochen worden.

Mein erster TuneIn-test landete auf einem toten Stream, vllt. waere eine Checkbox "Status bei Abfrage pruefen" sinnvoll, um wahlweise nur aktive Streams anzuzeigen, auch wenn darunter die Geschwindigkeit leidet. (Man kann ja die Pruefung bei Treffern > x automatisch abschalten).

LG, peng
 
AW: Projektvorstellung / Linktip

Unser Radio ist nicht verzeichnet, aber ok.

Musst du mir schicken URL, dann kann ich das ändern ;)
Auffaellig ist, wenn man grad die Impressumseite betrachtet hat, bleibt jegliche Suchfunktion wirkungslos, man muss also immer erst home gehen.

Muss ich mir ansehen. Ich geb zu, das hab ich nie getestet ;)
Wuenschen wuerd ich mir noch ein Sortieren/Filtern nach Bitrate und Format, aber das war schon angesprochen worden.
Kommt.
Mein erster TuneIn-test landete auf einem toten Stream, vllt. waere eine Checkbox "Status bei Abfrage pruefen" sinnvoll, um wahlweise nur aktive Streams anzuzeigen, auch wenn darunter die Geschwindigkeit leidet. (Man kann ja die Pruefung bei Treffern > x automatisch abschalten).

Es wird nen Button geben "Toten Link melden" o.ä. Zusätzlich werden die Streams später regelmässig geprüft, ob sie noch existieren. Eine Prüfung in Echtzeit ist sehr Ressourcenhungrig und dürfte den normalen Benutzer vor eine lange Wartezeit stellen ,da die Antwortzeiten pro Server bis zu 30 Sekunden sein können.
 
AW: Projektvorstellung / Linktip

PN ist unterwegs.
Pegasus schrieb:
da die Antwortzeiten pro Server bis zu 30 Sekunden sein können.
Echt? Wenn man mit wget die stream-url holt und nach "Server is currently up" sucht, muesste man recht flott ein Ergebnis erzielen.

Peng

PS.: Was ich in der PN grad vergessen hab, du aber fuer die Eintragung brauchen wirst: Genre 80, 90, Rock ;)
 
Status
Für weitere Antworten geschlossen.
Zurück
Oben