Bonjour,
Mon but étant de créer un moteur de recherche alternatif de type "google" qui ne garderai bien évidemment aucune information sur les utilisateurs et qui permettraient de générer des bénéfices publicitaires destinés à la création de projets associatifs...( il y a énormément de profit à la clé qui ne sont pas exploités tel qu'ils devraient, je vois les choses en grand : banque associative, média alternatif afin d'en finir avec cette censure médiatique et ainsi faire la promotion d'organismes déjà existant(service à la personne, agriculture bio) qui ne bénéficient pas de relais publicitaire... je pense qu'il est temps de faire évoluer les choses dans le bon sens et c'est pour cela que j'appelle à n'importe qui de motivé de faire parti de ce projet!!!
Donc, je souhaiterai savoir dans un premier temps quels sont les besoins techniques (serveur, bande passante...) afin de créer un moteur de recherche web avec indexation des pages tel que "google".
Puis si mon idée est déjà possible, on verra par la suite pour la programmation...
Merci d'avance.

Tout est possible, tout est question de moyens... Or là un moteur de recherche les moyens nécessaires sont assez énormes.

qu'estimes tu par énormes ? mon projet est assez énorme donc faut y mettre les moyens
je voudrai d'abord savoir dans quoi je me lance, matériellement et techniquement...

Juste pour info, Google possède des fermes de serveurs disséminées dans le monde entier...
 
edit: vieil article, mais toujours vrai : http://www.lemonde.fr/technologies [...] 51865.html

Enormément plus que ce que tu pourrais investir.

Ton projet est utopique. Déjà que les grosses boites ont du mal à percer fasse à Google alors un projet comme le tien...
Oublie et passe à autre chose de plus réalisable à mon avis.

Bonjour polo93110
 
N'écoute pas les remarques négatives de certains membres du forum, les bonnes idées apportant beaucoup de bénéfices apportent aussi beaucoup de jalousie.
 
Je pense que ton projet,  bien qu'ambitieux, est réaliste et important pour la société. En effet, la censure a trop lieu dans notre pays, (sur ce forum aussi) et il est important d'avoir beaucoup de média indépendant.  
 
Pour le matériel, tu n'as pas besoin de grand chose, en effet, les premier serveur google se composait de 10 disques de 4 go (soit 4x10=40go) dans une tour en lego. http://content.techrepublic.com.co [...] -3929.html . En imaginant que le nombre de page web a triplé depuis 1999, un disque de 120 go et une boite 6161 devrait suffire pour concurrencer google.
 
Cordialement,
 

 
Je pense que polo93110 veut concurrencer l'activité moteur de recherche et non l'activité agraire de google.  
 
Cordialement,

très bon.

Triplé ? Je dirais au moins 10 fois plus de sites depuis 10 ans.

Et je vois pas le lien entre la jalousie et mes remarques négatives.   Comment je pourrais être jaloux d'un truc qu'il n'a pas fait ? Je serais content s'il réussit car son idée n'est pas mauvaise.
Mais tu ne peux pas comparer la situation de Google en 1999 à aujourd'hui quelqu'un qui veut créer son moteur. Maintenant que le domaine est bien développé il est beaucoup plus dur d'y percer.

t'es gentil, j'aurais plutôt dit fois 100... d'ailleurs ca serait rigolo de voir les chiffres...

Salut,
 
Il suffit de regarder le tableau ici : http://fr.wikipedia.org/wiki/Site_web
 
Ou le graphique en milieu de page ici : http://news.netcraft.com/
 

Je suis d'accords que les circonstances ne sont pas les même qu'à la création du buzz google, pourtant je pense justement que le contexte économique et social actuel pourrait faire la différence si les gens étaient solidaires,et pour beaucoup ils le veulent mais personne ne leurs donne réellement les moyens...
Mon but étant dans un premier temps d'utiliser les outils tels que la pub pour amasser un maximum de fonds qui constituraient les caisse d'une banque associative par exemple (crédit à taux 0% et fin de tous les frais bancaires inutiles...) lorsque l'on voit que google fait des milliards de chiffre d'affaire, on peut bien se contenter de quelques millions pour commencer
Bon pour revenir au sujet, que me conseillez vous donc ? On ma déjà dit d'oublier ma bande passante free et d'envisager un serveur pro payant...
Pour la conception de l'algorithme, des personne s'y connaissent ?
 
Merci pour vos réponses

j'hésite entre et ... au moins les apprentis game-dev c'etait rigolo, là ca frise le ridicule.

Tu te lances la dedans sans meme savoi les bases quoi, stop le troll :E

soit tu es un doux réveur, soit tu n'as pas conscience du monde qui t'entoure

lol un doux rêveur je veux bien et on en a besoin dans ce monde qui nous entoure
Moi je lance principalement une idée, et je cherche d'abords à savoir de mon côté si c'est réalisable ou pas et de voir quels sont les moyens nécessaires...  
Et pour ma bande passante, je vous parle bien que pour le début... J'imagine bien que google n'est pas branché a free! merci...

Va voir ici:
  http://lucene.apache.org/java/docs/index.html
Ecris un petit spyder qui parcours le web.
Et achète un disque de disons 250Mo pour indexer les 7 milliards de pages web.
 
De rien.
 
 
 
 

Google : 2 millions de serveurs (source : http://www.zdnet.fr/blogs/2008/11/ [...] emerger-/)
En admettant que pour débuter, tu n'aies besoin que de 1% de cette capacité, ça fait quand même 20 000 serveurs.
Quand à la bande passante requise, je te laisse imaginer ce qui est nécessaire pour que les 20 000 serveurs soient à l'aise.
Oublie

Voila une réponse objective! Merci!
Bon, cela m'explique pas trop la marche à suivre mais je vais quand même essayer de comprendre la traduction google du site.

Mais je ne veux pas faire concurrence direct a google lol
Et si cela devai arrivé je pense que les fonds auraient suivis également, on ne commence jamais au sommet mais on grandit petit à petit...
Et pensez vous que tous les moteurs de recherche possèdent 2 millions de serveurs? http://www.cuil.com/
http://www.ethicle.com/fr/
Mon idée n'est pas nouvelle mais je veux l'utiliser plus activement...

Mais comment comptes tu convaincre les utilisateurs du web d'utiliser ton moteur de recherche sorti de nulle part, au lieu d'un moteur éprouvé et fiable, qui a fait ses preuves ?

Non mais le problème c'est surtout de convaincre des gens d'utiliser un moteur de recherche qui ne fonctionne pas. Pour ça on a déjà Cuil, on a vu comment ça a fini

http://fildz.dyndns.org/Sites/Fild [...] ct.php?p=4
Intéressant...

en bases existantes, tu as en as pas mal  lucene / nutch  par exemple
 
mais le plus dur est d'arriver a la bonne pondération entre les paramètres pour avoir de bons resultats. Puis d'amener des utilisateurs à l'utiliser

Nutch (comme Solr) est basé sur Lucene
 
Et ce sont plutôt des moteurs intra-site, pas des moteurs généraux web (on peut les utiliser pour, mais indexer l'intarweb avec ça...à)

( merci de me l'apprendre )

je cite quelques mots qui vont l'aider a trouver mieux qu'un projet de licence

nutch apporte le crawler  en plus de lucene, ce qui n'est pas degueulasse pour construire quelque  chose  rapidement . Parceque lucene, out of the box, c'est un peu raide

edit : nutch crawl du web , donc ça me semble adapté/adaptable
edit2 : et si tu veux du lourd, tu montes la meme chose en cluster avec hadoop

Oki bon je pense que j'ai déjà de quoi m'instruire un peu la...
 
Merci pour votre aide !