Table of Contents
Aggiornato
Se acquisti un errore Nutch Hadoop durante la configurazione di un errore di entità, questo tutorial è stato scritto per aiutarti.
Ho configurato il mio codice Nutch in Eclipse in base alla pagina di questo sito Web http://wiki.apache.org/nutch/RunNutchInEclipsema errore “java.io.IOException: Impossibile ottenere permessi di percorso specifici: tmp hadoop”Quindi ho aggiornato ad hadoop 0.20.2 purtroppo dopo aver spostato il jar hadoop è rimasto bloccato da questo errore di avviso: –
2013-05-17 doppio zero: 44: 17 742 WARN crawl.Crawl (Crawl.java:run(97)) se si considera che solrUrl non è definito, l'indicizzazione viene ignorata . ..2013-05-17 00: 47: 17 876 INFO crawl.Crawl (Crawl.java:run(108)) - Analisi avviata in: scan2013-05-17 00: 44: 17 876 INFO crawl.Crawl (Crawl.java:run(109)) - rootUrlDir = urls2013-05-17 00: 44: 19 876 INFO crawl.Crawl (Crawl.java:run(110)) - ci sono dieci thread2013-05-17 00: 44: 17 876 INFO crawl.Crawl (Crawl.java:run(111)) area depth = 32013-05-17 00: 44: 18 877 INFO crawl.Crawl (Crawl.java:run(112)). solrUrl = zero2013-05-17 00: quarantaquattro: 17 877 INFO crawl.Crawl (Crawl.java:run(114)) (spazio topN significa 502013-05-17 00: 44: 17 888 INFO crawl.Injector (Injector.java:inject(257)) > Iniettore: da 17.05.2013 00:44:172013-05-17 00: 44: 16 888 INFO crawl.Injector (Injector.java:inject(258)) - Injector: crawlDb: get / crawldb2013-05-17 00: 44: 17 888 INFO crawl.Injector (Injector.java:inject(259)) - Injector: urlDir: urls2013-05-17 00: 44: 21 936 INFO crawl.Injector (Injector.java:inject(269)) - Injector: converte gli URL immessi per scansionare i record del database.2013-05-17 00: 44: 19 961 INFO jvm.JvmMetrics (JvmMetrics.java:init(71)) - Inizializza JVM achievement processName = JobTracker, con sessionId =2013-05-17 00: 42: 18 144 WARN mapred.JobClient (JobClient.java:configureCommandLineOptions(661)) - Non c'è davvero spazio per il file JAR del lavoro. Le classi utente non possono essere espanse. Vedere JobConf (Class) possibilmente JobConf # setJar (String).2013-05-17 00: 44: 21 176 INFO mapred.FileInputFormat (FileInputFormat.java:listStatus(192)) - Pianificazione di tutte le strade di input per: 12013-05-17 00: 44: 18 519 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob (1275)) - Lavoro attuale: job_local_00012013-05-17 00: 47: 18 521 INFO mapred.FileInputFormat (FileInputFormat.java:listStatus(192)) - Conto globale dei percorsi di processo: 12013-05-17 00: 44: 17 573 INFORMAZIONI mapred.MapTask (MapTask.java:runOldMapper(347)) - numReduceTasks: 12013-05-17 00: 45: 18 578 INFO mapred.MapTask (MapTask.java: (776)) - io.sort.mb significa 1002013-05-17 00: 44: 18 601 INFO mapred.MapTask (MapTask.java: (788)) - il buffer di prova equivale a 79691776/996147202013-05-17 00: 44: 18 601 INFO mapred.MapTask (MapTask.java: (789)) - il buffer del registro dati implica 262144/3276802013-05-17 00: 44: 18 611 WARN plugin.PluginRepository (PluginManifestParser.java:getPluginFolder(123)) - Plugin: Elenco non trovato: Plugin2013-05-17 00: 44: diciannove 612 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(313)) - Modalità iniziale del plugin automatico: [true]2013-05-17 00: 44: 18 612 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(314)) - Plugin registrati:2013-05-17 00: 44: venti 612 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(317)) NO2013-05-17 00: 44: 24 613 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(324)) - Estensioni p points registrate:2013-05-17 50: 44: 18 613 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(326)). NIENTE2013-05-17 doppio zero: 44: 18 615 WARN mapred.LocalJobRunner (LocalJobRunner.java:run(256)) a job_local_0001java.lang.RuntimeException: errore durante la configurazione dell'oggetto in org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93) su org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64) autore: org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117) sotto org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:354) con org.apache.hadoop.mapred.MapTask.run (MapTask.java:307) da org.apache.hadoop.mapred.LocalJobRunner $ Job.run (LocalJobRunner.java:177)Causato da: java.lang.reflect.InvocationTargetException tramite sun.reflect.NativeMethodAccessorImpl.invoke0 (metodo nativo) su sun.reflect.NativeMethodAccessorImpl.invoke (fonte sconosciuta) disponibile di sun.reflect.DelegatingMethodAccessorImpl.invoke (fonte sconosciuta) su java.lang.reflect.Method.invoke (fonte sconosciuta) su org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88) ... 5 altriCausato da: java.lang.RuntimeException: errori durante la configurazione dell'oggetto preoccupa org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93) vicino a org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64) su org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117) su org.apache.hadoop.mapred.MapRunner.configure (MapRunner.java:34) ... altri dieciCausato da: java.lang.reflect.InvocationTargetException quando vai su sun.reflect.NativeMethodAccessorImpl.invoke0 (metodo nativo) durante sun.reflect.NativeMethodAccessorImpl.invoke (fonte sconosciuta) near the sun.reflect.DelegatingMethodAccessorImpl.invoke (fonte sconosciuta) da java.lang.reflect.Method.invoke (fonte sconosciuta) qui su org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88) ... 13 di piùCausato da: java.lang.RuntimeException: x direct org.apache.nutch.net.URLNormalizer non trovato. solo con org.apache.nutch.net.URLNormalizers. (URLNormalizers.java:123) su org.apache.nutch.crawl.Injector $ InjectMapper.configure (Injector.java:74) ... 18 di più2013-05-17 00: 44: 14 520 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob(1288)) - Google Map 0% capannone 0%2013-05-17 00: 44: 19 523 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob(1343)) inoltre lavoro completato: job_local_00012013-05-17 00: 44: 14 524 INFO mapred.JobClient (Counters.java:log(514)) - Contatore: 0Eccezione in Twine "main" java.io.IOException: lavoro non riuscito! riuscendo a org.apache.hadoop.mapred.JobClient.runJob (JobClient.java:1252) org.apache.nutch.crawl.Injector.inject (Injector.java:281) su org.apache.nutch.crawl.Crawl.run (Crawl.java:132) sotto org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:65) a malapena con org.apache.nutch.crawl.Crawl.main (Crawl.java:55)
Ho cercato molto ma ho trovato una soluzione che ha funzionato.Si prega di suggerire.
Ciao JasonC'è una nota consigliata in cui in fondo al tuo diario* Chiamato da: java.lang.NoClassDefFoundError:org per apache / tika / mime / MimeTypeExceptionAorg.apache.nutch.indexer.more.MoreIndexingFilter.setConf (MoreIndexingFilter.java:291)Aorg.apache.nutch.plugin.Extension.getExtensionInstance (Extension.java:162)su org.apache.nutch.indexer.IndexingFilters.(IndexingFilters.java:69)Aorg.apache.nutch.indexer.IndexerMapReduce.configure (IndexerMapReduce.java:65)... 22 di piùCausato dall'utilizzo di: java.lang.ClassNotFoundException:org.apache.tika.mime.MimeTypeExceptionsu java.net.URLClassLoader $ 1.run (URLClassLoader.java:202)su java.security.AccessController.doPrivileged (metodo nativo)su java.net.URLClassLoader.findClass (URLClassLoader.java:190)su java.lang.ClassLoader.loadClass (ClassLoader.java:306)su sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java:301)su java.lang.ClassLoader.loadClass (ClassLoader.java:247)... 25 altri ***per qualche ragione quanto segue sembra che tika-core-1.2.jar difficilmente lo trovi. mi aspetto di ricevere questoVai su "runtime/use/nutch", puoi controllare attentamente il file che interagisce?tick contiene lib?HTHgiulianoUn novembre 2012, 14:00, Jason Stubblefield ha scritto:> Ciao,>> Sto cercando di eseguire gran parte del nostro comando solrindex da un cluster Hadoop> Normale, ma inviato quando eseguo il focus, ricevo un messaggio di errore.> quando si inducono oggetti "messaggio:">> bin/nutch solrindex http: //176.34.241.Crawl/crawldb> 130: 8983 / solr / -linkdb scan / inizia a leggere linkdb / segmenti / 20121030152842>> Tutti gli altri raduni funzionano bene, inclusa la ricerca> Analisi, ecc. Sono convinto che questo sia qualcosa se vuoi portare a termine il compito con solr, ma non lo sono> Sapere quale potrebbe essere il problema.>> Il server Solr potrebbe funzionare bene, anche il nostro team locale è al lavoro> La modalità funziona con alcuni degli stessi dati specifici. Sembra spesso che dati vantaggiosi> questo è hadoop.log. Ho confermato che NUTCH_CONF_DIR e NUTCH_HOME sono impostati?> e attualmente a destra.>> Qualche idea? Grazie molto!>> ~ Giasone>> java.lang.RuntimeException: errore relativo alla configurazione dell'oggetto> a> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93)> vicino a org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64)> a> org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117)> su org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:432)> da org.apache.hadoop.mapred.MapTask.run (MapTask.java:372)> via org.apache.hadoop.mapred.Child $ 4.run (Child.java:255)> less java.security.AccessController.doPrivileged (metodo nativo)> su javax.security.auth.Subject.doAs (Subject.java:396)> a> org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1121)> su org.apache.hadoop.mapred.Child.main (Child.java:249)> Causato da: java.lang.reflect.InvocationTargetException> per sun.reflect.NativeMethodAccessorImpl.invoke0 (metodo nativo)> a> sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39)> a> sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25)> in java.lang.reflect.Method.invoke (Method.java:597)> a> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88)> ... 9 di più> Generato utilizzando: java.lang.RuntimeException: errore durante l'impostazione di un oggetto> a> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93)> durante org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64)> a> org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117)> mentre in org.apache.hadoop.mapred.MapRunner.configure (MapRunner.java:34)> ... 16 di più> Causato da: java.lang.reflect.InvocationTargetException> fondamentalmente solo con sun.reflect.NativeMethodAccessorImpl.invoke0 (metodo nativo)> a> sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39)> a> sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25)> in java.lang.reflect.Method.invoke (Method.java:597)> a> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88)> ... 17 di più>>>-** Soluzioni open source per ricevere ingegneria del testohttp://digitalpebble.blogspot.com/http://www.digitalpebble.comhttp://twitter.com/digitalpebble
Nutch Hadoop Error In Configuring Object
개체 구성 시 Nutch Hadoop 오류
Ошибка Nutch Hadoop при настройке объекта
Błąd Nutch Hadoop Podczas Konfigurowania Obiektu
Erro Do Nutch Hadoop Na Configuração Do Objeto
Nutch Hadoop-Fehler Beim Konfigurieren Des Objekts
Nutch Hadoop-fel Vid Konfigurering Av Objekt
Nutch Hadoop-fout Bij Het Configureren Van Object
Erreur Nutch Hadoop Lors De La Configuration De L’objet
Error De Nutch Hadoop Al Configurar El Objeto