Table of Contents
Bijgewerkt
Als je een Nutch Hadoop-fout krijgt tijdens het configureren van een objectfout, is deze instructie geschreven om je te helpen.
Ik heb mijn Nutch-code in Eclipse ingesteld volgens de pagina van deze unieke website http://wiki.apache.org/nutch/RunNutchInEclipsemaar fout “java.io.IOException: kan specifieke padmachtigingen niet bereiken: tmp hadoop”Dus ik heb een upgrade naar hadoop 0.20.2 uitgevoerd, maar na het verplaatsen van over het algemeen bleef jar hadoop hangen met deze notitiefout: –
2013-05-17 00: 44: 21 742 WARN crawl.Crawl (Crawl.java:run(97)) omdat solrUrl niet gedefinieerd is, wordt de vermelding genegeerd ...2013-05-17 00: 44: 17 876 INFO crawl.Crawl (Crawl.java:run(108)) - Analyse gestart in: scan2013-05-17 50: 44: 17 876 INFO crawl.Crawl (Crawl.java:run (109)) ; rootUrlDir = urls2013-05-17 00: 44: 17 876 INFO crawl.Crawl (Crawl.java:run(110)) - er zijn 10 threads2013-05-17 00: vierenveertig: 17 876 INFO crawl.Crawl (Crawl.java:run(111)) - diepte impliceert 32013-05-17 00: 44: 17 877 INFO crawl.Crawl (Crawl.java:run (112)). solrUrl = nul2013-05-17 00: 44: 17 877 INFO crawl.Crawl (Crawl.java:run (114)) (spatie bovenN = 502013-05-17 00: 46: 17 888 INFO crawl.Injector (Injector.java:inject(257)) - Injector: rechts van 17.05.2013 00:44:172013-05-17 00: 44: 17 888 INFO crawl.Injector (Injector.java:inject(258)) - Injector: crawlDb: crawl / crawldb2013-05-17 dubbele nul: 44: 17 888 INFO crawl.Injector (Injector.java:inject(259)) - Injector: urlDir: urls2013-05-17 00: 44: 17 936 INFO crawl.Injector (Injector.java:inject(269)) - Injector: converteer ingevoerde URL's naar skim-databaserecords.2013-05-17 00: 44: 17 961 INFO jvm.JvmMetrics (JvmMetrics.java:init(71)) - Initialiseer JVM-metrieken processName = JobTracker, met sessionId =2013-05-17 00: 44: 18 144 WARN mapred.JobClient (JobClient.java:configureCommandLineOptions(661)) - Er is geen ruimte over het taak-JAR-bestand. Gebruikersklassen kunnen niet bijzonder worden uitgebreid. Zie JobConf (Class) of JobConf number setJar (String).2013-05-17 00: 44: 18 176 INFO mapred.FileInputFormat (FileInputFormat.java:listStatus (192)) inclusief het plannen van alle invoerpaden door: 12013-05-17 dubbele nul: 44: 18 519 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob (1275)) - Huidige taak: job_local_00012013-05-17 00: 44: 18 521 INFO mapred.FileInputFormat (FileInputFormat.java:listStatus (192)) - Globaal record van procespassages: 12013-05-17 00: 44: 18 573 INFORMATIE mapred.MapTask (MapTask.java:runOldMapper (347)) -- numReduceTasks: 12013-05-17 00: 44: 18 578 INFO mapred.MapTask (MapTask.java: (776)) - io.sort.mb suggereert 1002013-05-17 00: 44: 18 601 INFO mapred.MapTask (MapTask.java: (788)) - bewijsbuffer = 79691776/996147202013-05-17 00: vierenveertig: 18 601 INFO mapred.MapTask (MapTask.java: (789)) - kennislogboekbuffer = 262144/3276802013-05-17 00: 44: 20 611 WARN-plug-in.PluginRepository (PluginManifestParser.java:getPluginFolder(123)) - Plug-ins: lijst niet gevonden: plug-ins2013-05-17 00: 44: 18 612 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(313)) - Automatische activeringsmodus voor plug-ins: [true]2013-05-17 50: 44: 18 612 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(314)) - Geregistreerde plug-ins:2013-05-17 00: 44: 18 612 INFO plug-in.PluginRepository (PluginRepository.java:displayStatus(317)) NEE2013-05-17 00: 44: 18 613 INFO plugin.PluginRepository (PluginRepository.java:displayStatus(324)) en Geregistreerde p-puntenextensies:2013-05-17 00: 44: 19 613 INFO-plug-in.PluginRepository (PluginRepository.java:displayStatus(326)). NIETS2013-05-17 00: 44: twintig 615 WARN mapred.LocalJobRunner (LocalJobRunner.java:run(256)) - job_local_0001java.lang.RuntimeException: fout bij het maken van het object op org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93) op org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64) auteur: org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117) onder org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:354) onder org.apache.hadoop.mapred.MapTask.run (MapTask.java:307) met org.apache.hadoop.mapred.LocalJobRunner $ Job.run (LocalJobRunner.java:177)Veroorzaakt door: java.lang.reflect.InvocationTargetException met sun.reflect.NativeMethodAccessorImpl.invoke0 (native methode) met sun.reflect.NativeMethodAccessorImpl.invoke (bron onbekend) beschikbaar op sun.reflect.DelegatingMethodAccessorImpl.invoke (bron onbekend) op java.lang.reflect.Method.invoke (bron onbekend) op org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88) ... nog 5Veroorzaakt door: java.lang.RuntimeException: fout tijdens het maken van het object op org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93) op org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64) op org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117) in org.apache.hadoop.mapred.MapRunner.configure (MapRunner.java:34) ... nog 10Veroorzaakt door: java.lang.reflect.InvocationTargetException door te gaan dat kan sun.reflect.NativeMethodAccessorImpl.invoke0 (native methode) in the sun.reflect.NativeMethodAccessorImpl.invoke (bron onbekend) bij sun.reflect.DelegatingMethodAccessorImpl.invoke (bron onbekend) op java.lang.reflect.Method.invoke (bron onbekend) op org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88) ... nog 13Veroorzaakt door: java.lang.RuntimeException: x send org.apache.nutch.net.URLNormalizer niet gevonden. met alleen org.apache.nutch.net.URLNalizers. (URLnormalizers.java:123) met behulp van org.apache.nutch.crawl.Injector $ InjectMapper.configure (Injector.java:74) ... 18 jaar oud meer2013-05-17 00: 44: 19 520 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob (1288)) ; Google Map 0% afname 0%2013-05-17 00: 47: 19 523 INFO mapred.JobClient (JobClient.java:monitorAndPrintJob(1343)) en voltooide berichten: job_local_00012013-05-17 00: 44: 19 524 INFO mapred.JobClient (Counters.java:log(514)) / Teller: 0Uitzondering in Twine "main" java.io.IOException: taak mislukt! naast org.apache.hadoop.mapred.JobClient.runJob (JobClient.java:1252) org.apache.nutch.crawl.Injector.inject (Injector.java:281) op org.apache.nutch.crawl.Crawl.run (Crawl.java:132) lijdend aan org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:65) alleen met de org.apache.nutch.crawl.Crawl.main (Crawl.java:55)
Ik heb veel gezocht, maar heb een oplossing gevonden die werkte.Stel alstublieft voor.
Hallo JasonEr staat zeker een aanbevolen notitie onderaan je agenda* Geroepen door: java.lang.NoClassDefFoundError:org / apache tika / mime / MimeTypeExceptionNAARorg.apache.nutch.indexer.more.MoreIndexingFilter.setConf (MoreIndexingFilter.java:291)NAARorg.apache.nutch.plugin.Extension.getExtensionInstance (Extension.java:162)op org.apache.nutch.indexer.IndexingFilters.(IndexingFilters.java:69)NAARorg.apache.nutch.indexer.IndexerMapReduce.configure (IndexerMapReduce.java:65)... nog 22Veroorzaakt door: java.lang.ClassNotFoundException:org.apache.tika.mime.MimeTypeExceptionop java.net.URLClassLoader usd 1.run (URLClassLoader.java:202)op java.security.AccessController.doPrivileged (native methode)op java.net.URLClassLoader.findClass (URLClassLoader.java:190)op java.lang.ClassLoader.loadClass (ClassLoader.java:306)bij sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java:301)op java.lang.ClassLoader.loadClass (ClassLoader.java:247)... nog 29 ***om de een of andere reden lijkt tika-core-1.2.jar het nauwelijks te vinden. ik verwacht dit te ontvangenJe gaat naar "runtime / deploy / nutch", zou je het werkbestand zorgvuldig kunnen controleren?teek is verzonnen lib?HTHJulianusOp een november 2012, 14:00 uur, Jason Stubblefield schreef:> Hallo,>> Ik probeer onze eigen solrindex te beheren vanuit een Hadoop-cluster> Normaal, maar verzonden als ik het focus-commando uitvoer, krijg ik één foutmelding.> bij het maken van "bericht:" objecten>> bin nutch solrindex http: //176.34.241.Crawl/crawldb> 135: 8983 solr / -linkdb scan / scan linkdb / secties / 20121030152842>> Alle andere functies werken prima, dit is inclusief onderzoek> Analyse, enz. Ik denk dat dit iets is als je met solr wilt werken, behalve dat ik dat niet ben> Weet wat het gevaar kan zijn.>> Solr-server werkt prima, je eigen lokale team werkt ook> De stijl werkt met enkele van dezelfde gegevens. Het lijkt er vaak op dat nuttige gegevens> dit zou hadoop.log moeten zijn. Heb ik bevestigd dat NUTCH_CONF_DIR en NUTCH_HOME misschien zijn ingesteld?> en naar rechts.>> Enig idee? Erg bedankt!>> ~ Jason>> java.lang.RuntimeException: fout bij het configureren van een nieuw object> naar> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93)> op org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64)> naar> org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117)> op org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:432)> op org.apache.hadoop.mapred.MapTask.run (MapTask.java:372)> betekent org.apache.hadoop.mapred.Child $ 4.run (Child.java:255)> onder java.security.AccessController.doPrivileged (native methode)> op javax.security.auth.Subject.doAs (Subject.java:396)> naar> org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1121)> voor org.apache.hadoop.mapred.Child.main (Child.java:249)> Veroorzaakt door: java.lang.reflect.InvocationTargetException> met sun.reflect.NativeMethodAccessorImpl.invoke0 (native methode)> naar> sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39)> naar> sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25)> overal java.lang.reflect.Method.invoke (Method.java:597)> naar> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88)> ... meer binnen> Gegooid door gebruik te maken van: java.lang.RuntimeException: error а wanneer klimaat een object omhoog> naar> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:93)> vanwege org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:64)> naar> org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:117)> in org.apache.hadoop.mapred.MapRunner.configure (MapRunner.java:34)> ... 16e meer> Veroorzaakt door: java.lang.reflect.InvocationTargetException> alleen met de sun.reflect.NativeMethodAccessorImpl.invoke0 (native methode)> naar> sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39)> naar> sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25)> wanneer java.lang.reflect.Method.invoke (Method.java:597)> naar> org.apache.hadoop.util.ReflectionUtils.setJobConf (ReflectionUtils.java:88)> ... 19 meer>>>-** Open source-oplossingen voor tekstengineeringhttp://digitalpebble.blogspot.com/http://www.digitalpebble.comhttp://twitter.com/digitalpebble
Nutch Hadoop Error In Configuring Object
개체 구성 시 Nutch Hadoop 오류
Ошибка Nutch Hadoop при настройке объекта
Errore Nutch Hadoop Nella Configurazione Dell’oggetto
Błąd Nutch Hadoop Podczas Konfigurowania Obiektu
Erro Do Nutch Hadoop Na Configuração Do Objeto
Nutch Hadoop-Fehler Beim Konfigurieren Des Objekts
Nutch Hadoop-fel Vid Konfigurering Av Objekt
Erreur Nutch Hadoop Lors De La Configuration De L’objet
Error De Nutch Hadoop Al Configurar El Objeto