管理サーバーのログに怪しげなログが出ていた。
Exception in thread "weblogic.timers.TimerThread" weblogic.utils.UnsyncCircularQueue$FullQueueException: Queue exceed maximum capacity of: '65536' elementsと表示された。
at weblogic.utils.UnsyncCircularQueue.expandQueue(UnsyncCircularQueue.java:72)
at weblogic.utils.UnsyncCircularQueue.put(UnsyncCircularQueue.java:94)
at weblogic.work.MinThreadsConstraint.add(MinThreadsConstraint.java:85)
at weblogic.work.RequestManager.addToPriorityQueue(RequestManager.java:261)
at weblogic.work.RequestManager.executeIt(RequestManager.java:235)
at weblogic.work.ServerWorkManagerImpl.schedule(ServerWorkManagerImpl.java:142)
at weblogic.timers.internal.TimerManagerImpl.execute(TimerManagerImpl.java:631)
at weblogic.timers.internal.TimerThread$Thread.run(TimerThread.java:285)
Weblogicコンソールのデプロイメントからアプリケーションを強制停止しようとしたところ、
java.lang.Exception: [DeploymentService:290049]アクセスできる対象がないため、ID '1,337,928,269,958' でデプロイが失敗しました。
なので、SSHでサーバーにログインして、Weblogic管理対象サーバー停止&起動スクリプトを実行し、再起動しようとしたところ、エラーが発生した。
<2012/05/25 15時45分34秒 JST> <Info> <WebLogicServer> <BEA-000377> <WebLogic Server を Sun Microsystems Inc. から Java HotSpot(TM) Server VM バージョン 1.5.0 で起動していま す。>停止したのにServer-0.lokファイルが削除されていなかったためのようだ。
<2012/05/25 15時45分35秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.management.ManagementException: Unable to obtain lock on /bea/user_projects/domains/base_domain/servers/Server-0/tmp/Server-0.lok. Server may already be running
at weblogic.management.internal.ServerLocks.getServerLock(ServerLocks.java:159)
at weblogic.management.internal.ServerLocks.getServerLock(ServerLocks.java:58)
at weblogic.management.internal.DomainDirectoryService.start(DomainDirectoryService.java:75)
at weblogic.t3.srvr.ServerServicesManager.startService(ServerServicesManager.java:374)
at weblogic.t3.srvr.ServerServicesManager.startInStandbyState(ServerServicesManager.java:125)
at weblogic.t3.srvr.T3Srvr.initializeStandby(T3Srvr.java:630)
at weblogic.t3.srvr.T3Srvr.startup(T3Srvr.java:402)
at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:361)
at weblogic.Server.main(Server.java:67)
>
<2012/05/25 15時45分35秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が FAILED に変化しました。>
<2012/05/25 15時45分35秒 JST> <Error> <WebLogicServer> <BEA-000383> <重大なサービスが失敗 しました。サーバは停止されます。>
<2012/05/25 15時45分35秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が FORCE_SHUTTING_DOWN に変化しました。>
Server-0.lokファイルを削除して再度起動したところ、またもや別のエラーが発生した。
<2012/05/25 15時48分28秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :管理サーバーのservers/AdminServer/data/store/diagnostics/WLS_DIGNOSTICS000000.DATを/tmpに移動して管理対象サーバーを再起動したらまたまたエラー
There are 1 nested errors:
weblogic.diagnostics.lifecycle.DiagnosticComponentLifecycleException: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:44)
at weblogic.diagnostics.lifecycle.DiagnosticFoundationService.start(DiagnosticFoundationService.java:107)
at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]フ ァイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.store.io.file.Heap.open(Heap.java:166)
at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
at weblogic.store.PersistentStoreManager.createFileStore(PersistentStoreManager.java:202)
at weblogic.diagnostics.archive.DiagnosticStoreRepository.getStore(DiagnosticStoreRepository.java:61)
at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:42)
... 4 more
Caused by: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
at weblogic.store.io.file.Heap.open(Heap.java:164)
... 9 more
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:112)
at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
... 10 more
>
***************************************************************************
The WebLogic Server encountered a critical failure
Reason: Assertion violated
***************************************************************************
Exception in thread "main" java.lang.NoClassDefFoundError
at weblogic.protocol.ServerIdentityManager.findServerIdentity(ServerIdentityManager.java:65)
at weblogic.protocol.URLManager.findAdministrationURL(URLManager.java:171)
at weblogic.server.ServerLifeCycleRuntime.getLifeCycleOperationsRemote(ServerLifeCycleRuntime.java:677)
at weblogic.t3.srvr.ServerRuntime.sendStateToAdminServer(ServerRuntime.java:406)
at weblogic.t3.srvr.ServerRuntime.updateRunState(ServerRuntime.java:392)
at weblogic.t3.srvr.T3Srvr.setState(T3Srvr.java:172)
at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:373)
at weblogic.Server.main(Server.java:67)
<2012/05/25 16時01分43秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :管理対象サーバーのservers/Server-0/data/store/diagnostics/WLS_DIGNOSTICS000000.DATを/tmpに移動して管理対象サーバーを再起動したらまたまたエラー
There are 1 nested errors:
weblogic.diagnostics.lifecycle.DiagnosticComponentLifecycleException: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:44)
at weblogic.diagnostics.lifecycle.DiagnosticFoundationService.start(DiagnosticFoundationService.java:107)
at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]フ ァイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.store.io.file.Heap.open(Heap.java:166)
at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
at weblogic.store.PersistentStoreManager.createFileStore(PersistentStoreManager.java:202)
at weblogic.diagnostics.archive.DiagnosticStoreRepository.getStore(DiagnosticStoreRepository.java:61)
at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:42)
... 4 more
Caused by: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
at weblogic.store.io.file.Heap.open(Heap.java:164)
... 9 more
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:112)
at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
... 10 more
>
***************************************************************************
The WebLogic Server encountered a critical failure
Reason: Assertion violated
***************************************************************************
Exception in thread "main" java.lang.NoClassDefFoundError
at weblogic.protocol.ServerIdentityManager.findServerIdentity(ServerIdentityManager.java:65)
at weblogic.protocol.URLManager.findAdministrationURL(URLManager.java:171)
at weblogic.server.ServerLifeCycleRuntime.getLifeCycleOperationsRemote(ServerLifeCycleRuntime.java:677)
at weblogic.t3.srvr.ServerRuntime.sendStateToAdminServer(ServerRuntime.java:406)
at weblogic.t3.srvr.ServerRuntime.updateRunState(ServerRuntime.java:392)
at weblogic.t3.srvr.T3Srvr.setState(T3Srvr.java:172)
at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:373)
at weblogic.Server.main(Server.java:67)
<2012/05/25 16時04分35秒 JST> <Error> <Store> <BEA-280061> <永続ストア "_WLS_Server-0" を デプロイできませんでした : weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "_WLS_SERVER-0000000.DAT" を開く際にエラーが発生し ました。servers/Server-0/data/store/default/_WLS_SERVER-0000000.DATを他の場所に移動して管理対象サーバーを起動したがまたまたエラー
weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル スト アのファイル "_WLS_SERVER-0000000.DAT" を開く際にエラーが発生しました。
at weblogic.store.io.file.Heap.open(Heap.java:166)
at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:135)
at weblogic.store.admin.FileAdminHandler.activate(FileAdminHandler.java:171)
Truncated. see log file for complete stacktrace
java.io.IOException: [Store:280021]ファイル ストアのファイル "_WLS_SERVER-0000000.DAT" を 開く際にエラーが発生しました。
at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
at weblogic.store.io.file.Heap.open(Heap.java:164)
at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
Truncated. see log file for complete stacktrace
java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:107)
at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
Truncated. see log file for complete stacktrace
>
<2012/05/25 16時04分35秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.management.DeploymentException:
at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:138)
at weblogic.store.admin.FileAdminHandler.activate(FileAdminHandler.java:171)
at weblogic.store.admin.DefaultStoreService.start(DefaultStoreService.java:60)
at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
at weblogic.work.ServerWorkManagerImpl$WorkAdapterImpl.run(ServerWorkManagerImpl.java:518)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:107)
at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
at weblogic.store.io.file.Heap.open(Heap.java:164)
at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:135)
... 6 more
>
<2012/05/25 16時13分06秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が ADMIN に変化しました。>管理対象サーバープロセスをkillして再度管理対象サーバーを起動したがjava.net.BindException: Address already in useは変わらず。
<2012/05/25 16時13分06秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が RESUMING に変化しました。>
<2012/05/25 16時13分06秒 JST> <Error> <Server> <BEA-002606> <チャネル "Default" でリスンするためのサーバ ソケットを作成できません。アドレス 192.168.0.31 が正しくない、または別のプ ロセスがポート 7001 を使用している可能性があります : java.net.BindException: Address already in use>
<2012/05/25 16時13分06秒 JST> <Emergency> <Security> <BEA-090087> <コンフィグレーションさ れている管理ポートにサーバがバインドされませんでした。そのポートは別のプロセスで使用されていることが考えられます。>
<2012/05/25 16時13分06秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 : Server failed to bind to any usable port. See preceeding log message for details.>
サーバー自体を再起動することにした。
0 件のコメント:
コメントを投稿