2012年5月25日金曜日

Weblogicのデプロイ時にエラー発生。対応中。


管理サーバーのログに怪しげなログが出ていた。
Exception in thread "weblogic.timers.TimerThread" weblogic.utils.UnsyncCircularQueue$FullQueueException: Queue exceed maximum capacity of: '65536' elements
        at weblogic.utils.UnsyncCircularQueue.expandQueue(UnsyncCircularQueue.java:72)
        at weblogic.utils.UnsyncCircularQueue.put(UnsyncCircularQueue.java:94)
        at weblogic.work.MinThreadsConstraint.add(MinThreadsConstraint.java:85)
        at weblogic.work.RequestManager.addToPriorityQueue(RequestManager.java:261)
        at weblogic.work.RequestManager.executeIt(RequestManager.java:235)
        at weblogic.work.ServerWorkManagerImpl.schedule(ServerWorkManagerImpl.java:142)
        at weblogic.timers.internal.TimerManagerImpl.execute(TimerManagerImpl.java:631)
        at weblogic.timers.internal.TimerThread$Thread.run(TimerThread.java:285)
Weblogicコンソールのデプロイメントからアプリケーションを強制停止しようとしたところ、
java.lang.Exception: [DeploymentService:290049]アクセスできる対象がないため、ID '1,337,928,269,958' でデプロイが失敗しました。
と表示された。
なので、SSHでサーバーにログインして、Weblogic管理対象サーバー停止&起動スクリプトを実行し、再起動しようとしたところ、エラーが発生した。
<2012/05/25 15時45分34秒 JST> <Info> <WebLogicServer> <BEA-000377> <WebLogic Server を Sun Microsystems Inc. から Java HotSpot(TM) Server VM バージョン 1.5.0 で起動していま す。>
<2012/05/25 15時45分35秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.management.ManagementException: Unable to obtain lock on /bea/user_projects/domains/base_domain/servers/Server-0/tmp/Server-0.lok. Server may already be running
        at weblogic.management.internal.ServerLocks.getServerLock(ServerLocks.java:159)
        at weblogic.management.internal.ServerLocks.getServerLock(ServerLocks.java:58)
        at weblogic.management.internal.DomainDirectoryService.start(DomainDirectoryService.java:75)
        at weblogic.t3.srvr.ServerServicesManager.startService(ServerServicesManager.java:374)
        at weblogic.t3.srvr.ServerServicesManager.startInStandbyState(ServerServicesManager.java:125)
        at weblogic.t3.srvr.T3Srvr.initializeStandby(T3Srvr.java:630)
        at weblogic.t3.srvr.T3Srvr.startup(T3Srvr.java:402)
        at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:361)
        at weblogic.Server.main(Server.java:67)
>
<2012/05/25 15時45分35秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が FAILED に変化しました。>
<2012/05/25 15時45分35秒 JST> <Error> <WebLogicServer> <BEA-000383> <重大なサービスが失敗 しました。サーバは停止されます。>
<2012/05/25 15時45分35秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が FORCE_SHUTTING_DOWN に変化しました。>
停止したのにServer-0.lokファイルが削除されていなかったためのようだ。
Server-0.lokファイルを削除して再度起動したところ、またもや別のエラーが発生した。
<2012/05/25 15時48分28秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.diagnostics.lifecycle.DiagnosticComponentLifecycleException: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:44)
        at weblogic.diagnostics.lifecycle.DiagnosticFoundationService.start(DiagnosticFoundationService.java:107)
        at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
        at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
        at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]フ ァイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.store.io.file.Heap.open(Heap.java:166)
        at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
        at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
        at weblogic.store.PersistentStoreManager.createFileStore(PersistentStoreManager.java:202)
        at weblogic.diagnostics.archive.DiagnosticStoreRepository.getStore(DiagnosticStoreRepository.java:61)
        at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:42)
        ... 4 more
Caused by: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
        at weblogic.store.io.file.Heap.open(Heap.java:164)
        ... 9 more
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
        at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
        at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
        at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
        at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:112)
        at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
        ... 10 more
>
***************************************************************************
The WebLogic Server encountered a critical failure
Reason: Assertion violated
***************************************************************************
Exception in thread "main" java.lang.NoClassDefFoundError
        at weblogic.protocol.ServerIdentityManager.findServerIdentity(ServerIdentityManager.java:65)
        at weblogic.protocol.URLManager.findAdministrationURL(URLManager.java:171)
        at weblogic.server.ServerLifeCycleRuntime.getLifeCycleOperationsRemote(ServerLifeCycleRuntime.java:677)
        at weblogic.t3.srvr.ServerRuntime.sendStateToAdminServer(ServerRuntime.java:406)
        at weblogic.t3.srvr.ServerRuntime.updateRunState(ServerRuntime.java:392)
        at weblogic.t3.srvr.T3Srvr.setState(T3Srvr.java:172)
        at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:373)
        at weblogic.Server.main(Server.java:67)
管理サーバーのservers/AdminServer/data/store/diagnostics/WLS_DIGNOSTICS000000.DATを/tmpに移動して管理対象サーバーを再起動したらまたまたエラー
<2012/05/25 16時01分43秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.diagnostics.lifecycle.DiagnosticComponentLifecycleException: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:44)
        at weblogic.diagnostics.lifecycle.DiagnosticFoundationService.start(DiagnosticFoundationService.java:107)
        at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
        at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
        at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]フ ァイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.store.io.file.Heap.open(Heap.java:166)
        at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
        at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
        at weblogic.store.PersistentStoreManager.createFileStore(PersistentStoreManager.java:202)
        at weblogic.diagnostics.archive.DiagnosticStoreRepository.getStore(DiagnosticStoreRepository.java:61)
        at weblogic.diagnostics.lifecycle.ArchiveLifecycleImpl.initialize(ArchiveLifecycleImpl.java:42)
        ... 4 more
Caused by: java.io.IOException: [Store:280021]ファイル ストアのファイル "WLS_DIAGNOSTICS000000.DAT" を開く際にエラーが発生しました。
        at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
        at weblogic.store.io.file.Heap.open(Heap.java:164)
        ... 9 more
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
        at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
        at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
        at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
        at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:112)
        at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
        ... 10 more
>
***************************************************************************
The WebLogic Server encountered a critical failure
Reason: Assertion violated
***************************************************************************
Exception in thread "main" java.lang.NoClassDefFoundError
        at weblogic.protocol.ServerIdentityManager.findServerIdentity(ServerIdentityManager.java:65)
        at weblogic.protocol.URLManager.findAdministrationURL(URLManager.java:171)
        at weblogic.server.ServerLifeCycleRuntime.getLifeCycleOperationsRemote(ServerLifeCycleRuntime.java:677)
        at weblogic.t3.srvr.ServerRuntime.sendStateToAdminServer(ServerRuntime.java:406)
        at weblogic.t3.srvr.ServerRuntime.updateRunState(ServerRuntime.java:392)
        at weblogic.t3.srvr.T3Srvr.setState(T3Srvr.java:172)
        at weblogic.t3.srvr.T3Srvr.run(T3Srvr.java:373)
        at weblogic.Server.main(Server.java:67)
管理対象サーバーのservers/Server-0/data/store/diagnostics/WLS_DIGNOSTICS000000.DATを/tmpに移動して管理対象サーバーを再起動したらまたまたエラー
<2012/05/25 16時04分35秒 JST> <Error> <Store> <BEA-280061> <永続ストア "_WLS_Server-0" を デプロイできませんでした : weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル ストアのファイル "_WLS_SERVER-0000000.DAT" を開く際にエラーが発生し ました。
weblogic.store.PersistentStoreException: java.io.IOException: [Store:280021]ファイル スト アのファイル "_WLS_SERVER-0000000.DAT" を開く際にエラーが発生しました。
        at weblogic.store.io.file.Heap.open(Heap.java:166)
        at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
        at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
        at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:135)
        at weblogic.store.admin.FileAdminHandler.activate(FileAdminHandler.java:171)
        Truncated. see log file for complete stacktrace
java.io.IOException: [Store:280021]ファイル ストアのファイル "_WLS_SERVER-0000000.DAT" を 開く際にエラーが発生しました。
        at weblogic.store.io.file.StoreDir.throwIOException(StoreDir.java:213)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:103)
        at weblogic.store.io.file.Heap.open(Heap.java:164)
        at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
        at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
        Truncated. see log file for complete stacktrace
java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
        at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
        at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
        at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
        at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:107)
        at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
        Truncated. see log file for complete stacktrace
>
<2012/05/25 16時04分35秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 :
There are 1 nested errors:
weblogic.management.DeploymentException:
        at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:138)
        at weblogic.store.admin.FileAdminHandler.activate(FileAdminHandler.java:171)
        at weblogic.store.admin.DefaultStoreService.start(DefaultStoreService.java:60)
        at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)
        at weblogic.work.ServerWorkManagerImpl$WorkAdapterImpl.run(ServerWorkManagerImpl.java:518)
        at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
        at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
Caused by: java.io.IOException: Error from fcntl() for file locking, Resource temporarily unavailable, errno=11
        at weblogic.store.io.file.direct.DirectIONative.open(Native Method)
        at weblogic.store.io.file.direct.DirectFileChannel.<init>(DirectFileChannel.java:51)
        at weblogic.store.io.file.direct.DirectIOManager.open(DirectIOManager.java:138)
        at weblogic.store.io.file.StoreFile.openInternal(StoreFile.java:107)
        at weblogic.store.io.file.StoreFile.open(StoreFile.java:142)
        at weblogic.store.io.file.StoreDir.open(StoreDir.java:95)
        at weblogic.store.io.file.Heap.open(Heap.java:164)
        at weblogic.store.io.file.FileStoreIO.open(FileStoreIO.java:85)
        at weblogic.store.internal.PersistentStoreImpl.open(PersistentStoreImpl.java:353)
        at weblogic.store.admin.AdminHandler.activate(AdminHandler.java:135)
        ... 6 more
>
servers/Server-0/data/store/default/_WLS_SERVER-0000000.DATを他の場所に移動して管理対象サーバーを起動したがまたまたエラー
<2012/05/25 16時13分06秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が ADMIN  に変化しました。>
<2012/05/25 16時13分06秒 JST> <Notice> <WebLogicServer> <BEA-000365> <サーバ状態が RESUMING に変化しました。>
<2012/05/25 16時13分06秒 JST> <Error> <Server> <BEA-002606> <チャネル "Default" でリスンするためのサーバ ソケットを作成できません。アドレス 192.168.0.31 が正しくない、または別のプ ロセスがポート 7001 を使用している可能性があります : java.net.BindException: Address already in use>
<2012/05/25 16時13分06秒 JST> <Emergency> <Security> <BEA-090087> <コンフィグレーションさ れている管理ポートにサーバがバインドされませんでした。そのポートは別のプロセスで使用されていることが考えられます。>
<2012/05/25 16時13分06秒 JST> <Critical> <WebLogicServer> <BEA-000362> <サーバに障害が発生しました。理由 : Server failed to bind to any usable port. See preceeding log message for details.>
管理対象サーバープロセスをkillして再度管理対象サーバーを起動したがjava.net.BindException: Address already in useは変わらず。
サーバー自体を再起動することにした。

0 件のコメント:

コメントを投稿