뜨거운 스핀들
실례 모두 존재와 게시물의 부재. 그것은 지난 1 년 부상과 플랫 아웃 작업 일정과, 그래서 조금 시간이나 동기를 블로그 또는 커뮤니티 주위에 내 얼굴을 보여 있었 롤러 코스터가있었습니다. 사과, 그리고이 습관을 아프게하고 다시 물건으로 다시 한 번 좀 결정이야! 하지만 아직 충분히 대화의 글을 계속하다 ...
이것은 아주 자주 볼 게 아니라 내가 여기서 나갔을 때, 그것은 흥미있는 통계는 자신에 대한 이야기 반가워. 몇 년 전 자신의 넷앱의 저택의 스크립트 배포를 가진 고객, 그리고 그것이야 설계되지 않았거나 너무 많은 신경이나주의와 함께 제공되는 (내가 하루 더 논의 할 게있다.) 그들은 SQL, Exchange와 다른 것들과 VM웨어의 재산을했습니다. 그것은 모두 100여 15k 구단의 스핀들의 전체에 걸쳐 실행됩니다. 그것은 엄청난 재산을 다른 사이트와 비교에없는, 그래서 그들이 이러한 성능 문제를 이유로 관심이 있어요.
이제 당신이 sysstat는 - u "를 통해 실행", 당신은 Filer 자체는 아주 조금하고있다, 아주 행복하게 그것은 무엇을해야와는 점점 볼 수 있습니다. 그러나 디스크가 매우 자주 100 % 때리고있다. 바로 이것은 디스크에 문제를 보여줍니다. 그들은 더 많은 스핀들을 분명히 필요 한가?
우선 거기에 스핀들의 불균형이다. 그들은 단지 테스트 볼륨을 가지고있는 파트너 컨트롤러에 두 번째 집계 있습니다. 제가 권한이 및 핫 제거에 도착, 난 다시 다른 컨트롤러에 이들을 할당하고 기존의 집계를 확장합니다. 이것은 스핀들 수를 두 배로 증가하지만 그것은 (그 데이터가 자동으로 재배포하지 않습니다 기존의 성능을 위해 아무것도하지 않을거야 알아!).
내가 통계 "를 통해 실행하면 디스크를 표시 : * : disk_busy"내가 뭔가를 분명 볼 수 있습니다. 거기에 100 %를 친있는 전체 시스템에서 하나의 디스크가, 나머지는없는 것입니다. 거기 50-60%을 실행하는 다른 디스크 (약 10)의 무리가들, 그리고 나머지 디스크가 떨어져 약 20-30 %에 가네요. 그래서 무슨 일이 일어 났나요? NetApp의 기술은 시스템에 뜨거운 스핀들의 어떤 모양을 방지해야합니다.
내 이론이있다. Filer가 가득 차있었습니다 밖으로 상자의 스택,하지만 집계 (3 디스크 집계, 데이터 1, 2 패리티) 재배되지 않았습니다. 일부 스토리지 구축된되었고 데이터 마이 그 레이션. 그들은 공간이 왔고, 그래서, 그때 잔뜩 복사 집계를 (조금) 자라 디스크에 더 많은 데이터입니다. 이 후, 그들은 다음 디스크의 나머지 부분을 추가했습니다. 데이터하지 않는 자동으로 다시 비행에 그 변경 (남아로 VM은 시스템 디스크, 오랜 교류 이메일로 발생되며, 오래된 데이터 웨어하우징 데이터)의 데이터를 할당하는 것입니다 지금 있기 때문에, 그때 그들은 여전히 원래의 스핀들 또는 위에 앉아있다 그들은 처음 설치 때처럼 스핀들.
그래서 지금은 앞으로 주말을 찾고 있어요. 우리는 데이터 ONTAP 7.3.2 그들을 업그레이 드있을거야 그리고 난 다음 몇 가지를 실행할 수 있습니다 재할당 시스템 전체 검사 넷앱 감사 스냅샷 공간 사용량을 (엄청난 보너스, 영향을주지 않고!). 나는 이것이 뜨거운 스핀들 문제를 제거합니다 바라고 있어요. 좀 전에 통계, 그리고 몇 가지 통계 후 다음 주 밖으로 빼낸다있다. 내가 따라 해당 게시물을 업데이 트됩니다.
그 이야기의 교훈? 설치 프로그램이 당신의 스토리지 시스템의 완전하고 철저하게하기 전에 당신이 그것을 데이터를 던지기 시작합니다. 새 스토리지 장난감을 사용하여 그것에 즉시 데이터를 던져 대해 흥분하지 마십시오. 제가 몇 가지 경우에 지금, 위의 시나리오를봤을 사전 ONTAP 7.3, 그 고통을 수정했습니다.
통계 출력의 빠른 스냅샷. 염두에두고이 모든 디스크가 표시됩니다 클러스터에 걸쳐, 모든 디스크 통계는 전적으로 적합 있도록 유지. 바쁜 디스크는 여기에 그냥 시스템에서 디스크의 실제적인 숫자까지 추가하지, 당신은 분명 하나의 바쁜 디스크를 볼 수 있습니다.
based on 1 rating> sysstat - 으 1
CPU의 총 넷 kB / s의 디스크 kB / s의 테이프 kB / s의 캐시 캐시의 CP의의 CP 디스크
본부 / 나와 s의 읽기 쓰기 연령 히트 시간 타이 폴더의 유틸리티를 작성 읽기
11 % 3220 6942 3270 4232 0 0 0 12 95 % 0 % - 60 %
11 % 2,898 7,385 4,030 4,892 0 0 0 11 94 % 0 % - 69 %
9 % 3,547 1,820 3,496 3,920 24 0 0 11 93 % 0 % - 89 %
7 % 2329 1160 3048 3892 0 0 0 11 93 % 0 % - 81 %
10 % 3173 2055 4851 4644 8 0 0 11 93 % 0 % - 67 %
9 % 2,491 1,860 4,547 4,568 24 0 0 11 91 % 0 % - 98 %
9 % 2,523 2,960 4,404 5,372 0 0 0 11 90 % 0 % - 89 %
14 % 5,136 8,173 4,465 3,352 0 0 0 11 95 % 0 % - 81 %> 통계 디스크를 표시 : * : disk_busy
... 싹둑 ...디스크 : 88922F61 : C2026AF9 : E5D68A17 : B49415B1 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 51 %
디스크 : B677DDF1 : 8588AAF1 : D71B2CFD : 3C2BB6D4 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 34 %
디스크 : 08F03F36 : 067E5BD0 : 749AF2F3 : 429BBEC2 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 41 %
디스크 : 54DA4952 : 17856AC1 : 22FB0FCE : A283EF92 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 57 %
디스크 : 7CD76662 : 56D914F1 : EC90930B : EC01EC2C : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 51 %
디스크 : 2777F697 : BC2DE4B1 : A6967344 : 3FF4F607 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 46 %
디스크 : 3BC9BA7A : D0085F2E : 06DF43C8 : 5498E687 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 0 %
디스크 : 07EBF5F5 : 904AEAD8 : 03BAC8B5 : CAF1F896 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 55 %
디스크 : 03AE8BA0 : 8D269AF9 : 4FF4F01B : B5BA8B7A : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 40 %
디스크 : 326B6A85 : 20FA7613 : 86E60929 : 2C2559B9 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 90 %
디스크 : EFEDE851 : 60FD51E3 : A7D780C4 : 0D4E1CC0 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 37 %
디스크 : 6A89A9E3 : 575C15F3 : E369B326 : CD51EBFF : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 0 %
디스크 : A6840DBD : 8D81796E : A2E9CF67 : 663F9940 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 0 %
디스크 : 6D37E864 : 7426A291 : 2C946571 : F96E0F84 : 00000000:00000000:00000000:00000000:00000000:00000000 : disk_busy : 54 %... 싹둑 ...
또 다른 중요한 요점은 당신은 단지 하나의 디스크가 거의 꽉 찼어 경우 집계 크기를 조정할 추가해서는 안됩니다, 새로운 데이터의 대부분이 추가된 디스크에 기록 도착. 따라서 성능이 정말 나쁘다!
내 추천 : 많은 작은 것들 대신에 몇 가지 큰 집계를 만듭니다. 집계 사용량이 80 % 이상이다에 디스크를 추가합니다. 그래요, 당신의 실적을 모니터하는 성능 고문과 임계값을 사용!
감사 크리스 - 정말 좋은 팁 거기! 다행 다시 쓰고있어
건배 의견, 실제로 좋은 기회를 다시 뭔가를 쓰기 얻을 기분!
그리고 네, 하나의 디스크를 추가하는 끔찍한 짓을하는 것입니다. 그게이기 때문에 1 디스크를 구입 한 달에 사람을 알고 그들의 예산을 사용할 수 있습니다. 내가이 싫어하고 그들을 저장하고 대량으로 매우 적어도 그들을 추가 좀하려고합니다. 자신의 계정 관리자와 그들이이 일을 장려 도움이되지 않는다 온 디맨드 스토리지를 호출 수있다!
충격!
당신은 "일부 재할당를 실행하는 시스템에 걸쳐 언급"7.3.2과 새로운 기능으로 스냅샷 공간이 영향을주지 않고 검색합니다. 아마 다른 블로그 항목에 대한 생각이 좀 더 설명을 할 것입니다 그리고 왜 그것은 중요하다. 난 (이전)가 재할 스냅샷으로 모든 작업을 덤프 이해하지만 7.3.2의 변화 당신이 언급 알고 아니에요 그 수정 / 변경이.
다행스럽게도 필자는 이것을 통해서 주말에 실행하고있을거야, 내가 어떻게이 작품의 몇 가지 실제 예제를 줄 수있을 겁니다.
선반에 당신이 수있는 슬롯은 항상 새로운 싱글톤 드라이브를 매월 물론,하지만 언니는 전체 새로운 RAID 그룹의 가치 ... 그냥 그들에게 말하지 마까지 그들이 여분으로 유휴 떠나
@ 릭 로즈
7.3.x의 새로운 재할 물리 재할당 (할당 - 피, man 페이지를 참조)입니다. 게다가, 만약 당신은 전체 선반 또는 그 이상으로 집계를 확장, 당신은 여전히 모든 물리 볼륨의 집계에 할당해야 할 경우에도 뜨거운 디스크가 없어 할 수 있습니다. 그런식으로, 당신은 높은 항복 것입니다, ()뿐만 아니라 기존 데이터에 대한 성능을 읽고 더 많은 스핀들에 걸쳐 데이터를 스트 라이프하실 수 있습니다.
사실 매뉴얼 페이지 "그 할당 - 피"가 디스크에 걸쳐 데이터를 분산하는 데 사용해서는 안 말했습니다. 그것은 확장된 집합 내의 각 볼륨에 대해 할당하는 것이 좋습니다.
시스템이 어떤 대규모의 개선을 볼 것이 시도가 없었는데이게 뭡니까의 실제 영향을 확실히 아니, 내가 돌아왔다.