Zamówiłem sobie obudowę do starego dysku 2,5 cala z interfacem ATA. Właśnie leży przede mną niepozorne pudełko i boję się otworzyć, bo niczym kot Schroedingera który jest zarówno martwy i żywy i dopiero otwarcie pudełka definiuje w jakim jest stanie, moje pudełko w zależności w jakim języku mówimy (lub myślimy) definiuje jaką dostanę obudowę.
No i co? Otworzylibyście? Jak otworzę kiwając głowa na boki (czyli bułgarskie TAK) i myśląc „To je případ ATA!” (google translate ;) i krzycząc „To je pouzdro ATA! (napis na pudełku) i będzie ATA to OK, ale jeśli obudowa nie da się oszukać i wyjdzie jednak SATA to otwartego pudełka już nie oddam…
Dzisiaj zajmiemy się fajną funkcją kernela NetBSD jaką jest CCD czyli Concatenated Disk Device (Powiązane Urządzenie Dyskowe). Służy ona do łączenia kilku fizycznych dysków (wd,sd) w jeden logiczny wolumen (ccd). Całość opiszę na przykładzie własnym wykonanym na serwerze IBM x346 z kontrolerem SCSI AIC-7902. Serwer ten jest dość mocno wykorzystywany ponieważ działa na nim IDS SNORT i niestety bardzo szybko kończy mu się miejsce na /var gdzie przechowywane są alerty. Co nam będzie potrzebne. Oprócz serwera i dysków, CCD w kernelu. Jeśli używasz GENERIC to CCD jest już tam domyślnie. Przed modyfikacją posiadał on dwa dyski SCSI po 70 GB:
sd0 at scsibus1 target 0 lun 0: disk fixed
sd0: 70006 MB, 65494 cyl, 3 head, 729 sec, 512 bytes/sect x 143374000 sectors
sd0: sync (6.25ns offset 80), 16-bit (320.000MB/s) transfers, tagged queueing
sd1 at scsibus1 target 1 lun 0: disk fixed
sd1: 70006 MB, 65494 cyl, 3 head, 729 sec, 512 bytes/sect x 143374000 sectors
sd1: sync (6.25ns offset 80), 16-bit (320.000MB/s) transfers, tagged queueing
i wyglądał tak:
Serwer z dwoma dyskami 70 GB
Dołożyłem 4 dyski (po uprzednim dokupieniu ramek co nie jest takie proste w przypadku dwuletniego serwera) 17 GB, które od jakiegoś czasu leżakowały po wyjęciu z AS400 (lub eserver iseries, a nawet ostatnio i5, IBM i te jego zmiany nazw…). Tutaj drobny offtopic. Akurat to, że dyski uprzednio były w ASie jest dość istotne ponieważ przysparza to trochę kłopotów. Po przygotowaniu i włożeniu dysków:
kernel zaraportował tylko:
Komunikaty po włożeniu dysków
Po restarcie dyski niby zostały wykryte, ale przy normalnych komunikatach kernela pojawiło się coś jeszcze:
I tak x4 dyski. Oczywiście o disklabelowaniu i stworzeniu działającego CCD nie było mowy. Kilka osób sugerowało:
20:10 lama_: mhm, albo jakos specjalnei je trzeba przygotowac, albo netbsd ich nie lubi/tego kontroloera/ cos jeszcze trzeba tam ustawic itp.
15:08 lama_: kontrolera moze? ale watpie, to raczej kwestia firmware lub pogrzebania z nimi w AS ?
13:20 lama_: to jest cos na lini sprzet/kernel z urzadzeniami wedlug mnie, a nie z disklabel
13:17 lama_: to popatrz jeszcze po tasmach itp
13:12 lama_: jest to zdecydowanie problem na innym poziomie niz disklabel
20:08 < @emet> po wnikliwej analizie stwierdzam że coś jest spierdolone.
20:13 < @gavroche> cancer^, MAsz napisane.
20:13 < @gavroche> sd2(ahd1:0:2:0): generic HBA error
20:13 < @gavroche> :)
20:13 < @gavroche> Pewnie kontroler masz spierdolony.
20:14 < @lama_> to by dyski 1-2 nie dzialaly ok
20:14 < @gavroche> Może być jeden kanał spierdolony.
20:14 < @gavroche> Na przykład.
20:15 < @gavroche> Wtedy by działały.
20:18 < @lama_> host bus adapter
20:19 < @lama_> poszukaj jeszcze jakis firmware/bios updatow
20:20 < @lama_> i kable badaj/polaczenia/zworki/ustawienia itp. pierwsze co musisz wlasnie wyeliminowac to na 100% ze to nie jest jakis sprzetowy problem
20:28 < @gavroche> No, chyba, że masz za nowy sprzęt żeby na nim NetBSD uruchomić.
20:28 < @gavroche> To wtedy gorzej. :< 20:33 <@majkel> re
20:44 < @cancer^> gavroche: x346 ibm
20:44 < @cancer^> 2 latek
20:47 < @gavroche> No niestety. Przyjdzie Ci zaczekać na NetBSD 7.0. ;/
20:47 < @gavroche> Nie rozumiem Was, że używacie NetBSD do celów innych niż edukacyjne.
Na szczęście mimo czarnowidztwa kolegów, nic nie okazało się spierdolone, nie musiałem szukać biosów ani firmware do dysków i kontrolera, oszczędzone zostało mi także oczekiwanie na NetBSD 7.0 zwłaszcza, że mój zakład o NetBSD 5.0 vs Windows 7 nadal trwa :) NetBSD oprócz swoich walorów edukacyjnych będzie pełnił także dotychczasową rolę jako IDS oraz kilka innych zadań :)
A wszystko dlatego, że po wywiadzie na grupach dotyczących AS’a400 okazało się, ze IFS (system plików ASowy) modyfikuje dysk na tyle, że NetBSD nie umie sobie z nim poradzić – z tąd też komunikat: sd2(ahd1:0:2:0): preposterous sector size: 0x20a. preposterous = absurdalny :)
Lekarstwem na tą „absurdalną” wielkość sektora był lowlevel format wykonany z poziomu BIOS’a kontrolera. Po kilkunastu minutach i milionie potwierdzeń, dyski odzyskały nie tak absurdalną wielkość sektora jaką jest 512 bajtów zamiast 522 :)
Czy na pewno, na 100% jesteś pewny że chcesz lowlevel format zrobić? Tak! A czy aby na pewno?...Czy na pewno, na 100% jesteś pewny że chcesz lowlevel format zrobić? Tak! A czy aby na pewno?...
Wracając do sedna postu. Mamy działające dyski i kernel już sobie z nimi radzi. Wszystko pozapinane (literalnie ;) na ostatni zatrzask więc do dzieła :)
Całość pozapinana
Szybka kontrola, wszystko tym razem według oczekiwań, żadnych HBA error, żadnych absurdalnych sektorów (to naprawdę mi się podoba :), oraz żadnych I/O errorów w dosowych partycjach (a to już było wogóle od czapy :).
Tak wygląda standardowy disklabel czystego dysku, modyfikujemy go do użycia przez CCD. Potrzebujemy jeden cały slice c (d w nomenklautrze NetBSD to cały dysk, a c to wszystkie slice NetBSD) minus 1x sectors/cylinder oraz typ systemu ccd. Czyli po szybkim przeliczeniu
bc
35843670-1212
35842458
disklabel dla pierwszego dysku użytego w ccd będzie wyglądał tak:
Do edycji disklabela używamy komendy disklabel z opcją -e. Całą operację powtarzamy tyle razy ile mamy dysków odpowiednio przeliczając offset (no chyba, że macie wszystkie dyski takie same).
Wygląda na ok. Inicjujemy ccd jeszcze raz. Po poprawnym zainicjowaniu nie dostajemy żadnego komunikatu, ale za to w /dev pojawiaja nam się urządzenia ccd :)
ccdconfig -C -f /etc/ccd.conf
ls -la /dev/ccd*
brw-r----- 1 root operator 16, 0 Feb 22 2008 /dev/ccd0a
brw-r----- 1 root operator 16, 1 Feb 22 2008 /dev/ccd0b
brw-r----- 1 root operator 16, 2 Feb 22 2008 /dev/ccd0c
brw-r----- 1 root operator 16, 3 Feb 22 2008 /dev/ccd0d
brw-r----- 1 root operator 16, 4 Feb 22 2008 /dev/ccd0e
brw-r----- 1 root operator 16, 5 Feb 22 2008 /dev/ccd0f
brw-r----- 1 root operator 16, 6 Feb 22 2008 /dev/ccd0g
brw-r----- 1 root operator 16, 7 Feb 22 2008 /dev/ccd0h
brw-r----- 1 root operator 16, 524288 Feb 22 2008 /dev/ccd0i
brw-r----- 1 root operator 16, 524289 Feb 22 2008 /dev/ccd0j
brw-r----- 1 root operator 16, 524290 Feb 22 2008 /dev/ccd0k
brw-r----- 1 root operator 16, 524291 Feb 22 2008 /dev/ccd0l
brw-r----- 1 root operator 16, 524292 Feb 22 2008 /dev/ccd0m
brw-r----- 1 root operator 16, 524293 Feb 22 2008 /dev/ccd0n
brw-r----- 1 root operator 16, 524294 Feb 22 2008 /dev/ccd0o
brw-r----- 1 root operator 16, 524295 Feb 22 2008 /dev/ccd0p
Skoro już mamy ccd jako urządzenie, sprawdzamy jego disklabel:
Że tak powiem, automagicznie idealnie. Size jest sumą czterech dysków z ccd.conf. Po przeliczeniu mamy 67 GB do wykorzystania. Pozostało jeszcze tylko założyć system plików:
Wygląda na to, że wszystko w jak najlepszym porządku, możemy przetestować wydajność naszego nowego ccd:
dd if=/dev/zero of=file_1GB bs=1m count=1k
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 19.476 secs (55131537 bytes/sec)
Imponujące :)
Jeśli jesteś zadowolony ze swojego setupu, ostatnią rzeczą jest dopisanie ccd=YES do rc.conf oraz do fstaba punktu montowania:
Ostatni restart, aby zobaczyć czy wszystko gra i jeśli po restarcie masz podmontowany ccd tam gdzie powinien być to gratulacje – ccd skonfigurowany i działa :)
Jeszcze uwaga na koniec – FFS w NetBSD obsługuję partycję do wielkości 2 TB. Zatem jeśli chcesz połączyć dyski w więcej niż 2 TB, niestety trzeba zrobić kilka ccd, np, mój serwer backupowy dla userów posiada 4 TB w dwóch ccd:
Zauważyłeś ostatnio spadek wydajności operacji dyskowych? Nie kupuj od razu nowych dysków, lub szybszego kontrolera. Być może winna jest tylko… śrubka mocująca dysk. Brendan Gregg z SUN’a odkrył i zademonstrował jak wibracje mogą wpływać na ograniczenie parametrów odczytu i czasu dostępu do dysków. Klasyczne dyski (nie SSD) jak wiadomo ciągle są w ruchu, ruch kołowy ich talerzy wywołuje wibracje, wystarczy zatem złe mocowanie, aby cały dysk wpadł w rezonans. Dokładne wykresy na blogu Brendana, a poniżej film ze „stresowania” dysków krzykiem :)
W swojej karierze zawodowej widziałem od środka i złożyłem setki dysków twardych. Spotkałem się z niejednym wątpliwym rozwiązaniem, np. dysk do góry nogami, trzymający się tylko na szelce IDE, zamontowany w kieszeni 5,25 z jednej strony itp. Warto zwrócić uwagę w jaki sposób zmontowany jest nasz PC :)
