Zamówi?em sobie obudow? do starego dysku 2,5 cala z interfacem ATA. W?a?nie le?y przede mn? niepozorne pude?ko i boj? si? otworzy?, bo niczym kot Schroedingera który jest zarówno martwy i ?ywy i dopiero otwarcie pude?ka definiuje w jakim jest stanie, moje pude?ko w zale?no?ci w jakim j?zyku mówimy (lub my?limy) definiuje jak? dostan? obudow?.
No i co? Otworzyliby?cie? Jak otworz? kiwaj?c g?owa na boki (czyli bu?garskie TAK) i my?l?c „To je p?ípad ATA!” (google translate ;) i krzycz?c „To je pouzdro ATA! (napis na pude?ku) i b?dzie ATA to OK, ale je?li obudowa nie da si? oszuka? i wyjdzie jednak SATA to otwartego pude?ka ju? nie oddam…
Dzisiaj zajmiemy si? fajn? funkcj? kernela NetBSD jak? jest CCD czyli Concatenated Disk Device (Powi?zane Urz?dzenie Dyskowe). S?u?y ona do ??czenia kilku fizycznych dysków (wd,sd) w jeden logiczny wolumen (ccd). Ca?o?? opisz? na przyk?adzie w?asnym wykonanym na serwerze IBM x346 z kontrolerem SCSI AIC-7902. Serwer ten jest do?? mocno wykorzystywany poniewa? dzia?a na nim IDS SNORT i niestety bardzo szybko ko?czy mu si? miejsce na /var gdzie przechowywane s? alerty. Co nam b?dzie potrzebne. Oprócz serwera i dysków, CCD w kernelu. Je?li u?ywasz GENERIC to CCD jest ju? tam domy?lnie. Przed modyfikacj? posiada? on dwa dyski SCSI po 70 GB:
sd0 at scsibus1 target 0 lun 0: disk fixed
sd0: 70006 MB, 65494 cyl, 3 head, 729 sec, 512 bytes/sect x 143374000 sectors
sd0: sync (6.25ns offset 80), 16-bit (320.000MB/s) transfers, tagged queueing
sd1 at scsibus1 target 1 lun 0: disk fixed
sd1: 70006 MB, 65494 cyl, 3 head, 729 sec, 512 bytes/sect x 143374000 sectors
sd1: sync (6.25ns offset 80), 16-bit (320.000MB/s) transfers, tagged queueing
i wygl?da? tak:
Serwer z dwoma dyskami 70 GB
Do?o?y?em 4 dyski (po uprzednim dokupieniu ramek co nie jest takie proste w przypadku dwuletniego serwera) 17 GB, które od jakiego? czasu le?akowa?y po wyj?ciu z AS400 (lub eserver iseries, a nawet ostatnio i5, IBM i te jego zmiany nazw…). Tutaj drobny offtopic. Akurat to, ?e dyski uprzednio by?y w ASie jest do?? istotne poniewa? przysparza to troch? k?opotów. Po przygotowaniu i w?o?eniu dysków:
kernel zaraportowa? tylko:
Komunikaty po w?o?eniu dysków
Po restarcie dyski niby zosta?y wykryte, ale przy normalnych komunikatach kernela pojawi?o si? co? jeszcze:
I tak x4 dyski. Oczywi?cie o disklabelowaniu i stworzeniu dzia?aj?cego CCD nie by?o mowy. Kilka osób sugerowa?o:
20:10 lama_: mhm, albo jakos specjalnei je trzeba przygotowac, albo netbsd ich nie lubi/tego kontroloera/ cos jeszcze trzeba tam ustawic itp.
15:08 lama_: kontrolera moze? ale watpie, to raczej kwestia firmware lub pogrzebania z nimi w AS ?
13:20 lama_: to jest cos na lini sprzet/kernel z urzadzeniami wedlug mnie, a nie z disklabel
13:17 lama_: to popatrz jeszcze po tasmach itp
13:12 lama_: jest to zdecydowanie problem na innym poziomie niz disklabel
20:08 < @emet> po wnikliwej analizie stwierdzam ?e co? jest spierdolone.
20:13 < @gavroche> cancer^, MAsz napisane.
20:13 < @gavroche> sd2(ahd1:0:2:0): generic HBA error
20:13 < @gavroche> :)
20:13 < @gavroche> Pewnie kontroler masz spierdolony.
20:14 < @lama_> to by dyski 1-2 nie dzialaly ok
20:14 < @gavroche> Mo?e by? jeden kana? spierdolony.
20:14 < @gavroche> Na przyk?ad.
20:15 < @gavroche> Wtedy by dzia?a?y.
20:18 < @lama_> host bus adapter
20:19 < @lama_> poszukaj jeszcze jakis firmware/bios updatow
20:20 < @lama_> i kable badaj/polaczenia/zworki/ustawienia itp. pierwsze co musisz wlasnie wyeliminowac to na 100% ze to nie jest jakis sprzetowy problem
20:28 < @gavroche> No, chyba, ?e masz za nowy sprz?t ?eby na nim NetBSD uruchomi?.
20:28 < @gavroche> To wtedy gorzej. :< 20:33 <@majkel> re
20:44 < @cancer^> gavroche: x346 ibm
20:44 < @cancer^> 2 latek
20:47 < @gavroche> No niestety. Przyjdzie Ci zaczeka? na NetBSD 7.0. ;/
20:47 < @gavroche> Nie rozumiem Was, ?e u?ywacie NetBSD do celów innych ni? edukacyjne.
Na szcz??cie mimo czarnowidztwa kolegów, nic nie okaza?o si? spierdolone, nie musia?em szuka? biosów ani firmware do dysków i kontrolera, oszcz?dzone zosta?o mi tak?e oczekiwanie na NetBSD 7.0 zw?aszcza, ?e mój zak?ad o NetBSD 5.0 vs Windows 7 nadal trwa :) NetBSD oprócz swoich walorów edukacyjnych b?dzie pe?ni? tak?e dotychczasow? rol? jako IDS oraz kilka innych zada? :)
A wszystko dlatego, ?e po wywiadzie na grupach dotycz?cych AS’a400 okaza?o si?, ze IFS (system plików ASowy) modyfikuje dysk na tyle, ?e NetBSD nie umie sobie z nim poradzi? – z t?d te? komunikat: sd2(ahd1:0:2:0): preposterous sector size: 0x20a. preposterous = absurdalny :)
Lekarstwem na t? „absurdaln?” wielko?? sektora by? lowlevel format wykonany z poziomu BIOS’a kontrolera. Po kilkunastu minutach i milionie potwierdze?, dyski odzyska?y nie tak absurdaln? wielko?? sektora jak? jest 512 bajtów zamiast 522 :)
Czy na pewno, na 100% jeste? pewny ?e chcesz lowlevel format zrobi?? Tak! A czy aby na pewno?...Czy na pewno, na 100% jeste? pewny ?e chcesz lowlevel format zrobi?? Tak! A czy aby na pewno?...
Wracaj?c do sedna postu. Mamy dzia?aj?ce dyski i kernel ju? sobie z nimi radzi. Wszystko pozapinane (literalnie ;) na ostatni zatrzask wi?c do dzie?a :)
Ca?o?? pozapinana
Szybka kontrola, wszystko tym razem wed?ug oczekiwa?, ?adnych HBA error, ?adnych absurdalnych sektorów (to naprawd? mi si? podoba :), oraz ?adnych I/O errorów w dosowych partycjach (a to ju? by?o wogóle od czapy :).
Tak wygl?da standardowy disklabel czystego dysku, modyfikujemy go do u?ycia przez CCD. Potrzebujemy jeden ca?y slice c (d w nomenklautrze NetBSD to ca?y dysk, a c to wszystkie slice NetBSD) minus 1x sectors/cylinder oraz typ systemu ccd. Czyli po szybkim przeliczeniu
bc
35843670-1212
35842458
disklabel dla pierwszego dysku u?ytego w ccd b?dzie wygl?da? tak:
Do edycji disklabela u?ywamy komendy disklabel z opcj? -e. Ca?? operacj? powtarzamy tyle razy ile mamy dysków odpowiednio przeliczaj?c offset (no chyba, ?e macie wszystkie dyski takie same).
Wygl?da na ok. Inicjujemy ccd jeszcze raz. Po poprawnym zainicjowaniu nie dostajemy ?adnego komunikatu, ale za to w /dev pojawiaja nam si? urz?dzenia ccd :)
ccdconfig -C -f /etc/ccd.conf
ls -la /dev/ccd*
brw-r----- 1 root operator 16, 0 Feb 22 2008 /dev/ccd0a
brw-r----- 1 root operator 16, 1 Feb 22 2008 /dev/ccd0b
brw-r----- 1 root operator 16, 2 Feb 22 2008 /dev/ccd0c
brw-r----- 1 root operator 16, 3 Feb 22 2008 /dev/ccd0d
brw-r----- 1 root operator 16, 4 Feb 22 2008 /dev/ccd0e
brw-r----- 1 root operator 16, 5 Feb 22 2008 /dev/ccd0f
brw-r----- 1 root operator 16, 6 Feb 22 2008 /dev/ccd0g
brw-r----- 1 root operator 16, 7 Feb 22 2008 /dev/ccd0h
brw-r----- 1 root operator 16, 524288 Feb 22 2008 /dev/ccd0i
brw-r----- 1 root operator 16, 524289 Feb 22 2008 /dev/ccd0j
brw-r----- 1 root operator 16, 524290 Feb 22 2008 /dev/ccd0k
brw-r----- 1 root operator 16, 524291 Feb 22 2008 /dev/ccd0l
brw-r----- 1 root operator 16, 524292 Feb 22 2008 /dev/ccd0m
brw-r----- 1 root operator 16, 524293 Feb 22 2008 /dev/ccd0n
brw-r----- 1 root operator 16, 524294 Feb 22 2008 /dev/ccd0o
brw-r----- 1 root operator 16, 524295 Feb 22 2008 /dev/ccd0p
Skoro ju? mamy ccd jako urz?dzenie, sprawdzamy jego disklabel:
?e tak powiem, automagicznie idealnie. Size jest sum? czterech dysków z ccd.conf. Po przeliczeniu mamy 67 GB do wykorzystania. Pozosta?o jeszcze tylko za?o?y? system plików:
Wygl?da na to, ?e wszystko w jak najlepszym porz?dku, mo?emy przetestowa? wydajno?? naszego nowego ccd:
dd if=/dev/zero of=file_1GB bs=1m count=1k
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 19.476 secs (55131537 bytes/sec)
Imponuj?ce :)
Je?li jeste? zadowolony ze swojego setupu, ostatni? rzecz? jest dopisanie ccd=YES do rc.conf oraz do fstaba punktu montowania:
Ostatni restart, aby zobaczy? czy wszystko gra i je?li po restarcie masz podmontowany ccd tam gdzie powinien by? to gratulacje – ccd skonfigurowany i dzia?a :)
Jeszcze uwaga na koniec – FFS w NetBSD obs?uguj? partycj? do wielko?ci 2 TB. Zatem je?li chcesz po??czy? dyski w wi?cej ni? 2 TB, niestety trzeba zrobi? kilka ccd, np, mój serwer backupowy dla userów posiada 4 TB w dwóch ccd:
Zauwa?y?e? ostatnio spadek wydajno?ci operacji dyskowych? Nie kupuj od razu nowych dysków, lub szybszego kontrolera. By? mo?e winna jest tylko… ?rubka mocuj?ca dysk. Brendan Gregg z SUN’a odkry? i zademonstrowa? jak wibracje mog? wp?ywa? na ograniczenie parametrów odczytu i czasu dost?pu do dysków. Klasyczne dyski (nie SSD) jak wiadomo ci?gle s? w ruchu, ruch ko?owy ich talerzy wywo?uje wibracje, wystarczy zatem z?e mocowanie, aby ca?y dysk wpad? w rezonans. Dok?adne wykresy na blogu Brendana, a poni?ej film ze „stresowania” dysków krzykiem :)
W swojej karierze zawodowej widzia?em od ?rodka i z?o?y?em setki dysków twardych. Spotka?em si? z niejednym w?tpliwym rozwi?zaniem, np. dysk do góry nogami, trzymaj?cy si? tylko na szelce IDE, zamontowany w kieszeni 5,25 z jednej strony itp. Warto zwróci? uwag? w jaki sposób zmontowany jest nasz PC :)
