<div dir='auto'>Hi All,<div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Apologies for not getting this sent out sooner, but I believe I've now managed to properly finish setting up the new hosts Magikarp and Mudkip (bar Ceph - we need better storage for that).</div><div dir="auto">By properly, I'm referring to the fact that I did add actually them to the Atlantic cluster back on 25/11/2019, but there were a number of things that weren't working, including SSH keys and VM migrations.</div><div dir="auto"><br></div><div dir="auto">On the 23/01/2020, I did the following with the new hosts, eventually getting them to the point of being able to do live VM migrations without packet loss or it aborting before the migration:</div><div dir="auto"><br></div><div dir="auto"><div dir="auto">1. Added the public keys from magikarp:/root/.ssh and mudkip:/root/.ssh to motsugo:/home/wheel/bin/uccroot/extrakeys/extra-maltair, and ran `/home/wheel/bin/uccroot/push.sh maltair`. This concatenates the contents of the extra-maltair with the standard uccroot list, and pushes it to authorized_keys on maltair, which Proxmox then syncs across to the other hosts.</div><div dir="auto">If you don't do this, then the new hosts won't be able to SSH to the other hosts in the cluster, preventing a lot of stuff in Proxmox from working properly, like live VM migrations.</div><div dir="auto">The wording in the wiki seems to suggest that one shouldn't push any keys at all to our Proxmox hosts, and that they'll magically sort out the keys themselves, however in UCC's case, we do actually need to manually push the new keys out for things to work, albeit to only one host (ie. maltair), which then syncs it to the others.</div><div dir="auto"><br></div><div dir="auto">2. On Molmol, add NFS export entries for new hosts to /etc/exports, then run `/etc/rc.d/mountd reload` to load the updated config.</div><div dir="auto">Not doing this will prevent the new hosts from being able to access NFS shares like nas-vmstore (where a lot of our VMs live), which will thus prevent a lot of VMs from being live-migrated.</div><div dir="auto">Lines that need to be added to exports.</div><div dir="auto">/space/services&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;-maproot=root -alldirs&nbsp; &lt;new host name&gt;</div><div dir="auto">/space/vmstore&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -maproot=root&nbsp; &nbsp;&lt;new host name&gt;</div><div dir="auto"><br></div><div dir="auto">3. On whichever switch the host is plugged into, ensure that it has access to VLANs 1-4, otherwise VMs won't be able to talk to the outside world.</div><div dir="auto">I worked this out after live migrating tec-experiments over to Magikarp and then getting destination unreachable errors with ping.</div><div dir="auto">We should probably look at getting Magikarp and Mudkip hooked up to Walnut via 10Gbps twinax SFP+ cables, instead of to kerosene via 1Gbps RJ45 cables.</div><div dir="auto">Example config for Magikarp on Kerosene, based on how host ports on Walnut are configured:</div><div dir="auto">interface GigabitEthernet2/41</div><div dir="auto">&nbsp; &nbsp; description magikarp</div><div dir="auto">&nbsp; &nbsp; switchport access vlan 2</div><div dir="auto">&nbsp; &nbsp; switchport trunk native vlan 2</div><div dir="auto">&nbsp; &nbsp; switchport trunk allowed vlan 1-4</div><div dir="auto">&nbsp; &nbsp; switchport mode trunk</div><div dir="auto">&nbsp; &nbsp; switchport nonegotiate</div><div dir="auto">end</div><div dir="auto"><br></div><div dir="auto">4. After doing the above steps for Magikarp and Mudkip, I was able to successfully able to live-migrate tec-experiments from Maltair to Magikarp without packet loss, and then across to Mudkip, again without packet loss.</div><div dir="auto"><br></div><div dir="auto">I'll try to get the wiki updated some time soon with the above information.</div><div dir="auto"><br></div><div dir="auto">Also, thanks Tec for letting me use your VM as a guinea pig!</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Cheers,</div><div dir="auto">Dylan Hicks [333]</div></div></div>