Move call to link_directories() before add_library()

link_directories() only affect targets defined after it is called. Thanks to
Will Stephenson for noticing it.