率八百多人去荆州投刘表。到荆州后，甘宁发现刘表不习军事，这时，他听说孙权在江东“招延俊秀，聘求名士，鲁肃、诸葛瑾等始为宾客”（《三国志·吴书·吴主传》），便决定前去投效。甘宁路经夏口（今湖北武汉）时不得过，只好暂投江夏太守黄祖。建安八年（203），孙权领兵西攻江夏，黄祖大败，甘宁为黄祖断后。他射杀孙权的破贼校尉凌操，使孙军不敢再追，黄祖性命这才得以保全，甘宁立下大功，但黄祖仍不重用。甘宁后投奔孙权，由于周瑜、吕蒙的推荐得到了器重。甘宁向孙权献计：“今汉祚日微，……宁已观刘表，虑既不远，儿子又劣，非能承业传基者也。……至尊当早规之，不可后操。图之之计，宜先取黄祖，一破祖军，鼓行而西，西据楚关，大势弥广，即可渐规巴、蜀”（《三国志·吴书·甘宁传》）。闻此计，孙权大赞。