洛阳为东汉都城，是皇亲贵戚聚居之地，很难治理。曹操一到职，就申明禁令、严肃法纪，造五色大棒十余根，悬于衙门左右，“有犯禁者，皆棒杀之”。
皇帝宠幸的宦官蹇硕的叔父蹇图违禁夜行，曹操毫不留情，将蹇图用五色棒处死。于是，“京师敛迹，无敢犯者”。
曹操也因此得罪了一些当朝权贵，碍于其父曹嵩的关系，明升暗降，曹操被调任顿丘令（今清丰）。
光和元年（178年），曹操因堂妹夫濦强侯宋奇被宦官诛杀，受到牵连，被免去官职。其后，在洛阳无事可做，回到家乡谯县闲居。
光和三年（180年），曹操又被朝廷征召，任命为议郎。此前，大将军窦武、太傅陈蕃谋划诛杀宦官，不料其事未济反为宦官所害。
曹操上书陈述窦武等人为官正直而遭陷害，致使奸邪之徒满朝，而忠良之人却得不到重用的情形，言辞恳切，但没有被汉灵帝采纳。
尔后，曹操又多次上书进谏，虽偶有成效，但东汉朝政日益腐败，曹操知道无法匡正。
中平元年（184年），黄巾起义爆发，曹操被拜为骑都尉，受命与皇甫嵩等人合军进攻颍川的黄巾军，结果大破黄巾军，斩首数万级。
随之迁为济南相，济南相任内，曹操治事如初。济南国（今山东济南一带）有县十余个，各县长吏多依附贵势，贪赃枉法，无所顾忌。