وكان عبد الرحمن قد استفاد من تجربة أبيه في القصر والحرس، فعمل على تنظيم رجال الدولة والكتاب والشرطة والقضاء، وأبقى الدواوين التي تقوم عليها الجباية والمراسلات، كما أعاد النظر في العمال والولاة بحسب حاجته إلى الثقة والقدرة. ولم تكن الإدارة في عهده قد بلغت صورة الجهاز البيروقراطي المكتمل في الخلافة، ولذلك يفرق بين وجود الدواوين والوظائف من جهة، وبين التفاصيل التي تنسبها المصادر المتأخرة إلى نظام متطور من جهة أخرى.
وكان الكاتب يؤدي دورا في تحرير الرسائل وحفظ السجلات ومتابعة العمال، وكان القاضي يفصل الخصومات ويربط الحكم بالمجتمع، وكانت الشرطة تحفظ الأسواق والأحياء وتنفذ أوامر القصر، كما كانت الجباية توفر المال للحرس والجند والحاميات والعمران. وكان الأمير يحتاج إلى ضبط العامل الذي قد يظلم أهل الناحية أو يحتفظ بالمال، كما يحتاج إلى عدم إضعاف الموارد التي تقوم عليها الحملات، ولذلك ظل المال من أكثر أبواب الإدارة حساسية.
وكان عبد الرحمن يعيد تنظيم الجيش بما يلائم اتساع المهام، فاحتاج إلى جند للحملات الشمالية، وحاميات للثغور، وقوة تحمي قرطبة، ورجال يتولون الساحل والموانئ، كما استعمل الموالي وجماعات من أصول مختلفة، ولم يكن الجيش كتلة قبلية واحدة ولا جهازا محترفا مكتملا. وكان العطاء يربط الجندي بالأمير، وكانت الحامية تتأثر بانقطاع المؤن أو تأخر الرواتب، ولذلك كان تنظيم المال والطرق جزءا من تنظيم الحرب.
وكانت الموانئ ذات أهمية متزايدة، لأن الأندلس تواجه سواحل المغرب والبحر المتوسط والمحيط الأطلسي، ولأن المراكب تستطيع نقل الرجال وحماية السواحل وملاحقة الغزاة،